Cuando se trata de experiencias artificiales ¿es mejor evocar más de un sentido?

Tendemos a pensar en nuestros cinco sentidos (visión, audición, olfato, gusto y tacto) como procesos separados que ocurren independientemente dentro del cerebro y el cuerpo. Pero, desde los estudios históricos sobre integración multisensorial realizados en la década de 1990, los investigadores han comenzado a apreciar las complejas interacciones entre nuestras diferentes modalidades sensoriales.

Los efectos del sonido en la percepción visual

En un famoso estudio de 1997 realizado por Robert Sekuler, los participantes juzgaron si dos puntos que se acercaban en la pantalla de una computadora parecían cruzarse o rebotar entre sí. Aunque el estímulo visual siempre fue ambiguo y podía interpretarse de cualquier manera, la presentación de un breve clic auditivo en el momento en que las trayectorias de los dos puntos se cruzaron llevó a la mayoría de los observadores a considerar que los puntos rebotaban entre sí. En otro estudio clásico del año 2000, Ladan Shams y sus colegas encontraron que la presentación de múltiples pitidos auditivos en rápida sucesión llevó a la mayoría de los observadores a juzgar mal la cantidad de destellos visuales que se mostraban; un solo destello presentado junto con dos pitidos a menudo se percibía erróneamente como dos destellos.

En 2015, Hannah Goldberg y sus colegas examinaron si los sonidos pueden afectar el rendimiento en una tarea de tasa de modulación visual. En este tipo de tarea, se les pide a los participantes que juzguen qué tan rápido un estímulo visual (en este caso, un pez) cambia de color entre brillante y oscuro. Las tasas de modulación de color podrían ser de 5 Hz (cinco veces por segundo; la "tasa lenta") o 6 Hz (la "tasa rápida"). Simultáneamente, los participantes escucharon un sonido irrelevante para la tarea que moduló el volumen entre alto y bajo, a una frecuencia de 5 Hz o 6 Hz. Es importante destacar que, en algunos ensayos, las tasas de modulación visual y auditiva coincidían (p. ej., tanto los sonidos como las imágenes se modulaban a 5 Hz), mientras que en otros ensayos no coincidían (p. ej., el sonido se modulaba a 5 Hz mientras que los visuales se modulaban a 6 Hz) .

Goldberg y sus colegas encontraron que los participantes eran mucho mejores para juzgar las tasas de modulación visual cuando la tasa auditiva coincidía con la tasa visual. Este resultado se ha replicado varias veces y se considera evidencia de una ventaja de procesamiento para estímulos multisensoriales. Sin embargo, sin una condición de control adecuada, es difícil decir si estos resultados realmente reflejan una ventaja en el procesamiento multisensorial cuando los sentidos coinciden, o una desventaja en el procesamiento multisensorial cuando los sentidos no coinciden.

¿Mejora o deterioro?

En un estudio reciente publicado en la edición de septiembre de 2022 de Perception, Jiayue Tai, Jack Forrester y Robert Sekuler abordaron esta pregunta presentando a los participantes no solo condiciones audiovisuales coincidentes y no coincidentes, sino también una condición de control silencioso en la que la modulación visual, el estímulo, se presentó sin sonido. Sus resultados confirmaron que la combinación de las tasas de modulación auditiva y visual mejoró el rendimiento en aproximadamente un 7 por ciento en comparación con la condición de silencio.

Sin embargo, sus resultados también mostraron que las condiciones audiovisuales no coincidentes tenían un impacto aún mayor en el rendimiento. La precisión se redujo en aproximadamente un 12 por ciento cuando las tasas de modulación auditiva y visual no coincidían, en comparación con las pruebas en las que las imágenes se presentaban en silencio. Por lo tanto, el deterioro debido a una falta de coincidencia audiovisual fue sustancialmente mayor que la mejora debida a una coincidencia audiovisual.

Las tareas múltiples y la vida cotidiana

Si bien es cierto que los sonidos congruentes pueden mejorar el desempeño en algunas tareas visuales, es importante resaltar que los sonidos incongruentes pueden perjudicar el desempeño visual, a veces incluso más. Por lo tanto, dos sentidos no siempre son mejores que uno.

Podemos sentirnos inclinados a creer que podemos realizar tareas visuales (p. ej., conducir) y tareas auditivas (p. ej., escuchar un podcast) independientemente unas de otras. Esta investigación muestra que ciertos tipos de conflictos sensoriales cruzados en realidad pueden afectar el rendimiento. Todavía se necesita más investigación para comprender cómo los conflictos visoauditivos pueden influir en el rendimiento en las tareas cotidianas.