¿Cómo surgió la idea de desarrollar un audiojuego?
La semilla germinadora, inicial, data de hace mucho. Yo arranqué en el Cintra (Centro de Investigación y Transferencia en Acústica) en 2010, dentro de una línea de investigación que se llama Ecolocación Humana. En ese momento, quien estaba estudiando la ecolocación era la doctora Claudia Arias, ahora ya jubilada. La ecolocación es el fenómeno de autoproducir sonidos, para cuando se recibe el eco poder obtener información espacial. Eso lo hacen mucho los murciélagos, los delfines… los seres humanos lo usamos y las personas ciegas, un montón, con su bastón o chasqueando con su boca. Entonces, a partir de ahí se deriva un estudio de percepción auditiva de cómo se perciben los ecos y cómo se genera la información para percibir eso. Dentro de esa línea de investigación, aparece gente de la carrera de Psicología -Claudia Arias es Doctora en Psicología-; tomo contacto con otros investigadores referentes para mí, como Fernando Bermejo, Mercedes Hüg, que pertenecen a la Facultad de Psicología de la UNC; y yo empiezo a trabajar con ellos en desarrollos técnicos, haciendo dispositivos para sus investigaciones. Ahí comienzo a interiorizarme un poco en las relaciones entre Ingeniería y Percepción Auditiva. Ellos tienen un marco teórico muy particular, se llama Cognición Corporizada, es una forma de entender la percepción que es bastante innovadora. Está muy asociada a los movimientos que uno hace, no sólo el canal sensorial sino las cosas que uno hace para percibir, cómo uno se acopla con diferentes ambientes a partir de un bagaje corporal, cultural; una cosa bastante más ecológica que una persona escuchando de forma pasiva, como lo entienden enfoques más tradicionales. Bueno, a partir de todo eso hay varios desarrollos. Cuando a mí me llega el momento de tener que hacer el Proyecto Final de Ingeniería, vengo con cierta cantidad de ideas y pienso “Quiero hacer juegos, con sonidos”, que naturalmente tienen ese puente de accesibilidad para personas ciegas porque no tienen interfaces gráficas. Y cuando me voy a ese lugar, me doy cuenta de que hay muy poco, que hay pocos desarrollos, que los que pruebo me parece que no eran muy divertidos. Indagando más a fondo, observo que la gente que los hace pertenece a proyectos más independientes, sin una gran estructura detrás, lo cual también tiene que ver con un sistema económico de videojuegos donde este tipo de juegos no rinden o no tienen una población suficiente para hacer funcionar esa gran rueda de mercado. Así que ahí hago un sistema -con el que me recibo de ingeniero- que es un sistema de cuatro parlantes distribuidos, donde a cada parlante se le colocaron sensores infrarrojos; diseñé un puntero infrarrojo con el que uno señala los parlantes, así armé un juego y esa fue la primera fase.
¿Cuál fue el prototipo para esta aplicación?
En la tesis doctoral hay un desarrollo principal que es un audiojuego, al cual llamamos “Sombras y Sonidos – VR” y que fue casi un punto de llegada después de hacer todo un desarrollo teórico sobre percepción y teorías enactivas y de desarrollos exploratorios de audiojuegos, obviamente con interfaces sin visión. Hicimos varios y llegamos a un punto donde dijimos “este nos gustó” y vamos a tratar de hacerlo más grande y probar si sirve para entrenar audición espacial. ¿Qué es audición espacial? Es la capacidad de reconocer la ubicación de una fuente sonora solamente a partir de la audición. Esa habilidad de saber dónde están las cosas solamente con la audición es muy útil para personas ciegas, pero también para quienes tienen visión. Hicimos este juego, que es un audiojuego de realidad virtual, en el sentido de que uno se ve inmerso en un espacio tridimensional pero no ve nada, está todo oscuro porque es un audiojuego; vos te ponés el casco de realidad virtual y la pantalla está apagada, pero sí podés moverte ahí adentro, vos girás la cabeza y responde a tus movimientos, caminas con un joystick y te vas desplazando en un lugar donde no ves y tenés que encontrar cosas. En este caso, el objetivo del juego es encontrar animales en un terreno que simula ser externo; se escuchan grillos, se escucha que vas pisando pasto y muchos animales alrededor, y te dicen que tenés que encontrar una vaca, por ejemplo. Y vos en ese espacio tenés que organizarte para escuchar la vaca, saber dónde está, moverte hacia ella, llegar lo más cerca posible para poder agarrarla y que te digan cuál es el próximo elemento a buscar. Ese sería el prototipo principal con el que se desarrollaron las pruebas.
¿Por qué se dice que la localización de los sonidos es inconsciente, en parte o totalmente?
Tiene que ver con la capacidad de hacerlo de forma casi automática, uno no se pone a pensar ni a racionalizar, no hace procesos analíticos ni deductivos ni sintéticos para tomar esa información, procesarla y tener una salida, como dicen paradigmas tradicionales de cognición. Justamente, los paradigmas enactivos hablan de ese acople que es automático, no se puede separar la percepción de la acción porque es toda una “bola” que está junta. Los fenómenos de audición espacial son muy ejemplificadores de este tipo de cuestiones, en donde estos movimientos que te mencionaba son inconscientes; uno muchas veces cuando escucha un sonido mueve la cabeza, apunta con un oído o hace un movimiento de este tipo (inclina la cabeza) para desambiguar información, y uno lo hace automáticamente. Como caminar, como algunas cosas que ya están muy corporizadas, por fuera quizás de un pensamiento reflexivo central…No es esa la lógica. Es algo mucho más corporizado y acoplado “uno a uno” con el entorno.
¿A qué se le llama “sonidos invertidos”?
Quizás te estés refiriendo a la investigación del pseudófono, es un dispositivo que hicimos nosotros, que invierte sonidos. No está asociado directamente con los audiojuegos, pero sí con el estudio de aprendizaje auditivo. Uno de los investigadores del Cintra investiga las raíces del aprendizaje y para estudiar esas raíces, tendrías que romper todas las estructuras que ya conocés para arrancar de cero y ver cómo aprendés. Eso es muy difícil (risas). Muchas veces se hacen estudios con bebés, donde, claramente, el bagaje de aprendizaje es mucho menor, pero bien…otra forma es introducir disrupciones en la percepción. Nosotros diseñamos un auricular que cuando una persona se lo coloca, todo lo que le llegaría por el oído derecho, lo escucha por el oído izquierdo y al revés. Es difícil de explicar con palabras, pero cuando vos te ponés ese auricular se desordena todo. Vos querés localizar un sonido y las cosas no responden a como estás acostumbrado. Entonces, tenés que reaprender. Se hicieron investigaciones donde la gente reaprende a escuchar y se observaron los patrones de aprendizaje; cuáles son los movimientos que se realizan, qué sonidos son más fáciles de percibir que otros, dónde hay mejor aprendizaje, dónde cuesta más. Se usó un aparato que invierte sonidos para ir a la raíz del aprendizaje y ver cómo se reaprende. En visión hay estudios en los cuales, por ejemplo, el campo visual te lo dan vuelta, y lo que yo estoy viendo ahora estaría todo al revés. Los primeros síntomas son mareos, que son naturales, pero después las personas aprenden a moverse en esos espacios. Entonces, ¿cómo se aprende una habilidad perceptual? Hay que ir a esa fuente donde se está aprendiendo para observarla.
¿Qué son las “interfaces enactivas” y cómo contribuyen en el audiojuego?
Gran parte de la investigación se centra en cómo hacer interfaces, que es eso que está entre el juego y vos, digamos, que hace que la persona pueda comunicarse con ese mundo virtual. Hay mucho para ver en cómo se diseña esa interfaz para que sea eficiente básicamente, para que sirva en esta traducción de cómo uno siente y se mueve y cómo la máquina procesa unos y ceros en su hardware. Las interfaces enactivas proponen -vienen directamente de la cognición corporizada- que uno para aprender necesita actuar, moverse, interactuar.
No tanto esta lógica de la que hablamos antes de que te den una palabra, la proceses con tu cabeza y des una respuesta. En general, las interfaces enactivas son corporizadas, son automáticas. Las interfaces táctiles responden mucho a este paradigma de cómo diseñar la vinculación entre la persona y la máquina. Y en los audiojuegos, en particular, hay muchos juegos en los que la interfaz es muy pobre, tiene sonidos que son mínimos, tiene acciones que son mover una flecha para arriba o para abajo, todo muy discreto. Pierden
muchísima naturalidad, muchísima parte intuitiva de lo que es la interacción natural de un ser humano con el entorno. Entonces, podemos decir que la interfaz enactiva es una orientación, es tomar los conceptos de cognición corporizada y ver cómo lo operacionalizo en algo técnico para vincularme con la máquina o para hacer una máquina que me vincule con el entorno.
¿Cómo se realizó el diseño del entorno sonoro? ¿Cómo se adapta la realidad de un ambiente natural a un ambiente sonoro controlado, diseñado, artificial?
Bueno, ese es quizás el desafío técnico más difícil. Hoy en día hay muchas herramientas informáticas que ayudan, particularmente lo que hace la computadora, en este caso el teléfono, es sintetizar algunas claves auditivas y enviarlas a través de auriculares para simular esto. Las claves principales son la diferencia de tiempo entre que llega un sonido al oído izquierdo y al derecho; si hay algo a mi izquierda, por ejemplo, va a llegar primero a mi oído izquierdo y después a mi oído derecho, por la propagación natural del sonido. Entonces sé que el objeto está a la izquierda, y así con diferentes posiciones. Otra clave principal es la diferencia de nivel: el nivel sonoro con el que me llegaría a la izquierda, si la fuente sonora está a la izquierda, va a ser mayor que en el oído derecho, por la atenuación del sonido que se produce cuando el sonido atraviesa la cabeza. Las funciones de transferencia de cabeza constituyen una tercera clave, que tiene que ver con las diversas modificaciones que sufre la onda sonora debido a la incidencia desde diferentes ángulos contra la cabeza, los hombros y, sobre todo, cuando el sonido toca el pabellón auricular y sus curvas, que son únicas para cada individuo y uno aprende a usarlas. Quizás sean las más difíciles de replicar a nivel computacional, porque justamente son muy individualizadas. Uno de mis codirectores, el Dr. Fabián Tommasini, investiga esa parte, cómo individualizar HRTF (Head Related Transfer Functions). Esas serían las tres claves más clásicas de lo que hace la simulación. Algo novedoso en nuestro abordaje es que agregamos claves dinámicas de localización, provenientes de los movimientos de cabeza del jugador, esto se hace a partir del acelerómetro y del giróscopo del teléfono; se toma esa información para ver saber cuánto ángulo vos estás girando cuando movés tu cabeza para actualizar constantemente el sistema y simular las dos señales coherentes con tus movimientos. No encontramos muchos juegos que incluyan movimientos de cabeza en la localización sonora.
¿Esto tiene que ver con la aplicación de modelos matemáticos, con coordenadas de distancia, intensidad?
Sí, exactamente. Yo no trabajé a ese nivel, en esa capa matemática. Sino que investigué qué herramientas hay, qué plugins hay para mi software; yo usé uno que se llama Unity, que es para hacer videojuegos. Y bueno, intenté hacer audiojuegos con un motor de videojuegos, emparchando eso y tratando de encontrar cosas y de ver qué funcionaba mejor. Mi trabajo fue más de investigación técnica, de saber qué usar, cómo incorporarlo; un trabajo más de “rompecabezas” si se quiere.
En la fase de experimentación del audiojuego ¿hubo diferencias en la performance entre personas ciegas y personas con visión?
Hicimos un gran corpus de validación con personas con visión y tuvimos un caso de una persona ciega, sólo uno, no pudimos hacer la muestra completa. Esto tuvo que ver con que nos agarró la pandemia en ese momento, el de experimentación, y cuando se abrieron las puertas terminamos las pruebas que pudimos hacer, las presentaciones de artículos y escribimos la tesis. Eso es trabajo pendiente, hacer las validaciones robustas con personas ciegas. Ahora bien, esa persona ciega participó en las pruebas, también fue parte del desarrollo, eso fue interesante además en cuanto a la tesis. Nosotros trabajamos cooperativamente con un estudiante de esta Facultad, de la carrera Ingeniería en Sistemas de Información, que es ciego y que fue becario en un proyecto de investigación que yo dirigía. Y trabajó tres años a la par diseñando este juego, contribuyó muchísimo desde su perspectiva al diseño, de cómo podía agarrar o no herramientas de diseño porque todo está diseñado para personas con visión. Entonces, cuando una persona ciega se pone a diseñar ya tiene una primera pared, se tiene que dar con Unity, que es todo interfaz gráfica. Por eso, fue todo un aprendizaje ver cómo establecer ese puente para que él, con muchas habilidades propias, lo pudiera sortear bien y el programa funcione para hacer esa adaptación. Y después de esto, hicimos unas pruebas, y él tuvo buenos resultados en cuanto a su evolución en el juego, bajó los tiempos de juego, mejoró la cantidad de movimientos que tenía que hacer para localizar, o sea los minimizó; cada vez localizaba más rápido con menor esfuerzo y las pruebas de localización no fueron certeras. Sin embargo, la significancia estadística de sus mejorías no fue contundente. Los índices en el juego fueron claros, los índices en la prueba de localización sonora no lo suficiente; pero bien, esto también es propio de hacer un muestreo con una sola persona. Eso se hace con muchas más y con un grupo de control; esto sí lo hicimos con un grupo de personas con visión que jugaron, entrenaron y redujeron hasta 1,8° la precisión con la que localizaron el sonido, mientras que el grupo control no lo hizo.
¿Están trabajando en otras líneas de investigación relacionadas con la temática?
Acá en el Cintra cada uno tiene su trabajo, pero también colaboramos con otras líneas de investigación. Justo antes de que vos entres, estábamos colaborando con gente de UTN – Facultad Regional Mendoza que desarrolla un curso de capacitación. Son investigadores de Astronomía, que quieren sonorizar datos para personas con discapacidad visual, hacer información visual, y eso lo hacemos en equipo, por ejemplo. Hay muchas tareas. Dentro de las investigaciones de percepción, yo trabajo en la asistencia de pruebas, en el diseño más técnico; junto con uno de mis codirectores. No sé si es otra línea, pero se sale de la temática audiojuegos, aunque sigue dentro de ese gran paraguas que es Percepción Auditiva, que es el gran tema. Percepción Auditiva Espacial y Aprendizaje Auditivo son las líneas de investigación principales.
¿Cuál es el estado actual de la producción de audiojuegos? ¿Existe un mercado de audiojuegos?
No hay un mercado de audiojuegos. Hay iniciativas de algunos estudios pequeños, hay mucho trabajo en cuanto a investigación, hay una veta académica para un desarrollo académico. A nivel comercial y empresarial, no hay algo muy articulado.
¿En qué países observás que hay más desarrollo o interés en los audiojuegos?
En ninguno hay un mercado establecido, pero si pensara en qué lugares hay más, en Brasil hay muchas investigaciones; en Italia, también. Existe un grupo de investigación en Grecia, que tiene buenos avances sobre todo a nivel más artístico de juego; en Estados Unidos hay algunas iniciativas…en Austria, también. Pero no se termina de instalar porque el nicho económico es muy pequeño, digamos. Las personas ciegas que pueden llegar a pagar un juego y que eso se establezca empresarialmente no lo veo en este momento. Lo que siempre hablamos con mis colegas durante la tesis es que los audiojuegos tienen mucho potencial para captar personas con visión normal y eso podría ser un “norte” para que esto realmente cobre una dimensión distinta; para que jueguen personas con visión y sin visión, en iguales condiciones. Inclusive esto es favorable para un ámbito de inclusión natural, donde se pueda compartir un espacio de juego y a la vez captar a mucha más gente, a jugadores. La sensación de jugar sin visión es muy estimulante, a algunas personas les puede causar algo de miedo, pero cuando uno no tiene la visión, realmente pasan cosas interesantes si uno está acostumbrado a confiar toda la información ahí. Todo se vuelve un poco más intrigante, estimulante, toma más suspenso, genera curiosidad. Entonces, hay una veta que puede hacer que el tema audiojuegos tenga un salto en este sentido, para hacer crecer la población y generar un espacio de inclusión e interacción más grande.
¿Cómo imaginás el futuro de los audiojuegos?
Buena pregunta. Yo creo que tiene potencial para ser una gran herramienta para el aprendizaje de audición, de habilidades psicomotrices o sociales, para poder generar espacios de inclusión verdadera. Técnicamente, quizás no haga falta el casco, simplemente con un sensor de movimientos de cabeza sería suficiente, quizás con auriculares que ya directamente te sensen, que vos podés programarlos para usarlos flexiblemente para lo que vos querés; ya existen, pero son difíciles de acceder. Me los imagino con cada vez más libertad, cada vez más transparentes en el sentido de que uno se relaciona con el entorno virtual directamente casi sin tener interfaces en el medio; cada vez más complejos. Me los imagino insertados en sistemas de entrenamiento reales, ya sea de personas ciegas que quieran aprender orientación y movilidad, o en implantes cocleares, ahí hay todo un nicho. Incluso para entrenar habilidades generales, porque la audición espacial está en todos lados, desde manejar un auto hasta habilidades más complejas. El potencial lo tiene, es fácilmente reconocible; de ahí a que esto pueda tener un salto y que realmente llegue, bueno, depende de varios factores, no lo sé. Si pudiera imaginarme y soñar, quizás, me encantaría que todo el mundo pudiera jugar con juegos sonoros y descanse la actividad visual. Hubo uno de los participantes que probó el juego, que entrenaba -porque nosotros teníamos un sistema de entrenamiento de varios días-; era una persona muy expuesta al ruido porque trabajaba de moto mandado, y cuando jugaba me decía que se tranquilizaba mucho. Esto sucede porque es como si, de alguna manera, se apagaran todos los sentidos y el participante va al espacio oscuro con un diseño sonoro especial que propone el audiojuego y tiene que hacer lo que indica el juego. Su veta era relajante, por decirlo de alguna manera; había cierta clausura sensorial que lo ayudaba a relajarse. Yo creo que tiene potencial para establecerse bien, quizás en este momento es temprana la investigación y los caminos para que se instale no los veo claros. Yo hoy hablo de audiojuegos y le tengo que explicar a la mayoría de la gente qué es un audiojuego.
¿Qué tipo de financiamiento obtuvo el proyecto?
El tema del financiamiento está asociado a varias cosas de lo que dijimos, el hecho de que no se inserte en un espacio empresarial hace que esto lo tomen particulares, independientes; y el sistema público es uno de los entes que lo puede tomar porque su intención es el beneficio social y no el rédito económico. Yo pude desarrollar el audiojuego gracias a una beca de Conicet que me permitió hacer mi doctorado; también con financiación de UTN que me permitió adquirir ciertos componentes técnicos para realizar mi investigación, sin ese incentivo no lo podría haber hecho ni tener los resultados que tuve.