Los auriculares con IA permiten a los usuarios escuchar una voz entre la multitud

Los nuevos auriculares con IA permiten al usuario escuchar a una persona entre una multitud con solo mirarla una vez.

Los auriculares con cancelación de ruido se han vuelto muy buenos para crear una pizarra en blanco auditiva. Pero permitir que ciertos sonidos del entorno del usuario se descompongan todavía supone un desafío para los investigadores.

La última edición de los AirPods Pro de Apple, por ejemplo, ajusta automáticamente los niveles de sonido para el usuario, detectando cuando está en una conversación, por ejemplo, pero el usuario tiene poco control sobre quién escucha o cuándo sucede.

Ahora, los investigadores han desarrollado un sistema de inteligencia artificial que permite a un usuario que lleva auriculares mirar a una persona que habla durante tres a cinco segundos para «grabarla». El sistema, llamado «Target Speech Hearing», cancela todos los demás sonidos del entorno y reproduce sólo la voz grabada del orador en tiempo real, incluso cuando el oyente se mueve a lugares ruidosos y deja de mirar al orador.

«Ahora tendemos a pensar en la IA como chatbots basados ​​en la web que responden preguntas», dice el autor principal Shyam Gollakota, profesor de la Facultad de Ciencias e Ingeniería de la Universidad de Washington. “Pero en este proyecto desarrollamos una IA para modificar la percepción auditiva de cualquier persona que use auriculares, según sus preferencias. Con nuestro dispositivo ahora puedes escuchar claramente a un orador incluso si estás en un ambiente ruidoso con muchas otras personas hablando».

Para usar el sistema, una persona que usa audífonos disponibles en el mercado equipados con micrófonos presiona un botón mientras dirige su cabeza hacia alguien que está hablando. Las ondas sonoras de la voz de ese hablante deben llegar a los micrófonos de ambos lados del auricular simultáneamente; hay un margen de error de 16 grados. Los auriculares envían esa señal a una computadora a bordo, donde el software de aprendizaje automático del equipo aprende los patrones vocales del hablante deseado.

El sistema capta la voz de ese hablante y continúa reproduciéndola para el oyente, incluso cuando la pareja se mueve. La capacidad del sistema para centrarse en la voz grabada mejora a medida que el hablante continúa hablando, lo que proporciona al sistema más datos de entrenamiento.

El equipo probó su sistema en 21 sujetos, quienes calificaron la claridad de la voz del hablante grabada casi el doble que la del audio sin filtrar en promedio.

Este trabajo se basa en la investigación anterior del equipo sobre «escucha semántica», que permitió a los usuarios seleccionar clases de sonidos específicos, como pájaros o voces, que querían escuchar y cancelar otros sonidos en el entorno.

Actualmente, el sistema TSH solo puede grabar un hablante a la vez, y solo puede grabar a un hablante cuando no hay otra voz fuerte proveniente de la misma dirección que la voz del hablante objetivo. Si un usuario no está satisfecho con la calidad del sonido, puede ejecutar otra grabación en el altavoz para mejorar la claridad.

El equipo está trabajando para ampliar el sistema para auriculares y audífonos en el futuro.

El equipo presentó sus hallazgos en Honolulu en la Conferencia ACM CHI sobre factores humanos en sistemas informáticos.

El código del dispositivo de prueba de concepto está disponible para que otros puedan desarrollarlo. El sistema no está disponible comercialmente.

Los coautores adicionales son de la Universidad de Washington y AssemblyAI.

La financiación para la investigación provino de un premio Moore Inventor Fellow, una cátedra Thomas J. Cabel y el Fondo UW CoMotion Innovation Gap.

Fuente: Universidad de Washington