Las habilidades de escucha aportan un toque humano a los robots

Imagínese sentado en una sala de cine a oscuras preguntándose cuánto refresco queda en su vaso grande. En lugar de quitar la tapa y mirar, agarras y agitas un poco la taza para escuchar cuánto hielo hay dentro chapoteando, lo que te da una indicación decente de si necesitas una recarga gratuita.

Al dejar la bebida en su sitio, uno se pregunta distraídamente si los brazos son de madera auténtica. Sin embargo, después de darle unos cuantos golpecitos y escuchar un eco hueco, decides que debe ser de plástico.

Esta capacidad de interpretar el mundo a través de las vibraciones acústicas que emanan de un objeto es algo que hacemos sin pensar. Y es una capacidad que los investigadores están a punto de incorporar a los robots para agregarla a su conjunto de capacidades de detección en rápido crecimiento.

Una nueva investigación de la Universidad de Duke, que se publicará en la Conferencia sobre aprendizaje de robots (CoRL 2024), que se celebrará del 6 al 9 de noviembre en Munich, Alemania, detalla un sistema llamado SonicSense Permitir que los robots interactúen con su entorno de formas que antes estaban limitadas a los humanos.

«Hoy en día, los robots dependen principalmente de la visión para interpretar el mundo», explicó Jiaxun Liu, autor principal del artículo y Ph.D. estudiante en el laboratorio de Boyuan Chen, profesor de ingeniería mecánica y ciencia de materiales en Duke. «Queríamos crear una solución que pudiera funcionar con objetos complejos y diversos que se encuentran a diario, dando a los robots una capacidad mucho más rica para ‘sentir’ y comprender el mundo».

SonicSense Presenta una mano robótica con cuatro dedos, cada uno equipado con un micrófono de contacto integrado en la punta del dedo. Estos sensores detectan y registran las vibraciones generadas cuando el robot golpea, agarra o sacude un objeto. Y debido a que los micrófonos están en contacto con el objeto, le permite al robot activar los sonidos ambientales.

Suscríbase al boletín Daily Dose y reciba todas las mañanas las mejores noticias científicas de toda la Web directamente en su bandeja de entrada. Es tan fácil como el domingo por la mañana.

En función de las interacciones y señales detectadas, SonicSense extrae las características de frecuencia y utiliza su conocimiento previo, junto con los avances recientes en IA, para ver de qué material está hecho el objeto y su forma 3D. Si se trata de un objeto que el sistema nunca ha visto antes, pueden ser necesarias 20 interacciones diferentes para que el sistema llegue a una conclusión. Pero si es un objeto que ya está en su base de datos, podrá identificarlo correctamente en menos de cuatro.

«SonicSense «Les da a los robots una nueva forma de escuchar y sentir, al igual que los humanos, lo que podría transformar la forma en que los robots actuales perciben e interactúan con los objetos», dijo Chen, quien también tiene cargos y estudiantes de ingeniería eléctrica e informática y ciencias de la computación. «Si bien la visión es esencial, el sonido añade capas de información que pueden revelar cosas que el ojo puede pasar por alto».

En el artículo y las demostraciones, Chen y su laboratorio muestran una serie de capacidades habilitadas por SonicSense. Girando o agitando una caja llena de dados, podrás contar el número que contiene y su forma. Al hacer lo mismo con una botella de agua, podrás saber cuánto líquido hay en su interior. Y al tocar el exterior de un objeto, como lo hacen los humanos cuando exploramos objetos en la oscuridad, se puede construir una reconstrucción 3D de la forma del objeto y determinar de qué material está hecho.

Mientras SonicSense No es el primer intento de utilizar este enfoque, va más allá y funciona mejor que trabajos anteriores al usar cuatro dedos en lugar de un micrófono, basado en el tacto que desconecta el ruido ambiental y técnicas avanzadas de inteligencia artificial. Esta configuración permite que el sistema identifique objetos hechos de más de un material con geometrías complejas, superficies transparentes o reflectantes y materiales que representan un desafío para los sistemas basados ​​en visión.

«Si bien la mayoría de los conjuntos de datos se recopilan en entornos de laboratorio controlados o con intervención humana, necesitábamos que nuestro robot interactuara con objetos de forma independiente en un entorno de laboratorio abierto», dijo Liu. “Es difícil replicar ese nivel de complejidad en simulaciones. Esta diferencia entre datos controlados y del mundo real es crítica, y SonicSense une eso al permitir que los robots interactúen directamente con las diversas y desordenadas realidades del mundo físico”.

Estas habilidades hacen SonicSense una base sólida para entrenar robots para percibir objetos en entornos dinámicos y no estructurados. También lo es su costo; El uso de los mismos micrófonos de contacto que usan los músicos para grabar el sonido de las guitarras, la impresión 3D y otros componentes disponibles comercialmente mantiene los costos de construcción en poco más de 200 dólares.

En el futuro, el grupo está trabajando para mejorar la capacidad del sistema para interactuar con múltiples objetos. Al integrar algoritmos de seguimiento de objetos, los robots pueden manejar entornos dinámicos y desordenados, acercándolos a una adaptabilidad similar a la humana en tareas del mundo real.

Otro avance clave reside en el diseño de la propia mano del robot. «Esto es sólo el comienzo. En el futuro pensamos SonicSense «Se está utilizando en manos robóticas más avanzadas con diestras habilidades de manipulación, lo que permite a los robots realizar tareas que requieren un sentido matizado del tacto», dijo Chen. «Estamos entusiasmados de explorar cómo se puede desarrollar aún más esta tecnología para integrar varias modalidades sensoriales, como como presión y temperatura, para interacciones aún más complejas».