Columbia researchers built a 26-motor robot face that learns lip-syncing from video using AI, improving human-robot interaction. Investigadores de Columbia construyeron una cara robótica de 26 motores que aprende la sincronización labial de videos usando IA, mejorando la interacción humano-robot.

Researchers at Columbia University have created a robot face with 26 motors that learns to lip-sync by observing humans on video, using AI to match sounds to realistic lip movements. Investigadores de la Universidad de Columbia han creado una cara robótica con 26 motores que aprende a sincronizar los labios observando a los humanos en video, utilizando la IA para hacer coincidir los sonidos con movimientos realistas de los labios. The system, trained through self-observation and studying speech and song, can synchronize lips with audio across languages and tones, improving natural human-robot interaction. El sistema, entrenado a través de la autoobservación y el estudio del habla y la canción, puede sincronizar los labios con el audio a través de idiomas y tonos, mejorando la interacción natural entre humano y robot. Though challenges remain with certain sounds, the technology aims to enhance emotional connection in applications like healthcare and education by addressing a key gap in robotic expression. Aunque los desafíos persisten con ciertos sonidos, la tecnología tiene como objetivo mejorar la conexión emocional en aplicaciones como la salud y la educación al abordar una brecha clave en la expresión robótica.