Un nuevo artículo de investigación sobre IA de Microsoft promete un futuro en el que podrás subir una foto, una muestra de tu voz y crear una cabeza parlante animada y en vivo con tu propio rostro.
VASA-1 toma una sola foto de retrato y un archivo de audio y lo convierte en un video de cara parlante hiperrealista completo con sincronización de labios, rasgos faciales realistas y movimiento de cabeza.
Actualmente, el modelo es solo una vista previa de la investigación y no está disponible para que lo pruebe nadie fuera del equipo de investigación de Microsoft, pero los videos de demostración parecen impresionantes.
Runway y Nvidia ya ofrecen tecnología similar de sincronización de labios y movimiento de cabeza, pero parece ser de mucha mayor calidad y realismo, lo que reduce los artefactos en la boca. Este enfoque de la animación basada en audio también es similar a un modelo reciente de VLOGGER AI de Google Research.
¿Cómo funciona VASA-1?
Microsoft dice que este es un nuevo marco para la creación de caras parlantes realistas y específicamente con el propósito de animar personajes virtuales. Todas las personas en los ejemplos eran sintéticas y estaban hechas con DALL-E, pero si puede animar una imagen realista de IA, puede animar una foto real.
En la demostración vemos a personas hablando como si estuvieran siendo filmadas, con movimientos ligeramente entrecortados pero por lo demás de apariencia natural. La sincronización de labios es muy impresionante, con movimiento natural y sin artefactos alrededor de la parte superior e inferior de la boca que se ven en otras herramientas.
Una de las cosas más impresionantes de VASA-1 parece ser el hecho de que no requiere una imagen de estilo retrato mirando hacia adelante para que funcione.
Hay ejemplos con tomas orientadas en varias direcciones. El modelo también parece tener un alto grado de control, capaz de tomar la dirección de la mirada, la distancia de la cabeza e incluso las emociones como información para guiar a la generación.
¿Cuál es el objetivo de VASA-1?
Uno de los casos de uso más obvios para esto es la sincronización labial avanzada para juegos. Ser capaz de crear NPC impulsados por IA con movimiento natural de los labios podría cambiar las reglas del juego para la inmersión.
También podría usarse para crear avatares virtuales para videos de redes sociales, como ya se ha visto en compañías como HeyGen y Synthesia. Otra área es la realización de películas basadas en inteligencia artificial. Podrías hacer un vídeo musical más realista si puedes tener un cantante con IA que parezca que está cantando.
Dicho esto, el equipo dice que esto es solo una demostración de investigación, sin planes para un lanzamiento público o incluso para ponerlo a disposición de los desarrolladores para su uso en productos.
¿Qué tan bien funciona VASA-1?
Una cosa que sorprendió a los investigadores fue la capacidad de VASA-1 para sincronizar perfectamente los labios con una canción, reflejando las palabras del cantante sin problemas a pesar de que no se utilizó música en el conjunto de datos de entrenamiento. También manejó diferentes estilos de imágenes, incluida la Mona Lisa.
Lo lograron creando imágenes de 512×512 píxeles a 45 cuadros por segundo y pueden hacerlo en aproximadamente 2 minutos usando una GPU Nvidia RTX 4090 de escritorio.
Si bien dicen que esto es solo para investigación, sería una pena que no fuera de dominio público, aunque solo sea para desarrolladores, ya que me encantaría verlo en Runway o Pika Labs. Dado que Microsoft tiene una gran participación en OpenAI, esto podría incluso ser parte de una futura integración de Copilot Sora.
- Se anuncia el MacBook Air M3: ya están abiertos los pedidos anticipados del ‘mejor portátil de consumo del mundo para IA’
- Probé Google Gemini vs OpenAI ChatGPT en un enfrentamiento de 9 rondas: aquí está el ganador
- OpenAI está construyendo AI GPT-5 de próxima generación, y el CEO afirma que podría ser superinteligente