Pika Labs, una de las principales plataformas de vídeo de IA, ha añadido una nueva función que puede dar voz a los personajes generados.
Lip Sync se creó en asociación con la plataforma de audio de inteligencia artificial ElevenLabs y te permite dar palabras a las personas en videos generados y sincronizar los movimientos de sus labios con el sonido.
Los cineastas que quieran tener personajes en su vídeo generado manteniendo una conversación tendrían que aceptar que no muevan los labios o que crucen actores reales con clips generados.
Lip Sync cambia eso. La nueva herramienta es un momento significativo en el espacio del vídeo generativo de IA, que apenas tiene un año de existencia. Yo diría que cuando se implementa correctamente y se solucionan los problemas iniciales, es un momento tan importante como el lanzamiento de Sora de OpenAI.
¿Qué es Lip Sync de Pika Labs?
Hasta ahora, la mayoría de los videoclips generados por inteligencia artificial han sido solo eso, clips que muestran una escena, una persona o una situación. No han tenido la interactividad de un personaje hablando a la cámara o a otra persona en la pantalla.
Sin la capacidad de tener personajes realistas que hablen a la audiencia, la mayoría de los videos han sido presentaciones de diapositivas glorificadas o se han utilizado para videos musicales.
He hecho ambas cosas, también hice avances ficticios para programas de televisión o comerciales, todos usando voz en off en lugar de darle voz a personajes específicos en el video.
Todavía no he probado Lip Sync, ya que actualmente solo está disponible para usuarios suscritos al plan Pro o superior, pero por lo que he visto de otras generaciones, no es perfecto, pero está muy cerca de estar listo para producción. Como mínimo, presentará una forma económica de hacer despegar rápidamente a un piloto.
La función puede convertir texto a audio con la voz proporcionada por ElevenLabs, o una carga directa de audio si ya tienes tu propio sonido, como un podcast o un libro.
Una funcionalidad similar ya está disponible en herramientas como Synthesia, pero tiene un enfoque de servicio al cliente más empresarial y genera cabezas parlantes en lugar de personajes.
¿Por qué es tan importante la sincronización de labios en los vídeos con IA?
Runway y Pika Labs han sido las plataformas dominantes para videos verdaderamente generativos durante los últimos meses. Llegó temprano al mercado y se iteró rápidamente: Runway reveló su servicio de voz en off sintética el año pasado, pero no sincronizado con video.
Sin embargo, la competencia está comenzando a calentarse con todos los grandes jugadores explorando el video generativo y OpenAI revelando su impresionante plataforma de video Sora AI.
StabilityAI también tiene una nueva versión de Stable Video Diffusion y Leonardo ofrece movimiento para cualquiera de sus imágenes generadas por IA. Google tiene Lumiere y Meta tiene Emu, lo que obliga a los primeros jugadores a agregar nuevas funciones antes de que los demás se pongan al día.
¿Que viene despues?
Hasta ahora hemos visto silos en la IA generativa. Herramientas que crean imágenes, herramientas que crean videos, servicios para escribir un guión y algo más para agregar sonido. El próximo paso serán mayores niveles de convergencia, con plataformas emergentes que ofrecerán producción completa de extremo a extremo a partir de un simple mensaje de texto.
ElevenLabs también está trabajando en una biblioteca de efectos de sonido y, combinado con Suno, pronto podríamos ver una plataforma única donde puedas decir “toma este guión escrito por ChatGPT y conviértelo en un cortometraje”.
Unos minutos más tarde, tendrías una línea de tiempo con una serie de videos, partes habladas por personajes usando voces sintéticas de ElevenLabs y efectos de sonido y música apropiados para darle vida a la producción completa.
Existía la preocupación de que veríamos a la IA convertirse en Skynet y controlar nuestras vidas, pero la evidencia (hasta ahora) parece sugerir que solo quiere entretener.
- Se presenta la nueva herramienta de video de IA generativa de Pika Labs, y parece un gran problema
- Obtuve acceso a la nueva herramienta de video de IA de Pika Labs y no podía creer la calidad de los videos que producía.
- Runway vs Pika Labs: ¿cuál es la mejor herramienta de vídeo con IA?
