La startup de videos de inteligencia artificial Pika Labs tiene una función que te permite darle voz a tus personajes generados. Lip Sync mueve los labios de un personaje humanoide en un video o imagen a un archivo de sonido o texto y luego lo convierte en un nuevo video.
Esta es una de varias soluciones diseñadas para abordar uno de los mayores problemas con el vídeo generativo con inteligencia artificial en este momento: la falta de interactividad.
La mayoría de los vídeos de IA que circulan en la web y en las redes sociales son en gran medida presentaciones de diapositivas visuales con voz en off o que se utilizan para hacer vídeos musicales sin diálogo.
Eso no quiere decir que el diálogo no exista, y es una forma interesante de contar historias, pero carece de la sensación natural de una película o programa de televisión donde los personajes hablan entre sí o con la cámara.
Pika Labs te permite cargar un vídeo o una imagen fija y vincularlo con un sonido. Luego animó específicamente los labios al compás del diálogo en el clip de audio para que pareciera un habla.
Probando la sincronización de labios de Pika Labs
Lip Sync funciona a partir de un archivo de audio cargado, que puede ser de un podcast, audiolibro o generado mediante un motor de conversión de texto a voz como ElevenLabs o Amazon Polly.
Sin embargo, si no tienes un archivo de audio, Pika Labs ha integrado la API de ElevenLabs en el proceso, permitiéndote seleccionar cualquiera de sus voces predeterminadas y simplemente escribir lo que quieres que diga el personaje.
Para tener una idea de qué tan bien funciona la nueva función de sincronización de labios, le pedí a Claude 3 que creara cinco personajes y le diera a cada uno una línea de diálogo. Luego usé Ideogram para visualizar los personajes y finalmente puse a cada uno de ellos a través de la herramienta Lip Sync.
Hay varias maneras de abordar esto. Puedes proporcionar a Pika Labs un archivo de vídeo preanimado, una imagen o convertir una imagen en un vídeo y luego aplicar Lip Sync al vídeo final.
¿Qué tan bien funcionó?
La primera prueba que hice fue darle un video corto que filmé de una figura de acción de Superman que tengo en el estante detrás de mi escritorio. Funcionó perfectamente, animando fácilmente el movimiento de la boca.
Para comprobarlo aún más, filmé un vídeo de Black Widow y luego uno de Woody de Toy Story, que también funcionó bien. Los espectáculos al estilo Robot Chicken ahora se pueden hacer en casa.
Es hora de pasar a los personajes que creé con Claude e Ideogram. La idea era escribir un guión breve y hacer que cada personaje leyera una línea y luego editarlos juntos.
Comencé usando la imagen y simplemente animando los labios, pasando de la imagen a la sincronización de labios de inmediato, sin crear un video primero. Si bien esto funcionó bien para el movimiento de los labios, parecía algo plano, como una foto hablada en lugar de un video.
En general, creo que Pika Labs ha hecho un trabajo excepcional con su herramienta de sincronización de labios. Crea un movimiento de labios cautivador, pero se queda corto en otras animaciones faciales si el video aún no ha sido animado.
La primera prueba fue el androide. Tenía piel azul y parecía un humanoide pero no un humano real. Esto impulsará la herramienta que actualmente requiere representaciones de humanos frente a la cámara para que funcione de manera efectiva. Lo manejó bien pero con algunos artefactos alrededor de los labios.
Convertí las cinco imágenes en video usando el modelo habitual de imagen a video de Pika Labs y luego apliqué sincronización de labios al clip corto resultante. Esto funcionó mejor que ir directamente a la imagen para todos excepto para la representación de un humano. Pika Labs siguió sobreanimando su rostro, así que me quedé con la imagen fija.
Aportando una nueva dimensión al vídeo
La prueba final fue ver si podía hacer cantar a un personaje, básicamente dándole un archivo de canción de Suno. El problema es que tiende a limitarse a unos pocos segundos. Así que tuve que elegir el clip correcto y concentrarme en el estribillo. Funcionó muy bien y será una buena adición a mi próximo proyecto de vídeo musical.
En general, creo que Pika Labs ha hecho un trabajo excepcional con su herramienta de sincronización de labios. Crea un movimiento de labios cautivador, pero se queda corto en otras animaciones faciales si el video aún no ha sido animado.
Existen otros servicios, incluido Synclabs, que ofrecen excelentes videos más largos, pero el hecho de que esté integrado en una herramienta de video generativo e integre ElevenLabs le da una ventaja.
Todo lo que Pika Labs necesita ahora es una herramienta de línea de tiempo que permita la edición de video directamente dentro de la plataforma, así como la integración con un generador de efectos de sonido como AudioCradt y estará en camino de convertirse en una herramienta de nivel de producción completa.
- Se presenta la nueva herramienta de video de IA generativa de Pika Labs, y parece un gran problema
- Obtuve acceso a la nueva herramienta de video de IA de Pika Labs y no podía creer la calidad de los videos que producía.
- Runway vs Pika Labs: ¿cuál es la mejor herramienta de vídeo con IA?
