LTX Studio es una nueva plataforma de vídeo con IA generativa que permite a los creadores realizar una producción completa desde un solo mensaje. Durante una demostración de la herramienta vi aparecer una producción completa en segundos con clips, sonidos y personajes.
Los vídeos de IA generativa han pasado rápidamente de ser clips cortos apenas visibles a estar casi listos para la producción en menos de un año. Tenemos tomas tan cercanas a la realidad que es difícil distinguir la realidad de la ficción, pero en su mayor parte siguen siendo tomas cortas de tres o cuatro segundos sin sonido.
Si bien hay una multitud de herramientas de generación y nuevos modelos en el horizonte de OpenAI, como Sora, que transformarán el mercado, los desarrolladores de LTX Studio se están centrando en la producción: el panorama completo, no solo un clip.
Creado por Lightricks, el equipo detrás de las aplicaciones Facetune y Photoleap, utiliza una serie de modelos de IA generativos privados, internos y de código abierto para facilitar la producción de videos con IA y, por lo que he visto, es un momento decisivo para la IA. .
¿Cómo funciona LTX Studio?
LTX Studio es una plataforma de contenido generativo. Le permite crear videoclips cortos, música, efectos de sonido e incluso diálogos a partir de un mensaje de texto. Lo que lo distingue es el hecho de que puedes hacer todo eso desde una única interfaz.
El equipo utiliza una variedad de herramientas y modelos de IA generativa y luego los integra en la interfaz para facilitar la creación de videos de IA de múltiples tomas.
Comenzando con un mensaje, como “haz un drama sobre una pareja varada en una playa después de un accidente aéreo”, genera perfiles de personajes completos con foto, estilo, nombre y voz.
Una vez que tiene los perfiles, crea una serie de escenas, cada escena contiene una serie de tomas de 3 a 4 segundos realizadas a partir de videos generativos. Luego puede personalizar cualquier componente.
¿Qué tan bien funciona LTX Studio?
Como parte de mi trabajo, creo contenido de IA de forma regular, lo que incluye hacer vídeos musicales, comerciales y avances para demostrar cómo funcionan los diferentes modelos y herramientas. Esto suele implicar la posproducción en aplicaciones tradicionales como Adobe Premiere.
Durante una demostración de LTX Studio con el director ejecutivo de Lightricks, Zeev Farbman, tomó la idea básica detrás de uno de mis videos musicales y, en pocas palabras, tenía docenas de tomas repartidas en un puñado de escenas y personajes personalizados listos para funcionar.
No fue perfecto, los personajes necesitaban algo de trabajo, pero el hecho de que pasara de una idea básica a un guión gráfico completo con contenido generado en segundos fue asombroso.
El hecho de que pasara de una idea básica a un guión gráfico completo con contenido generado en segundos fue asombroso.
Lo que lo hace aún más emocionante es que podía personalizar los personajes una vez y los cambiaba en cada toma.
También podría cambiar el estilo de cualquier toma o de toda la producción; por ejemplo, pasar del fotorrealismo al anime.
Esto significó que no había necesidad de volver atrás y regenerar nuevos clips inpiduales, cargarlos nuevamente en Premiere Pro y comenzar de nuevo como es el caso en este momento.
Farbman me dijo que había un gran mercado para la creación de contenido a escala, pero que uno de los más sorprendentes era el de los directores que buscaban crear guiones gráficos rápidos de ideas que pudieran usarse en reuniones de presentación con inversores o estudios.
¿Cuándo estará disponible LTX Studio?
El equipo de Lightricks todavía está desarrollando LTX Studio y ultimando algunas de las características, incluida una impresionante capacidad de sonido para controlar la posición y el movimiento de la cámara dentro de una toma.
Esta función convierte efectivamente la imagen fija en una escena 3D por la que puede moverse para cambiar el ángulo y el movimiento de la cámara. Podrás hacer esto en cualquier toma de una escena.
También están explorando el potencial de la sincronización de labios, pero admitieron que “ninguno es particularmente bueno todavía”. Por ahora, el diálogo se parece más a una voz en off de lo que verías en una película o programa de televisión.
La lista de espera ya está abierta para las personas que quieran llegar temprano y se espera el primer acceso público en algún momento de este mes. Por lo que he visto, ya es una herramienta útil para crear guiones gráficos incluso sin el componente de vídeo generativo.
¿Por qué esto importa?
Este no es el único producto de estudio de IA generativa que me han propuesto recientemente. Algunos comienzan con una historia, otros con una imagen; este es más un producto generativo puro que comienza con un mensaje simple pero luego brinda un control granular muy preciso sobre cada elemento.
Los productos Studio son el siguiente paso lógico para la IA generativa. Poder hacer un videoclip pertido es genial, pero poder hacer varios clips, agregar música, efectos de sonido y diálogos es un momento decisivo y nos acerca a “Netflix, haz una película sobre gatos en la luna”.
- Se presenta la nueva herramienta de video de IA generativa de Pika Labs, y parece un gran problema
- Obtuve acceso a la nueva herramienta de video de IA de Pika Labs y no podía creer la calidad de los videos que producía.
- Runway vs Pika Labs: ¿cuál es la mejor herramienta de vídeo con IA?
