Google Gemini Pro 1.5 es un momento decisivo para la inteligencia artificial multimodal. Le permite enviarle un archivo de video, audio o imagen y hacer preguntas sobre el contenido.
Para ver qué tan bien funcionó, le di a Gemini Pro 1.5 un video completamente silencioso del momento de totalidad del reciente eclipse solar total visible en América del Norte.
Trabajando en la plataforma VertexAI de Google Cloud, también pude darle algunas instrucciones a Gemini junto con el videoclip. Le pedí que escribiera la letra y un mensaje para que un generador de música con IA creara una canción inspirada en el contenido del vídeo.
Luego puse el mensaje y la letra en Udio para crear la canción y volví a introducir la pista completa en Gemini Pro 1.5 y le pedí que escuchara la pista y trazara un vídeo musical.
¿Qué es Google Géminis Pro 1.5?
Google lanzó su familia de modelos Gemini en noviembre, comenzando con el pequeño Nano, que está disponible en algunos teléfonos Android. Luego abandonó Pro, que ahora impulsa el chatbot Gemini y finalmente, en enero, lanzó el potente Gemini Ultra de nivel GPT-4.
El mes pasado, el gigante de las búsquedas lanzó su primera actualización de la familia Gemini, presentando Gemini Pro 1.5, que tiene una enorme ventana de contexto de millones de tokens, una combinación de arquitectura experta para mejorar la capacidad de respuesta y la precisión, así como verdaderas capacidades multimodales.
Si bien actualmente solo está disponible para desarrolladores a través de una llamada API o la plataforma en la nube VertexAI, se espera que esta funcionalidad avanzada aparezca pronto en el chatbot Gemini.
Algunas de las características incluyen la posibilidad de cargar un archivo de audio, como una canción o un discurso, un archivo de video de alguien haciendo ejercicio o un eclipse solar, y hacerle preguntas a Gemini sobre el archivo.
Crear una canción a partir de un vídeo
Si bien no puedes generar directamente una pieza musical usando Gemini Pro 1.5 (Google tiene otros modelos de inteligencia artificial para crear música y videos), puedes crear indicaciones y letras.
Le di al modelo de IA un breve clip de 25 segundos que mostraba el momento de la totalidad del reciente eclipse solar total visible desde los EE. UU. y le pedí que me diera la letra y un mensaje que pudiera introducir en un generador de música de IA para crear una canción inspirada. por el vídeo.
Me dio esto como un impulso para Udio: “Una pieza orquestal épica con tres movimientos distintos, el primero creando suspenso y anticipación a medida que el eclipse se acerca a la totalidad, el segundo desacelerando y volviéndose etéreo y misterioso durante la totalidad, y el tercero construyendo nuevamente. hasta un crescendo triunfal cuando el sol emerge detrás de la luna”.
Esta era la letra del coro: “El eclipse está aquí, un espectáculo celestial Un momento de oscuridad, antes de que crezca la luz Las estrellas salen a jugar, en el cielo del mediodía Una visión única en la vida, mientras el mundo pasa .”
No creo que Gemini Pro 1.5 sea tan creativo como Claude 3, ChatGPT o Gemini Ultra. Las letras de esas plataformas tienden a ser más inventivas, pero la capacidad de analizar un vídeo es enorme. Pudo valorar los diferentes momentos del vídeo, captar los cambios y reflejarlos en la letra.
Crear un vídeo musical a partir de una canción.
Una de las actualizaciones más recientes de Google Gemini 1.5 es la capacidad de tomar una canción o cualquier fragmento de audio y analizar su contenido. Esto me ha resultado particularmente útil a la hora de planificar ideas para un vídeo musical que acompañe esa canción, especialmente si trabajo rápidamente.
Tomé la canción que generé en Udio usando el mensaje y la letra de Gemini Pro 1.5 y le pedí al modelo de IA que trazara un video musical toma por toma basado en el archivo de audio.
Me dio una serie de tomas de 5 segundos para cada parte de la canción, incluida la introducción y el estribillo. Para cada sección me dio un mensaje como “generar un hermoso paisaje con el amanecer y los pájaros en vuelo”. Luego envié las indicaciones a Pika Labs.
Esto podría darle a un robot la capacidad de actuar de forma completamente independiente utilizando nada más que un micrófono y una cámara.
Si bien este es un ejemplo inusual de cómo usar Gemini Pro 1.5, es una indicación de lo que podría ser posible o incluso de lo que podría crear un desarrollador externo. Por ejemplo, podría utilizar Gemini Pro 1.5 como capa intermedia entre un generador de música con IA y una plataforma de vídeo con IA como LTX Studio o Runway para crear una canción y un vídeo musical con un solo clic.
El beneficio real de ventanas de contexto más grandes llegará cuando comencemos a ver aplicaciones de inteligencia artificial como las gafas inteligentes de Meta o el Rabbit R1 en el mercado. Si Google puede abordar el problema de la latencia, la IA podría analizar la gran cantidad de datos del mundo real y brindar información y comentarios en vivo.
Esto podría usarse para ayudar a una persona ciega a ver las descripciones de audio, crear el primer paso hacia verdaderos vehículos sin conductor o darle a un robot la capacidad de actuar de manera completamente independiente usando nada más que un micrófono y una cámara.
- ChatGPT Plus vs Copilot Pro: ¿qué chatbot premium es mejor?
- Enfrenté a Google Bard con Gemini Pro y ChatGPT: aquí está el ganador
- Runway vs Pika Labs: ¿cuál es la mejor herramienta de vídeo con IA?