Google ha actualizado su increíblemente potente modelo de inteligencia artificial Gemini Pro 1.5 para darle la posibilidad de escuchar el contenido de un archivo de audio o vídeo por primera vez.
La actualización fue anunciada en Google siguientey el gigante de las búsquedas confirma que la modelo puede escuchar un clip cargado y proporcionar información sin la necesidad de una transcripción escrita.
Lo que esto significa es que puedes darle una presentación documental o de video y hacerle preguntas sobre cualquier momento, tanto de audio como de video, dentro del clip.
Esto es parte de un impulso más amplio de Google para crear más modelos multimodales que puedan comprender una variedad de tipos de entrada más allá del simple texto. El movimiento es posible gracias a que la familia de modelos Gemini está entrenada en audio, video, texto y código al mismo tiempo.
¿Qué hay de nuevo en Gemini Pro 1.5?
Google lanzó Gemini Pro 1.5 en febrero con una ventana de contexto de 1 millón de tokens. Esto, combinado con los datos de entrenamiento multimodal, significa que puede procesar vídeos.
El gigante tecnológico ahora ha agregado sonido a las opciones de entrada. Esto significa que puede darle un podcast y escucharlo para momentos clave o menciones específicas. Puede hacer lo mismo con el audio adjunto a un archivo de video, al mismo tiempo que analiza el contenido del video.
La actualización también significa que Gemini ahora puede generar transcripciones de videoclips independientemente de cuánto tiempo se ejecuten y encontrar un momento específico dentro del archivo de audio o video.
La nueva actualización es parte del nivel medio de la familia Gemini, que viene en tres factores de forma: el pequeño Nano para el dispositivo, Pro que impulsa la versión gratuita del chatbot Gemini y Ultra que impulsa Gemini Advanced.
Por alguna razón, Google solo lanzó la actualización 1.5 para Gemini Pro en lugar de Ultra, lo que significa que su modelo de nivel medio ahora supera a la versión más avanzada. No está claro si habrá un Gemini Ultra 1.5 o cuándo estará disponible si se lanza.
La enorme ventana de contexto, que comienza en 250.000 (similar a Claude 3 Opus) y llega a más de un millón para ciertos usuarios aprobados, significa que tampoco es necesario ajustar un modelo con datos específicos. Puede cargar esos datos al inicio de un chat y simplemente hacer preguntas.
La actualización también significa que Gemini ahora puede generar transcripciones de videoclips independientemente de cuánto tiempo se ejecuten y encontrar un momento específico dentro del archivo de audio o video.
¿Cómo acceder a Gemini Pro 1.5?
Me imagino que en algún momento Google actualizará su chatbot Gemini para usar los modelos 1.5, posiblemente después de la conferencia de desarrolladores Google I/O el próximo mes. Por ahora solo está disponible a través del panel de desarrolladores de Google Cloud, VertexAI.
Si bien VertexAI es una herramienta poderosa para interactuar con una variedad de modelos, desarrollar aplicaciones de IA y probar lo que es posible, no es ampliamente accesible y está dirigida principalmente a desarrolladores, empresas e investigadores más que a consumidores.
Con VertexAI puede insertar cualquier tipo de medio visual o de audio, como un cortometraje o alguien dando una charla, y agregar un mensaje de texto. Esto podría ser “dame cinco viñetas que resuma el discurso” o “cuántas veces dijeron Géminis”.
La audiencia principal de Google para Gemini Pro 1.5 son las empresas, con asociaciones que ya están en proceso con TBS, REplit y otros que lo están utilizando para etiquetar metadatos y crear código.
Google también ha comenzado a utilizar Gemini Pro 1.5 en sus propios productos, incluido el asistente de codificación de IA generativa Code Assist para rastrear cambios en bases de código a gran escala.
¿Qué más anunció Google?
Los cambios en Gemini Pro 1.5 se anunciaron en Google Next junto con una gran actualización del modelo de imagen DeepMind AI Imagen 2 que impulsa las capacidades de generación de imágenes de Gemini.
Se trata de pintar y pintar, donde los usuarios pueden eliminar o agregar cualquier elemento de una imagen generada. Esto es similar a las actualizaciones que OpenAI realizó recientemente en su modelo DALL-E.
Google también comenzará a basar sus respuestas de inteligencia artificial en Gemini y otras plataformas con la Búsqueda de Google para que siempre contengan información actualizada.
- ChatGPT Plus vs Copilot Pro: ¿qué chatbot premium es mejor?
- Enfrenté a Google Bard con Gemini Pro y ChatGPT: aquí está el ganador
- Runway vs Pika Labs: ¿cuál es la mejor herramienta de vídeo con IA?