Acabo de jugar Pictionary con el Proyecto Astra de Google y ahora entiendo el revuelo de Gemini 1.5

El Proyecto Astra se robó el show en Google I/O, dándonos una idea de cómo serán nuestras interacciones con el mundo impulsadas por Gemini 1.5, el modelo de inteligencia artificial de próxima generación de Google. Aunque podría pasar algún tiempo hasta que una versión pública del Proyecto Astra llegue a los dispositivos, tuve la oportunidad de hacer una demostración de sus diferentes capacidades mientras asistía a la conferencia anual de desarrolladores de Google.
En resumen, el Proyecto Astra es una IA basada en cámaras en tiempo real que puede hacer cualquier cosa, desde identificar un objeto en el marco hasta crear una historia ficticia sobre dicho objeto y reescribir esa historia utilizando una cantidad desagradable de aliteración. No, en serio, cuando se le pidió una manzana de plástico, idealizó el juguete (presumiblemente tomado de un juego para niños) como “un producto bonito colocado perfectamente”.
♬ sonido original – Guía de Tom
Para la demostración, Google conectó una cámara fija de arriba hacia abajo a una máquina que ejecuta Gemini 1.5. Para este juego de aliteración se utilizó únicamente la transmisión de la cámara, aunque también mostró las habilidades de identificación de objetos del modelo. Cuando se le presentó una serie de figuras de dinosaurios, Géminis no solo nombró la clasificación de cada una, sino que también propuso nombres e historias de aventuras que parecían sorprendentemente adecuadas.
Ante un desafío menos premeditado, un compañero reportero le pidió al agente que leyera el tatuaje relativamente pequeño impreso en su antebrazo y dijera a qué programa de televisión era un guiño. Aunque Géminis apinó incorrectamente “Juego de Tronos” al principio, aterrizó en “Battlestar Galactica” en el segundo intento. (En caso de que se lo pregunte, la cita fue “eso decimos todos”).
Google también tenía una pantalla táctil en el modelo Gemini, equipada para rondas amistosas de Pictionary. Me acerqué para desafiar el Proyecto Astra, haciendo mi mejor intento con cierto droide con forma de bola del universo de Star Wars para seguir con el tema de ciencia ficción. Aunque este garabato definitivamente no merecía un lugar en el refrigerador, cuando se le preguntó: “¿Qué ves?” el agente acertó: BB-8 de la trilogía secuela.
Si bien la demostración tenía una naturaleza similar a un cuestionario, la idea es que demuestre cómo Gemini podría ser útil con sus habilidades visuales. Google dijo que inicialmente llegará a los teléfonos Android en forma de Gemini Live, pero este vídeo de demostración oficial muestra su acción con un “dispositivo de gafas prototipo”, lo que sugiere que se está trabajando en un nuevo factor de forma.
En el escenario ideal, Gemini Live podrá ver lo que ves para responder preguntas, inspirar creatividad o incluso ayudarte a encontrar un objeto perdido escondido a plena vista. Hacerlo a través de la aplicación Gemini o la aplicación de la cámara en un teléfono inteligente tiene bastante sentido, pero creo que un diseño de gafas como las Ray-Ban Meta Smart Glasses en última instancia proporcionaría menos fricción.
Como herramienta del estilo “mira y cuéntame”, Project Astra y Gemini parecen estar a la altura de las expectativas. Hay versiones competitivas de ambos disponibles ahora, pero si una empresa sabe cómo realizar búsquedas correctamente, es Google.
- Google acaba de lanzar grandes actualizaciones de IA de Android en I/O 2024: esto es lo nuevo
- Google utilizará IA para ayudarle a detectar una llamada fraudulenta en el momento en que se produce
- Se presenta Google Veo: el nuevo modelo de IA crea videos de alta definición para enfrentarse a Sora