Meta construye silenciosamente un nuevo modelo de IA: esto es lo que puede esperar
La carrera armamentista entre empresas de tecnología en torno a los modelos de IA se ha intensificado significativamente en las últimas dos semanas. OpenAI reveló GPT-4o inmediatamente antes de que Google anunciara una serie de mejoras de Gemini. A esto le siguió Microsoft anunciando un montón de PC Copilot+ junto con sus propias mejoras de IA.
Pero mientras todo eso sucedía, Meta se ocupaba de su propio negocio de IA. La empresa liberado silenciosamente a trabajo de investigación sobre sus esfuerzos en el espacio de la IA multimodal. Visto por ritmo de riesgoel artículo muestra que Meta está trabajando en un modelo de lenguaje grande multimodal llamado Chameleon.
No debe confundirse con el modelo de IA generativa CM3leon (pronunciado Chameleon) que Meta AI revelado el verano pasado. Meta AI dijo en su publicación de blog que el modelo CM3leon conduciría a mejoras en futuros LLM.
El artículo de investigación afirma que Chameleon es lo último en tecnología y supera o compite uniformemente con otros modelos como Gemini, GPT-4 y el propio Llama-2 de Meta.
Al igual que Gemini de Google, Chameleon se basa en una arquitectura de “modalidad mixta basada en tokens de fusión temprana”. Esto significa que el modelo se creó para aprender desde el principio a partir de una combinación de imágenes, código, texto y otras entradas, y utiliza ese contenido para crear secuencias.
La otra forma de construir una arquitectura multimodal es unir varios modelos entrenados en una única modalidad. Esto se llama “fusión tardía”. En esencia, el sistema de IA toma modelos inpiduales y los fusiona para hacer inferencias. La fusión tardía aparentemente funciona bien, pero puede limitar la capacidad de la IA para integrar información.
En el artículo, los autores dicen que Chameleon es muy similar al Gemini de Google, que fue construido de manera similar. Sin embargo, a diferencia de Gemini, los investigadores dicen que Chameleon es un modelo de extremo a extremo.
Si las afirmaciones y pruebas del artículo son ciertas y pueden replicarse, parece que el modelo Chameleon iguala o supera muchos de los modelos de IA disponibles en la actualidad.
Un aspecto interesante de las afirmaciones hechas sobre Chameleon es que Mark Zuckerberg y Meta han estado impulsando el código abierto como el futuro durante gran parte de este año. El Llama 3 ya existente es de código abierto y se espera que reciba una gran actualización en julio. Meta también acaba de abrir el sistema operativo de auriculares Quest a los fabricantes de hardware.
El documento no indica si Meta podría lanzar este nuevo modelo ni cuándo. Públicamente, Meta ha estado trabajando arduamente en la última versión del asistente Llama. Llama 3 acaba de lanzarse en Facebook, Instagram y WhatsApp a finales de abril.
- Finalmente vi una demostración en vivo de ChatGPT-4o Voice; en todo caso, está poco publicitada
- Microsoft Build 2024: los anuncios de IA más importantes y lo que significan para usted
- Gemini Live: qué funciones están disponibles ahora y qué vendrá pronto