Copilot se ha arraigado tanto en el ecosistema de Microsoft que incluso hay una nueva tecla del teclado dedicada al chatbot de IA. Ahora parece que gran parte de su funcionalidad podría realizarse sin conexión, con el procesamiento en su computadora portátil, pero no si tiene una nueva PC Intel AI.
En la reciente Cumbre de IA de Intel en Taipei, los ejecutivos del fabricante de chips le dijeron a nuestra publicación hermana Hardware de Tom que ninguno de los chips Intel Core Ultra de la generación actual cumple con los requisitos mínimos para ejecutar Copilot sin conexión y en su dispositivo.
Todo se reduce a billones de operaciones por segundo (TOPS), una medida de qué tan rápido la NPU puede ejecutar tareas de IA, donde números más altos significan un mejor rendimiento. Necesitará una NPU con al menos 40 TOPS y, por el momento, los chips Intel Core Ultra solo tienen entre 10 y 15 TOPS.
Actualmente, el único procesador comúnmente utilizado para ejecutar Windows que se acerca a esta capacidad es el Qualcomm Snapdragon X Elite con 45 TOPS. Intel dice que su próxima generación de chips Core Ultra cumplirá con los requisitos mínimos.
¿Por qué ejecutar Copilot localmente?
Por el momento, el procesamiento de las impresionantes capacidades de IA generativa de Copilot se realiza en la nube, y los datos se envían a los servidores de Microsoft y se devuelven las respuestas. Pero a largo plazo, el objetivo ha sido llevar al menos algo de eso al dispositivo mismo.
Puedo instalar un modelo de lenguaje grande como Meta’s Llama 2 en mi MacBook Air M2 hoy, pero ciertamente noto cuando piensa o responde cuando toda mi máquina se congela hasta que termina.
Existen múltiples razones para ejecutar una herramienta de inteligencia artificial como Copilot localmente, incluida la protección de la privacidad, la seguridad, el acceso sin conexión y el costo: su máquina realiza el procesamiento costoso, no la nube.
El desafío es tener suficiente potencia de cálculo para ejecutar elementos de la experiencia Copilot sin que el usuario note que la máquina se ralentiza o que la batería se agota rápidamente.
Los problemas de la batería se resuelven en gran medida trasladando gran parte de la inferencia a la NPU en lugar de depender de la GPU. Según Todd Lewellen, vicepresidente del Client Computing Group de Intel, Microsoft insiste en que Copilot se ejecuta en la NPU debido al impacto en la duración de la batería.
Puedo instalar un modelo de lenguaje grande como Meta’s Llama 2 en mi MacBook Air M2 hoy, pero ciertamente noto cuando piensa o responde cuando toda mi máquina se congela hasta que termina. Eso no será aceptable para una aplicación convencional como Copilot o una versión futura de Siri.
¿Qué son los TOPS y por qué son importantes?
TOPS es la cantidad de billones de operaciones por segundo que un chip puede manejar. Específicamente, es una medida de las operaciones aritméticas que el procesador puede realizar en un segundo y es particularmente útil como medida del rendimiento en tareas de inteligencia artificial y aprendizaje automático.
A menudo se dará una cifra TOPS para el chip en su conjunto, CPU y NPU combinados, pero según Intel, tener un valor de NPU más alto es mejor para el rendimiento general en tareas LLM.
Lewellen le dijo a Tom’s Hardware que alcanzar los mágicos 40 TOPS para una NPU “nos permitiría ejecutar más cosas localmente”.
Aunque no espere ejecutar todo Copilot en su máquina, solo la mayoría de las capacidades clave. Es probable que las funciones adicionales, como la generación y edición de algunas imágenes, requieran una conexión a Internet y acceso a los servicios en la nube durante algún tiempo.
“La tendencia general es descargar la mayor cantidad posible [the AI processes] al punto final [on-device] como sea posible”, dijo David Feng, vicepresidente del Client Computing Group de Intel, a Jugo Mobile en el MWC.
¿Cuándo puedo ejecutar IA en mi computadora portátil?
Ya existen varias aplicaciones de inteligencia artificial que ejecutan servicios localmente, incluidos editores de imágenes y videos, pero utilizan principalmente la GPU. Intel está trabajando activamente con los desarrolladores para fomentar un mejor uso de la NPU, pero es posible que eso no suceda hasta que obtengamos los chips de próxima generación.
Mientras tanto, Qualcomm se está apoderando del espacio de la IA de Windows. Sus chips Snapdragon X Elite, a menudo retrasados, miden 45 TOPS para la NPU integrada y ejecutan Windows.
El director financiero de Qualcomm, Dom McGuire, predijo que el bajo recuento de TOPS en los chips Intel sería un problema cuando se presentaron por primera vez. Hablando en el MWC de Barcelona en febrero, le dijo a Jugo Mobile que no se puede hacer mucho con sólo un puñado de TOPS.
No hay mucho que puedas hacer desde una experiencia de usuario de IA con 10 TOPS.
Dom McGuire, director financiero de Qualcomm
“Podemos soportar más de 70 TOP de rendimiento de IA en nuestras tres diferentes unidades de procesador”, explicó.
Añadió que las PC Intel AI solo podían manejar alrededor de 10 TOPS. “No hay mucho que puedas hacer desde una experiencia de usuario de IA con 10 TOPS”.
Incluso Apple solo alcanza un máximo de 34 TOPS en sus chips móviles A17 Pro de gama alta y el chip de escritorio M2 Ultra, pero con su integración más estrecha entre el sistema operativo y el hardware, puede hacer un mejor uso de la capacidad de procesamiento disponible y distribuir las cargas. todo el sistema.
La respuesta es que hoy puedes ejecutar IA en tu computadora portátil. La mayor parte del tiempo utilizará la GPU y verá un impacto en la duración de la batería o en el rendimiento general del sistema. Sin embargo, en el próximo año o dos, a medida que salgan PC con IA de segunda generación y nuevo software, la IA local se convertirá en la norma.
Lo que es seguro es que escuchará mucho más sobre TOPS en los próximos años a medida que las empresas busquen capitalizar las capacidades de la NPU para ejecutar cálculos complejos y procesos de inteligencia artificial sin un impacto importante en la duración de la batería.
- Pruebo la IA para ganarme la vida y estas son 11 aplicaciones impulsadas por IA que uso en mi Mac
- Google agrega Gemini a Mensajes en Android, brindándole una nueva forma de chatear con IA
- Tim Cook: Apple “abrirá nuevos caminos en IA generativa” este año
