Meta optimiza Llama 3.2 para uso en dispositivos móviles

Los nuevos modelos cuantificados son un 56% más pequeños y consumen un 41% menos de memoria que los modelos completos lanzados el mes pasado.

0
43

El propietario de Facebook anunció que estos nuevos modelos «cuantificados» son un 56% más pequeños y utilizan un 41% menos de memoria que los modelos originales 3.2 lanzados el mes pasado.

Meta afirma que se pueden utilizar los modelos 1B o 3B para aplicaciones en el dispositivo, como resumir una discusión desde el teléfono o llamar a herramientas del dispositivo como el calendario.

Los nuevos modelos «aplican los mismos requisitos de calidad y seguridad» que los Llama 3.2 1B y 3B originales, al tiempo que procesan la información entre dos y tres veces más rápido, afirma la empresa.

Las nuevas versiones se han cuantificado utilizando dos técnicas: una que prioriza la precisión en entornos de baja precisión y otra que prioriza la portabilidad al tiempo que pretende mantener la calidad.

«Estos modelos ofrecen una huella de memoria reducida, una inferencia en el dispositivo, una precisión y una portabilidad más rápidas, todo ello manteniendo la calidad y la seguridad para que los desarrolladores puedan desplegarlos en dispositivos con recursos limitados», rezaba el anuncio.

Los usuarios pueden descargar e implantar estas nuevas versiones de los modelos en CPU móviles que la empresa ha construido en «estrecha colaboración» con otros líderes del sector en este ámbito, según se indica.

Estos modelos ligeros forman parte de la serie de sólo texto de los modelos 1B y 3B, disponibles en la UE.

Los modelos multimodales, 11B y 90B, que pueden procesar múltiples formatos, como texto, imágenes, audio y vídeo, no están disponibles en la UE. En verano, Meta anunció que no lanzaría estos modelos en la UE debido al «impredecible» entorno normativo del bloque.

El mes anterior a este anuncio, la empresa dio marcha atrás en sus planes de entrenar sus grandes modelos lingüísticos utilizando contenidos públicos compartidos por adultos en Facebook e Instagram, por los mismos motivos.

El grupo de defensa de la privacidad Noyb expresó su profunda preocupación por el plan, alegando que la intención de Meta de utilizar material de entrenamiento de IA procedente de datos públicos y con licencia que podría incluir información personal que infringiría el GDPR (General Data Protection Regulation) europeo.

Fuente WEB | Editado por CambioDigital OnLine

Custom Text
Artículo anteriorCinco estafas relacionadas a Ticketmaster: cómo los estafadores se roban el show
Artículo siguienteClaude 3.5 Sonnet: Un modelo de IA que controla los PC como los humanos