La versión 1.0 de llm-d recien anunaciada, marca una nueva etapa en el desarrollo de esta plataforma de código abierto, diseñada para ejecutar modelos de lenguaje de gran tamaño en infraestructuras distribuidas. El proyecto fue creado en 2025 por IBM, Red Hat, Google Cloud , CoreWeave y NVIDIA. Actualmente, el proyecto está alojado bajo el marco de la Cloud Native Computing Foundation (CNCF), organización que promueve tecnologías de código abierto para infraestructuras nativas de la nube.
El objetivo de llm-d es mejorar la eficiencia de la inferencia, el proceso mediante el cual un modelo de inteligencia artificial genera respuestas a partir de instrucciones y datos de entrada. A medida que las empresas incorporan asistentes conversacionales y agentes autónomos capaces de ejecutar tareas en varios pasos, el costo de operar estos sistemas se convierte en un factor relevante. Estos agentes pueden procesar grandes volúmenes de contexto, realizar múltiples solicitudes y reutilizar información durante una misma tarea, lo que incrementa la demanda de memoria y capacidad de cómputo.
La versión 1.0 incorpora mecanismos para administrar las solicitudes de varios usuarios y aplicaciones dentro de una misma infraestructura, asignando prioridades según las necesidades de cada servicio. También introduce mejoras para mantener la disponibilidad durante las actualizaciones, mediante enrutadores de alta disponibilidad y despliegues progresivos que permiten reducir las interrupciones. En paralelo, el sistema puede dirigir las solicitudes de una conversación hacia los recursos que ya conservan parte de su contexto, evitando repetir cálculos cuando esa información sigue disponible.
La plataforma también integra funciones de inferencia distribuida, descarga de información almacenada en caché hacia otros niveles de memoria y separación de las etapas de procesamiento del prompt y generación de respuestas. Es compatible con servidores de modelos como vLLM y SGLang. Esta arquitectura busca ofrecer flexibilidad para utilizar diferentes aceleradores y entornos de nube, en lugar de depender de un único proveedor de hardware o modelos. Según IBM Research, la comunidad del proyecto ya reúne a más de 500 colaboradores de más de 25 organizaciones.
Los resultados publicados por IBM ilustran el posible impacto económico de estas técnicas. En una prueba relacionada con el diseño de hardware para corrección de errores cuánticos, IBM Research informó que la combinación de modelos abiertos con llm-d permitió reducir el costo de inferencia 11,5 veces frente a una configuración completamente propietaria. El equipo también reportó una tasa de aciertos de aproximadamente el 98 % en la caché de prefijos y un costo combinado de servicio cercano a 0,11 dólares por millón de tokens.
En otra demostración, los investigadores desplegaron GLM 5.2, un modelo de pesos abiertos con aproximadamente 753.000 millones de parámetros, en GPU de NVIDIA. La configuración alcanzó un máximo de más de 6,6 millones de tokens de salida por minuto en las pruebas de cargas de trabajo con agentes y atendió hasta 3.000 agentes de programación concurrentes sin interrupciones forzadas. IBM calculó que, a las tarifas de alquiler de infraestructura en la nube consideradas, el costo por token habría sido entre cinco y diez veces menor que el de API comerciales equivalentes. Estas cifras corresponden a pruebas específicas y no garantizan ahorros idénticos en cualquier entorno de producción.
El lanzamiento se produce en un mercado donde proveedores de nube y desarrolladores de modelos buscan reducir el costo recurrente de ejecutar sistemas de IA. La integración anunciada por Google Cloud con Google Kubernetes Engine, así como el respaldo de compañías de hardware y software, apunta a consolidar llm-d como una alternativa abierta para administrar inferencia a gran escala. Su adopción dependerá de cómo se comporten estas capacidades en cargas reales, de los recursos disponibles y del trabajo técnico necesario para mantener modelos y servicios en producción.
Fuente: IBM | Editado por CDOL
