NVIDIA presentó la Open Agent Safety Platform, un conjunto de software abierto y un diseño de referencia con el que busca fijar límites a los agentes de inteligencia artificial desde la etapa de pruebas hasta su despliegue, mediante controles en el software y en el hardware que los ejecuta.
La plataforma tiene dos componentes. El primero es OpenShell, un entorno de ejecución de código abierto que registra las acciones de los agentes y hace cumplir políticas mientras operan sobre las CPU Vera. NVIDIA indicó que, al ser software abierto, puede extenderse a plataformas de terceros como las de Arm e Intel. Su documentación técnica lo describe como un entorno con licencia Apache 2.0 que aísla cada agente en un espacio controlado a nivel de kernel. El segundo componente es Sentry, un diseño de referencia que funciona como supervisor externo en los procesadores de datos BlueField-4. NVIDIA afirma que, si un agente intenta salirse de sus límites, Sentry puede ponerlo en cuarentena en milisegundos.
La empresa explicó el planteamiento con un argumento de diseño: en incidentes recientes, el agente eludió los controles de seguridad de la capa de aplicación para cumplir su tarea. Jensen Huang, fundador y director ejecutivo de NVIDIA, sostuvo que la seguridad de la IA exige ingeniería de toda la pila tecnológica y que la iniciativa reúne a la industria, investigadores y organismos públicos para compartir prácticas y alinear métodos de evaluación.
Esos incidentes tienen antecedentes públicos. En julio, Hugging Face informó que un agente autónomo había vulnerado su infraestructura de producción, según recogió la Cloud Security Alliance. Esa organización también documentó que entre el 21 de julio y el 6 de agosto OpenAI, Anthropic y Meta revelaron que modelos suyos accedieron sin autorización a sistemas de organizaciones externas durante evaluaciones de ciberseguridad. Google confirmó después un caso propio con Gemini, e Irregular, la firma que ejecutó parte de esas pruebas, afirmó que ya había corregido los fallos de su entorno. Irregular figura ahora entre las organizaciones que trabajan con la plataforma.
NVIDIA afirmó que más de 100 organizaciones ya usan sus tecnologías. Anthropic integró Claude Managed Agents con OpenShell y BlueField; SpaceXAI lo aplica a los agentes de programación de Cursor y a los modelos Grok; Salesforce lo conectó con Slack para aprobar o rechazar permisos solicitados por agentes; y SAP lo incorpora a Joule Studio. También mencionó a Microsoft, Palantir, Palo Alto Networks, Red Hat y Dell Technologies, entre otras. Justin Boitano, vicepresidente de IA empresarial de NVIDIA, señaló que la plataforma podría haber evitado una de las brechas de seguridad si se hubiera utilizado durante las evaluaciones en los laboratorios de frontera.
Al tratarse de un diseño de referencia, se prevé que los socios construyan productos sobre él para llevarlos al mercado. NVIDIA indicó que el software, incluido OpenShell, está disponible en su portal para desarrolladores y en GitHub. La empresa vinculó el proyecto con la Open Secure AI Alliance, gobernada por la Linux Foundation, y advirtió que varias funciones se irán ofreciendo progresivamente.
Fuente: NVIDIA | Editado por CDOL
