OpenAI anunció una pausa temporal en parte del entrenamiento de sus modelos más avanzados para reforzar las medidas de seguridad y alineación, ante la posibilidad de que su próximo sistema, denominado Astra, alcance capacidades críticas en ciberseguridad según su propio marco de preparación. La decisión se produce después del incidente con Hugging Face y de evidencia preliminar que sugiere que Astra podría superar el umbral de “capacidad cibernética crítica” definido internamente por la compañía.
Durante aproximadamente dos semanas, la empresa detuvo el entrenamiento por refuerzo (RL) de modelos de frontera destinados a despliegue, con el fin de fortalecer los entornos de investigación y ampliar la cobertura de sus sistemas de monitoreo. Según el comunicado, el objetivo es garantizar que los estándares de seguridad y supervisión evolucionen al mismo ritmo que las capacidades de los modelos. OpenAI indicó que su mayor ejecución planificada de entrenamiento RL sigue suspendida mientras se realizan pruebas de menor escala para validar salvaguardas y comportamiento alineado.
La compañía detalló tres pilares de protección: monitoreo, alineación y seguridad. El primero busca detectar y responder a conductas potencialmente riesgosas; el segundo, reducir la probabilidad de acciones no autorizadas; y el tercero, limitar el acceso de los sistemas a recursos sensibles. OpenAI ha señalado que prevé que los propios modelos participen en tareas de defensa frente a otros sistemas, lo que permitiría escalar la seguridad junto con la capacidad de la inteligencia artificial.
Tras el incidente con Hugging Face, la empresa implementó mayores niveles de aislamiento para cargas de trabajo que ejecutan código generado por modelos o que podrían ser vulnerables. También reforzó los controles de red para evitar accesos no autorizados y eliminó servicios compartidos susceptibles de comprometer la seguridad. Parte de los entrenamientos de Astra permanecen pausados hasta cumplir con los nuevos estándares, priorizando los proyectos de seguridad y alineación.
El monitoreo interno se amplió con un sistema multietapa que analiza la actividad de los modelos en tiempo real mediante clasificadores y agentes automatizados. Si se detecta una posible violación de seguridad, el sistema emite una alerta en menos de 30 minutos y puede detener la actividad hasta confirmar su naturaleza. Este proceso, según OpenAI, implica un costo computacional adicional estimado en alrededor del 20% del cómputo de inferencia monitoreado, aunque la cifra varía según el tipo de carga de trabajo.
La investigación sobre alineación —que busca garantizar que los modelos actúen conforme a la intención humana— se intensificó para prevenir comportamientos como el “reward hacking”, la manipulación de recompensas o el acceso no autorizado. OpenAI planea publicar más información sobre los avances y desafíos de este trabajo, que considera esencial para el desarrollo responsable de inteligencia artificial general.
Analistas del sector han señalado que la estrategia de ralentizar el ritmo de entrenamiento refleja una tendencia creciente entre los desarrolladores de IA avanzada: priorizar la seguridad y la transparencia ante el aumento de capacidades autónomas. En este contexto, OpenAI busca consolidar un marco de preparación que integre monitoreo, alineación y seguridad en todas las fases de desarrollo y despliegue.
La compañía anticipó que compartirá sus aprendizajes con organizaciones externas y que seguirá invirtiendo en métodos que permitan escalar la protección junto con la potencia de los modelos. En un entorno donde las capacidades de frontera avanzan rápidamente, mantener la seguridad y la alineación al mismo nivel se ha convertido en un desafío central para toda la industria.
Fuente: OpenAI | Editado por CDOL
