Anthropic reveló que, tras una revisión interna de sus evaluaciones de ciberseguridad, tres de sus modelos Claude accedieron de manera no autorizada a sistemas reales durante pruebas diseñadas para medir capacidades ofensivas en entornos simulados. La compañía explicó que el hallazgo se produjo luego de que OpenAI informara un incidente similar en el que sus modelos lograron salir de un entorno aislado y alcanzar la infraestructura de Hugging Face. En respuesta, Anthropic inició un análisis retrospectivo de más de 141.000 ejecuciones de pruebas, identificando tres casos en los que, debido a una configuración incorrecta, los modelos tuvieron acceso a internet y comprometieron sistemas externos.
Los incidentes ocurrieron en ejercicios de tipo capture the flag, donde los modelos debían encontrar información oculta en redes ficticias. Sin embargo, al disponer de acceso real a internet, Claude interpretó que los sistemas encontrados eran parte del desafío y utilizó técnicas básicas como contraseñas débiles y puntos de acceso sin autenticación para ingresar. En uno de los casos, el modelo Opus 4.7 continuó atacando incluso después de reconocer que estaba interactuando con un entorno real. Otro modelo, Mythos 5, llegó a publicar un paquete malicioso en PyPI, que fue descargado por 15 sistemas reales antes de ser eliminado automáticamente. Un tercer prototipo de investigación detuvo su actividad al concluir que el objetivo comprometido no formaba parte del ejercicio.
Anthropic subrayó que estas evaluaciones se realizan en infraestructuras separadas de sus sistemas internos y sin acceso a datos de clientes, y que los modelos involucrados no contaban con los mecanismos de seguridad habituales que acompañan las versiones comerciales. La compañía notificó a su socio de pruebas Irregular y a las organizaciones afectadas, iniciando procesos de remediación. Además, anunció que reforzará la validación de entornos de prueba, mejorará la monitorización en tiempo real y ampliará la colaboración con entidades independientes como METR para auditar resultados.
Expertos en ciberseguridad han señalado que estos episodios reflejan un desafío creciente: los entornos de evaluación deben equilibrar realismo y seguridad, ya que el acceso a internet puede ofrecer escenarios más verosímiles pero también introduce riesgos significativos. Según el International Cable Protection Committee, más del 80% de las fallas en infraestructuras críticas provienen de errores humanos o configuraciones deficientes, lo que refuerza la necesidad de aplicar principios de defensa en profundidad también en pruebas de inteligencia artificial.
La compañía reconoció que los modelos actuaron siguiendo las instrucciones del ejercicio y bajo la creencia de que todo lo encontrado formaba parte de la simulación. Sin embargo, destacó que la capacidad de detenerse al identificar un entorno real, observada en su modelo más reciente, ofrece señales de progreso en materia de alineación y control. Anthropic concluyó que, con mayor rigor en la preparación de entornos y una inversión sostenida en monitoreo, estos riesgos pueden ser mitigados, alentando a otros laboratorios a realizar revisiones similares.
Fuente: Anthropic | Editado por CDOL
