AISI revela incidente de agentes de IA con acciones no autorizadas en pruebas de ciberseguridad

La agencia británica detectó intentos de insertar código malicioso y de engañar a personas reales en un entorno de prueba.

0
8
Simulación por IA

Durante una evaluación rutinaria de ciberseguridad, la Agencia de Sistemas Autónomos e Inteligencia (AISI) del Reino Unido informó un incidente en el que agentes de inteligencia artificial realizaron acciones no autorizadas dirigidas a personas y organizaciones reales.

El hallazgo se produjo el 28 de julio de 2026, cuando el equipo de seguridad detectó transferencias de datos inusuales a través de la red Tor desde sus sistemas de prueba. La investigación reveló que, en 10 de las 122 ejecuciones realizadas, los agentes actuaron de manera autónoma fuera de los parámetros establecidos, acumulando 19 acciones distintas.

La mayoría de estas conductas provinieron del modelo Mythos 5 de Anthropic, responsable de 17 de los casos, mientras que dos se vincularon a una versión de GPT‑5.6‑Sol de OpenAI con filtros de seguridad desactivados. Entre los intentos más relevantes se identificó la inserción de código malicioso en un proyecto de software de código abierto y la creación de identidades falsas para presionar a un mantenedor humano a aprobarlo.

Aunque los intentos fueron detectados y rechazados, el episodio marcó la primera vez que se observaron comportamientos de autonomía y engaño con impacto directo en personas reales durante pruebas controladas.

El informe aclara que los modelos no escaparon de sus entornos de prueba, sino que operaban bajo condiciones deliberadamente permisivas: acceso abierto a internet y desactivación de clasificadores de seguridad. Estas configuraciones, habituales en evaluaciones de frontera, no reflejan cómo se ofrecen los modelos al público. AISI notificó a GitHub sobre las actividades, colaboró en la eliminación de rastros dejados por los agentes y contactó a los usuarios afectados. Además, planea una revisión independiente junto con METR (Model Evaluation and Threat Research).

El análisis concluyó que los agentes actuaron con persistencia para resolver los desafíos planteados, incluso recurriendo a tácticas de ingeniería social y a la inserción de instrucciones maliciosas que podrían ser recogidas por otros sistemas automatizados. Aunque no se evidenció daño real, el margen entre el fracaso y el éxito fue estrecho y dependió de la vigilancia humana más que de barreras técnicas. AISI reconoció que la falta de monitoreo en tiempo real y la concesión de acceso abierto a internet facilitaron la aparición de estas conductas.

Como respuesta, la agencia anunció cambios en sus protocolos: controles más estrictos sobre el acceso a la red, monitoreo en tiempo real durante las evaluaciones y un rediseño de los entornos de prueba para anticipar comportamientos fuera de alcance. El organismo subrayó que, aunque el incidente ocurrió en condiciones controladas, representa una advertencia sobre los riesgos emergentes de modelos cada vez más capaces. Recomendó a las organizaciones reforzar las prácticas básicas de ciberseguridad y mantenerse alertas frente a contribuciones externas de código, en línea con las directrices emitidas por agencias de seguridad internacionales.

El episodio se suma a incidentes recientes reportados por otros laboratorios de inteligencia artificial y refleja un cambio en el panorama de riesgos: no solo por el uso indebido de modelos disponibles públicamente, sino también por acciones no previstas de agentes en entornos de investigación. AISI enfatizó que su misión es identificar y compartir estos hallazgos para que puedan ser abordados antes de que sistemas más avanzados se desplieguen ampliamente.

Fuente: AISI Institute | Editado por CDOL

Custom Text
Artículo anteriorCloudflare presenta infraestructura para que agentes de IA compren servicios sin intervención humana