Los ciberdelincuentes están empezando a aprovechar las nuevas opciones maliciosas que les ofrecen los grandes modelos de lenguaje (LLM). Los LLM permiten cargar documentos con instrucciones ocultas que son ejecutadas por componentes del sistema conectados. Esto es una bendición para los ciberdelincuentes y, por tanto, un riesgo sustantivo para las empresas que los utilizan.
Las IA se pueden engañar de muchas maneras. Los ciberdelincuentes pueden introducir instrucciones maliciosas que engañen al LLM para que anule sus barreras de protección (es decir, que genere resultados dañinos), un proceso denominado jailbreaking. También pueden influir en las capacidades de un modelo, envenenar los datos u ordenar al LLM que ejecute instrucciones maliciosas a petición del atacante. Las solicitudes maliciosas también pueden conducir a la extracción de modelos y datos, y el propio modelo puede contener funcionalidades que permitan puertas traseras. Todos estos ataques ponen en peligro información sensible.
Los ataques contra sistemas de IA que se han producido en los últimos dos años han utilizado alguna forma de aprendizaje automático (ML) adversario. Ejemplos de estos ataques incluyen el fraude fiscal a gran escala en China, donde los atacantes adquirieron fraudulentamente 77 millones de dólares mediante la creación de empresas ficticias y el envío de facturas a las víctimas que el sistema fiscal reconocía como clientes, y el fraude en las reclamaciones de desempleo en California, en el que los atacantes retiraron 3,4 millones de dólares en prestaciones de desempleo falsificadas mediante la recopilación de identidades reales para crear permisos de conducir falsos, aprovechando así los fallos en el proceso de verificación de identidad del sistema.
Protegerse contra este tipo de ataques empieza por conocer las vulnerabilidades de seguridad y la frecuencia, origen y alcance de los daños cibernéticos que pueden producir. A partir de ahí, las soluciones de ciberseguridad se dividen en cuatro categorías clave: diseño, desarrollo, implantación y funcionamiento.
Diseño
Al modificar el diseño técnico y el desarrollo de la IA antes de su formación y despliegue, las empresas pueden reducir sus vulnerabilidades de seguridad antes de que empiecen. Por ejemplo, incluso la selección de la arquitectura del modelo correcto tiene implicaciones considerables, ya que cada modelo de IA muestra afinidades particulares para mitigar tipos específicos de inyección puntual o jailbreaks. Identificar el modelo de IA correcto para un caso de uso determinado es importante para su éxito, y esto es igualmente cierto en lo que respecta a la seguridad.
Desarrollo
El desarrollo de un sistema de IA con ciberseguridad integrada comienza con la forma en que se preparan y procesan los datos de entrenamiento. Los datos de entrenamiento deben ser desinfectados y un filtro para limitar los datos de entrenamiento ingeridos es esencial. El restablecimiento de la entrada desbarata la capacidad de un adversario para evaluar la relación entrada-salida de un modelo de IA al añadir una capa adicional de aleatoriedad.
Las empresas deben crear restricciones para reducir las distorsiones potenciales del modelo de aprendizaje mediante un entrenamiento de Rechazo por Impacto Negativo. A continuación, deben realizarse pruebas periódicas de seguridad y análisis de vulnerabilidades del modelo de IA.
Durante el despliegue, los desarrolladores deben validar las modificaciones y posibles manipulaciones mediante comprobaciones criptográficas. El abuso de la carga de bibliotecas puede evitarse mediante restricciones estrictas de la capacidad del software para cargar código no estructurado. El cifrado de datos sensibles no es negociable.
Despliegue
Las organizaciones deben practicar una buena higiene de seguridad. Su ciclo de vida de IA debe estar bien documentado, junto con un inventario exhaustivo de iniciativas de IA alineadas con la gobernanza de riesgos de IA de una organización. Las opiniones de las partes interesadas externas deben recogerse e integrarse en el diseño del sistema. La formación del personal, el trabajo en equipo, la investigación continua del panorama de amenazas de la IA y una sólida seguridad de la cadena de suministro deben ser prácticas comunes.
Operación
Por encima de todo, la ciberseguridad de la IA requiere una combinación de herramientas y métodos. Es un proceso continuo a lo largo de la operación y el mantenimiento. Esto puede incluir la limitación del número total de consultas que un usuario puede realizar.
La ofuscación de modelos altera eficazmente las propiedades de los modelos para desviarlos del funcionamiento típico que anticiparía un ciberataque de extracción. Los sistemas de seguridad de contenidos pueden desinfectar las entradas y salidas de un LLM, y la detección de entradas adversas puede filtrar el tráfico de consultas antes de enviarlo al modelo para su inferencia.
Evitar que se manifiesten las amenazas a la ciberseguridad a las que se enfrenta la nueva tecnología no será sencillo ni fácil. Es un proceso que requiere múltiples herramientas y métodos utilizados conjuntamente. Estas herramientas y estrategias de seguridad de la IA existen y son cada día más maduras, pero falta un componente crítico: el impulso de todo el sector para hacer de su uso una prioridad.
Fuente WEB | Editado por CambioDgital Online
