Los chatbot de inteligencia artificial continúan presentando fallas significativas al abordar temas de salud mental orientados a niños y adolescentes.
Un informe publicado por la firma independiente Vals AI evaluó el desempeño de nueve de los principales asistentes digitales del mercado mediante 648 conversaciones simuladas sobre depresión, autolesiones y otros estados emocionales vulnerables. El análisis reveló que el 27,5% de los sistemas falló en su primera respuesta ante situaciones delicadas. Además, en el 62% de los casos, los chatbots ofrecieron respuestas inadecuadas conforme los diálogos se extendían.
El estudio examinó modelos en sus versiones de prueba para desarrolladores, entre los cuales figuran ChatGPT de OpenAI, Claude de Anthropic y Gemini de Google. Los resultados mostraron variaciones considerables entre los diferentes competidores. ChatGPT falló al menos un control de seguridad crítico en cerca del 14% de las interacciones.
Por su parte, Claude registró un margen de error del 17%, mientras que Gemini alcanzó el 32%. El modelo que obtuvo la tasa de fallo más baja fue Muse Spark de Meta, con un 9,7%.
Las deficiencias identificadas por los investigadores incluyen casos donde la IA ofreció diagnósticos médicos improvisados o respaldó la decisión de un menor de rechazar ayuda en momentos de crisis. Estas fallas se concentraron principalmente en las etapas finales de la conversación, tras múltiples intercambios de mensajes. Los datos sugieren que la persistencia del usuario puede degradar los límites normativos de la máquina, un fenómeno que diversos especialistas en ciberseguridad han catalogado previamente como la vulnerabilidad del contexto prolongado en modelos de lenguaje extenso.
Una de las observaciones centrales del informe señala que al avisar expresamente al modelo que interactuaba con un menor de edad, el índice de error crítico descendió del 31,1% al 11,5%. Este cambio evidencia la ausencia de mecanismos internos que permitan a las herramientas detectar el perfil del usuario o detener la interacción de forma autónoma ante un riesgo latente.
La evaluación de Vals AI se suma a un escenario de creciente supervisión regulatoria global. Organismos internacionales y entidades reguladoras en Europa y Estados Unidos han intensificado el examen sobre el costo social de la automatización en audiencias jóvenes, empujando a las empresas tecnológicas a reforzar las barreras de protección y los protocolos de respuesta ante emergencias de salud mental.
Fuente: Vals AI
