En 2017 The Economist afirmó que los datos reemplazaban al petróleo como el recurso más valioso del mundo. Desde entonces el estribillo se ha repetido muchas veces. Las empresas de todos los sectores han invertido y siguen invirtiendo mucho en la obtención de datos y el análisis de los mismos. Pero, al igual que el petróleo, los datos y los análisis también tienen su lado oscuro.
Según el informe de IDG sobre el estado de la CIO 2020, el 37% de los líderes de TI dicen que el análisis de datos impulsará la mayoría de las inversiones en TI en su empresa en los próximos meses. La información obtenida del análisis y las acciones impulsadas por los algoritmos de aprendizaje automático pueden dar a las empresas una ventaja competitiva, pero los errores pueden ser costosos en términos de reputación, ingresos e incluso vidas.
Es importante comprender los datos y lo que dicen, pero también es importante tener control sobre las herramientas de análisis y tener en cuenta los valores de su empresa. Para ilustrar lo que puede salir mal, presentamos cinco ejemplos de errores cometidos en el análisis y la inteligencia artificial en la última década.
Perdió miles de información sobre los pacientes de COVID
En octubre de 2020, la agencia gubernamental Salud Pública de Inglaterra (PHE), responsable del recuento de las nuevas infecciones por Covid-19 en el Reino Unido, reveló que entre el 25 de septiembre y el 2 de octubre casi 16.000 casos de coronavirus no fueron reportados. ¿El culpable? Limitaciones de datos en Microsoft Excel.
El PHE utiliza un proceso automatizado para transferir los resultados de laboratorio de los pacientes positivos de COVID-19 como archivos CSV en plantillas de Excel utilizadas en los tableros de informes y para el seguimiento de los contactos. Desafortunadamente, las hojas de cálculo de Excel tienen un máximo de 1.048.576 filas y 16.384 columnas por hoja de cálculo. Además, el PHE enumeró los casos en columnas en lugar de filas. Cuando los casos excedieron el límite de 16.384 columnas, Excel cortó los 15.841 registros en la parte inferior.
El «fallo» no impidió que las personas que se sometieron a la prueba recibieran sus resultados, pero obstaculizó la localización de contactos, lo que hizo más difícil para el Servicio Nacional de Salud del Reino Unido (NHS) identificar e informar a las personas que han estado en estrecho contacto con pacientes infectados. En una declaración del 4 de octubre, Michael Brodie, director gerente interino de PHE, dijo que el NHS y el PHE habían resuelto rápidamente el problema e inmediatamente transfirieron todos los casos pendientes al sistema de rastreo de contactos de Prueba y Rastreo del NHS.
PHE ha implementado una «mitigación rápida» que divide los archivos de gran tamaño y ha llevado a cabo una revisión completa de todos los sistemas para prevenir incidentes similares en el futuro.
El algoritmo de atención médica informa sólo de los pacientes blancos
En 2019, un estudio publicado en Science reveló que un algoritmo de predicción de salud utilizado por hospitales y compañías de seguros en todo Estados Unidos para identificar a los pacientes que necesitaban programas de gestión de cuidados de «alto riesgo» no logró identificar a los pacientes de color.
Los programas de administración de cuidados de alto riesgo proporcionan personal de enfermería calificado y monitoreo de cuidados primarios a los pacientes crónicos para prevenir complicaciones graves. Pero el algoritmo era mucho más probable que sugiriera pacientes blancos para estos programas que otros pacientes.
El estudio encontró que el algoritmo usaba el gasto en salud como referencia para determinar las necesidades de salud de un individuo. Según Scientific American, los costos de la atención médica de los pacientes afrodescendientes más gravemente enfermos eran iguales a los costos de los pacientes blancos más sanos, lo que significaba que recibían puntuaciones de riesgo más bajas incluso cuando su necesidad era mayor.
Los investigadores del estudio sugirieron algunos factores que pueden haber contribuido a este error. En primer lugar, las personas de raza negra tienen más probabilidades de tener ingresos más bajos, lo que puede hacer que tengan menos posibilidades de acceder a la atención médica, incluso si están asegurados. Las lesiones implícitas también pueden llevar a una atención de menor calidad para pacientes de esta etnia.
Aunque el estudio no reveló el nombre del algoritmo, los investigadores dijeron a Scientific American que estaban trabajando con su desarrollador para resolver el problema.
El chatbot de Microsoft difunde tweets racistas
En marzo de 2016, Microsoft descubrió que el uso de las interacciones de Twitter como datos de entrenamiento para los algoritmos de aprendizaje de máquinas puede tener resultados desconcertantes.
Microsoft ha lanzado Tay, un chatbot de la IA, en la plataforma de medios sociales. La compañía lo describió como un experimento de «comprensión conversacional». La idea era que el chatbot jugara el papel de una adolescente e interactuara con los usuarios de Twitter usando una combinación de aprendizaje automático y procesamiento de lenguaje natural. Microsoft la alimentó con datos públicos anónimos y material escrito por actores, y luego la liberó para aprender y evolucionar a partir de sus interacciones en la red social.
En 16 horas el chatbot publicó más de 95.000 tweets, que se han convertido en claramente racistas, misóginos y antisemitas. Microsoft suspendió rápidamente el servicio por cambios y finalmente lo desconectó.
«Lamentamos profundamente los tweets ofensivos no intencionados de Tay, que no se corresponden con quiénes somos o qué representamos, ni con la forma en que diseñamos Tay», escribió Peter Lee, vicepresidente de Microsoft Research & Incubations (entonces vicepresidente de Microsoft Healthcare), en el blog oficial de Microsoft tras el incidente.
Lee señaló que el predecesor de Tay, Xiaoice, publicado por Microsoft en China en 2014, había mantenido conversaciones con más de 40 millones de personas en los dos años anteriores a la liberación de Tay, sin reportar ningún problema.
Lo que Microsoft no tuvo en cuenta es que un grupo de usuarios de Twitter comenzaría inmediatamente a tuitear comentarios racistas y misóginos contra Tay. El robot aprendió rápidamente de ese material y lo incorporó a sus propios tweets.
«Aunque nos habíamos preparado para muchos tipos de abuso del sistema, subestimamos este ataque específico. Como resultado, Tay tweeteó palabras e imágenes reprobables y totalmente inapropiadas», escribió Lee.
La herramienta de selección basada en la IA del Amazonas elige sólo a los hombres
Como muchas grandes empresas, Amazon utiliza herramientas que ayudan al equipo de RRHH a seleccionar los currículos de los mejores candidatos. Para ello, en 2014 Amazon comenzó a trabajar en un software de reclutamiento basado en la inteligencia artificial. Sólo había un problema: el sistema prefería con mucho a los candidatos masculinos. En 2018, Reuters informó que Amazon había abandonado el proyecto.
El sistema de Amazon le dio a los candidatos una calificación de 1 a 5 estrellas. Los modelos de aprendizaje automático que subyacen al sistema se han formado en los planes de estudio enviados a Amazon en los diez años anteriores, la mayoría de ellos por hombres. Como resultado de la capacitación sobre esos datos, el sistema tendía a penalizar los planes de estudio que contenían la palabra «mujeres» e incluso a bajar la categoría de los candidatos de las universidades para mujeres.
En ese momento, Amazon declaró que la herramienta nunca se había utilizado realmente para evaluar a los candidatos.
La empresa trató de modificar la herramienta para hacerla neutral, pero finalmente admitió que no podía garantizar que la selección de los candidatos no fuera discriminatoria y cerró el proyecto.
El objetivo violó la privacidad con un proyecto de análisis
En 2012 un proyecto del gigante minorista Target mostró cuánto pueden aprender las empresas sobre los clientes a partir de sus datos. Según el New York Times, en 2002 el departamento de marketing de Target comenzó a preguntarse cómo podía determinar si las clientas estaban embarazadas. Esa línea de investigación condujo a un proyecto de análisis predictivo que permitiría al minorista revelar inadvertidamente a la familia de una adolescente que estaba embarazada.
El departamento de marketing de Target quiso identificar a las clientas embarazadas porque hay ciertos periodos en la vida – el embarazo ante todo – en los que es más probable que la gente cambie radicalmente sus hábitos de compra. Si Target era capaz de interceptarlos en ese momento podía, por ejemplo, seguir los nuevos comportamientos de esos clientes, induciéndolos a dirigirse al minorista para obtener alimentos, ropa u otros bienes.
Al igual que todos los demás grandes minoristas, Target reunió datos sobre sus clientes mediante códigos de comprador, tarjetas de crédito, encuestas y otras herramientas. Al combinarlos con datos demográficos y datos de terceros (comprados), el equipo de Target pudo determinar que había aproximadamente 25 productos vendidos por la empresa que podían analizarse juntos para generar una puntuación de «predicción de embarazo». El departamento de marketing podría entonces identificar a los clientes con altas puntuaciones y enviarles cupones y mensajes de marketing.
Cambiodigital Online
