Algoritmos e IA: 5 errores memorables sobre los que reflexionar

La información de los datos y los algoritmos es valiosa, pero si se interpreta mal puede costar reputaciones, ingresos e incluso vidas. He aquí algunos ejemplos

0
4

Según el informe State of the CIO de IDG, el 39% de los líderes de TI dicen que la analítica de datos impulsará la mayor parte de la inversión en TI en su empresa este año, frente al 37% en 2020. La información obtenida de la analítica y las acciones impulsadas por algoritmos de aprendizaje automático pueden dar a las empresas una ventaja competitiva, pero los errores pueden ser costosos en términos de reputación, ingresos e incluso vidas.

Entender los datos y lo que dicen es importante, pero también lo es tener control sobre las herramientas de análisis y tener presentes los valores de la empresa. Para ilustrar lo que puede salir mal, presentamos cinco ejemplos de errores cometidos en la analítica y la inteligencia artificial durante la última década.

Inmuebles sobrevalorados: Zillow pierde empleados y millones de dólares
En noviembre de 2021, el mercado de compraventa inmobiliaria online Zillow comunicó a sus accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la plantilla de la empresa, es decir, unos 2.000 empleados.

Estas decisiones fueron la consecuencia de una gran pérdida financiera, debido a problemas en el algoritmo de aprendizaje automático utilizado para predecir los precios de la vivienda.

A través del programa Zillow Offers, la empresa hizo ofertas en efectivo basadas en el sistema «Zestimate», que produjo una estimación del valor de las propiedades derivada de un algoritmo de aprendizaje automático. La idea era renovar las propiedades y revenderlas rápidamente. Pero un portavoz de Zillow dijo a la CNN que el algoritmo tenía una tasa de error media del 1,9%, que podía llegar al 6,9%.

Como informó la CNN, Zillow ha comprado 27.000 viviendas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero a finales de septiembre de 2021 solo había vendido 17.000. Acontecimientos imprevisibles como la pandemia de COVID-19 y la escasez de mano de obra para las reformas de viviendas contribuyeron a los problemas de precisión del algoritmo.

Zillow dijo que el algoritmo llevó a la compañía a comprar involuntariamente casas a precios más altos que sus estimaciones de precios de venta futuros, lo que resultó en una pérdida de 304 millones de dólares de sus activos en el tercer trimestre de 2021.

La pandemia aceleró rápidamente el ritmo de las tendencias que ya se estaban produciendo, como los lugares de trabajo flexibles, el comercio y la banca omnicanal, las experiencias digitales innovadoras y la telemedicina.

En una videoconferencia con inversores tras el anuncio, el cofundador y consejero delegado de Zillow, Rich Barton, dijo que sería posible cambiar el algoritmo, pero que la medida se evaluaba como demasiado arriesgada.

Se pierden miles de registros de pacientes de COVID
En octubre de 2020, el organismo gubernamental Public Health England (PHE), encargado de contabilizar los nuevos contagios de Covid-19 en el Reino Unido, reveló que entre el 25 de septiembre y el 2 de octubre no se notificaron casi 16.000 casos de coronavirus. ¿El culpable? Limitaciones de datos en Microsoft Excel.

PHE utiliza un proceso automatizado para transferir los resultados de laboratorio de los pacientes positivos a COVID-19 en forma de archivos CSV a las plantillas de Excel utilizadas en los paneles de información y para el rastreo de contactos. Lamentablemente, las hojas de cálculo de Excel tienen un máximo de 1.048.576 filas y 16.384 columnas por hoja. Además, PHE enumeró los casos en columnas en lugar de en filas. Cuando los casos superaron el límite de 16.384 columnas, Excel cortó los 15.841 registros de la parte inferior.

El «fallo» no impidió que las personas que se habían sometido a las pruebas recibieran sus resultados, pero obstaculizó el rastreo de contactos, lo que dificultó que el Servicio Nacional de Salud (NHS) del Reino Unido identificara e informara a las personas que habían estado en estrecho contacto con pacientes infectados. En una declaración del 4 de octubre, Michael Brodie, director ejecutivo interino de PHE, dijo que el NHS y PHE resolvieron rápidamente el problema y transfirieron inmediatamente todos los casos pendientes al sistema de rastreo de contactos de NHS Test and Trace.

PHE puso en marcha una «mitigación rápida» dividiendo los archivos de gran tamaño y realizó una revisión completa de todos los sistemas para evitar incidentes similares en el futuro.

El algoritmo sanitario sólo señala a los pacientes blancos
En 2019, un estudio publicado en Science reveló que un algoritmo de predicción de la salud, utilizado por hospitales y compañías de seguros de todo Estados Unidos para identificar a los pacientes que necesitan programas de gestión de la atención de «alto riesgo», no identificaba a los pacientes de color.

Los programas de gestión de los cuidados de alto riesgo proporcionan personal de enfermería especializado y seguimiento de atención primaria a los pacientes crónicos, con el objetivo de prevenir complicaciones graves. Pero el algoritmo era mucho más propenso a sugerir a los pacientes blancos para estos programas que a otros pacientes.

El estudio descubrió que el algoritmo utilizaba el gasto sanitario como referencia para determinar las necesidades sanitarias de un individuo. Según Scientific American, los costes sanitarios de los pacientes negros más graves eran iguales a los de los pacientes blancos más sanos, lo que significaba que recibían puntuaciones de riesgo más bajas incluso cuando su necesidad era mayor.

Los investigadores del estudio sugieren algunos factores que pueden haber contribuido a este error. En primer lugar, las personas de raza negra tienen más probabilidades de tener ingresos más bajos, lo que puede hacer que tengan menos probabilidades de acceder a la atención sanitaria, incluso si están asegurados. Los prejuicios implícitos también pueden conducir a una atención de menor calidad para las personas de color.

Aunque el estudio no reveló el nombre del algoritmo, los investigadores dijeron a Scientific American que estaban trabajando con su desarrollador para resolver el problema.

El chatbot de Microsoft difunde tuits racistas
En marzo de 2016, Microsoft descubrió que utilizar las interacciones de Twitter como datos de entrenamiento para los algoritmos de aprendizaje automático puede tener resultados desconcertantes.

Microsoft lanzó Tay, un chatbot de IA, en la plataforma de redes sociales. La empresa lo describe como un experimento de «comprensión conversacional». La idea era que el chatbot interpretara el personaje de una adolescente e interactuara con los usuarios de Twitter mediante una combinación de aprendizaje automático y procesamiento del lenguaje natural. Microsoft lo alimentó con datos públicos anonimizados y material escrito por actores, y luego lo liberó para que aprendiera y evolucionara a partir de sus interacciones en la red social.

En 16 horas, el chatbot publicó más de 95.000 tuits, que llegaron a ser claramente racistas, misóginos y antisemitas. Microsoft no tardó en suspender el servicio para realizar cambios y, finalmente, lo desconectó.

«Lamentamos profundamente los tuits involuntariamente ofensivos de Tay, que no coinciden con lo que somos ni con lo que defendemos, ni con la forma en que diseñamos Tay», escribió Peter Lee, vicepresidente de Microsoft Research & Incubations (entonces vicepresidente de Microsoft Healthcare), en el blog oficial de Microsoft tras el incidente.

Lee señaló que el predecesor de Tay, Xiaoice, lanzado por Microsoft en China en 2014, había mantenido conversaciones con más de 40 millones de personas en los dos años anteriores al lanzamiento de Tay, sin reportar ningún problema.

Lo que Microsoft no tuvo en cuenta es que un grupo de usuarios de Twitter comenzaría inmediatamente a tuitear comentarios racistas y misóginos contra Tay. El bot aprendió rápidamente de ese material y lo incorporó a sus propios tuits.

«Aunque nos habíamos preparado para muchos tipos de abuso del sistema, subestimamos este ataque específico. Como resultado, Tay tuiteó palabras e imágenes reprobables y totalmente inapropiadas», escribió Lee.

La herramienta de selección basada en la IA de Amazon elige sólo a hombres
Como muchas grandes empresas, Amazon utiliza herramientas para ayudar al equipo de RRHH a seleccionar los currículos de los mejores candidatos. Para ello, Amazon comenzó a trabajar en un software de contratación basado en la inteligencia artificial en 2014. Sólo había un problema: el sistema prefería abrumadoramente a los candidatos masculinos. En 2018, Reuters dio la noticia de que Amazon había abandonado el proyecto.

El sistema de Amazon otorgó a los candidatos una calificación de 1 a 5 estrellas. Los modelos de aprendizaje automático en los que se basa el sistema han sido entrenados a partir de los currículos enviados a Amazon en los últimos diez años, la mayoría de ellos por hombres. Como resultado de la formación con esos datos, el sistema tendía a penalizar los currículos que contenían la palabra «mujer» e incluso a rebajar la calificación de los solicitantes de las universidades femeninas.

En ese momento, Amazon declaró que la herramienta nunca se había utilizado realmente para evaluar a los candidatos.

La empresa intentó modificar la herramienta para hacerla neutral, pero finalmente admitió que no podía garantizar que la selección de candidatos no fuera discriminatoria y cerró el proyecto.

Target violó la privacidad con el proyecto de análisis

En 2012, un proyecto del gigante minorista Target demostró cuánto pueden aprender las empresas sobre los clientes a partir de sus datos. Según el New York Times, en 2002 el departamento de marketing de Target empezó a preguntarse cómo podía determinar si las clientas estaban embarazadas. Esa línea de investigación condujo a un proyecto de análisis predictivo que permitió al minorista revelar inadvertidamente a la familia de una adolescente que estaba embarazada.

El departamento de marketing de Target quería identificar a las clientas embarazadas porque hay ciertos periodos de la vida -el embarazo, sobre todo- en los que la gente es más propensa a cambiar radicalmente sus hábitos de compra. Si Target pudiera interceptarlos en ese momento, podría, por ejemplo, rastrear nuevos comportamientos en esos clientes, haciendo que se dirijan al minorista para comprar comestibles, ropa u otros productos.

Al igual que el resto de los grandes minoristas, Target recopilaba datos sobre sus clientes a través de códigos de comprador, tarjetas de crédito, encuestas y otras herramientas. Al combinarlo con datos demográficos y de terceros (comprados), el equipo de Target pudo determinar que había unos 25 productos vendidos por la empresa que podían analizarse juntos para generar una puntuación de «predicción de embarazo». El departamento de marketing podría entonces identificar a los clientes con puntuaciones altas y enviarles cupones y mensajes de marketing.

Redacción CambioDigital Online – CWI.it

 

Artículo anteriorClaves para subirse a la nube multiusuario
Artículo siguiente«No pagar un rescate de ‘ransomware’ sería lo ideal, pero muchas empresas no tienen otra opción»