6 razones por las cuales los proyectos de IA fallan

0
46

Hace dieciocho meses, el Sr. Cooper lanzó un sistema de recomendación inteligente para sus agentes de servicio al cliente para sugerir soluciones a los problemas de los clientes. La empresa, anteriormente conocida como Nationstar, es el mayor proveedor de hipotecas no bancarias en los Estados Unidos, con 3,8 millones de clientes, por lo que el proyecto fue visto como un ahorro de costos de alto perfil. Tomó nueve meses darse cuenta de que los agentes no lo estaban usando, comenta el CIO, Sridhar Sharma, y tomó otros seis meses descubrir por qué.

Sharma descubrió que las recomendaciones que ofrecía el sistema no eran relevantes, pero el problema no estaba en los algoritmos de aprendizaje automático. La empresa se había basado en datos de capacitación basados, a su vez, en descripciones técnicas de problemas de los clientes en lugar de en la manera en la que los ellos los describirían en sus propias palabras.

«No hicimos un buen trabajo al asegurarnos de que la raíz de la pregunta que estaba haciendo el cliente fuera capturada en los términos que el cliente estaba usando», anota. «Estaba codificada en los términos técnicos que estábamos usando internamente».

Además, el mecanismo de retroalimentación del sistema, en el que los agentes registraron los resultados de las llamadas, tenía categorías superpuestas, lo que empeoró el problema, añade Sharma, que no quiso decir cuánto le costó el proyecto a la compañía.

La incómoda incursión del Sr. Cooper en la inteligencia artificial no es una anomalía. Según una encuesta reciente de IDC, solo alrededor del 30% de las empresas informaron una tasa de éxito del 90% para los proyectos de IA. La mayoría reportó tasas de fracaso del 10 al 49%, mientras el 3% dijo que más de la mitad de sus proyectos fracasaron.

Más de una cuarta parte de los encuestados mencionaron la falta de personal y las expectativas poco realistas de la tecnología como desafíos importantes; y otro 23% dijo que sus proyectos de IA fallaron debido a la falta de datos necesarios.

«A la primera señal de fracaso, la tendencia es retirarse del proyecto», anota Sharma. «Pero si hace eso, está perdido».

El Sr. Cooper regresará al proyecto de servicio al cliente el próximo año como parte de una revisión de su sistema de CRM, y la empresa seguirá comprometida con la inteligencia artificial. Su último proyecto de ML, que implica analizar datos no estructurados, ya está teniendo un beneficio comercial positivo y está ayudando a crear mejores datos de capacitación en idiomas para el futuro.

«Estos aprendizajes no son baratos», señala, y agrega que se necesita la aceptación del CEO y el CFO para mantenerse en el camino cuando las cosas no van bien.

Escasez de datos
Los problemas de datos se encuentran entre las principales razones por las cuales los proyectos de inteligencia artificial no cumplen con las expectativas. Según un informe publicado por McKinsey el otoño pasado, dos de los mayores desafíos que limitan la aplicación de la tecnología de IA tienen que ver con los datos.

Primero, como el Sr. Cooper, muchas compañías tienen dificultades para obtener datos etiquetados adecuadamente para entrenar sus algoritmos de aprendizaje automático. Si éstos no son clasificados adecuadamente, los humanos deben tomarse el tiempo para etiquetarlos, lo que puede retrasar los proyectos o hacer que fallen. El segundo problema es no tener los datos correctos para el proyecto.

«Las empresas a menudo no tienen los datos correctos y se frustran cuando no pueden construir modelos con datos que no están etiquetados», indica Anand Rao, socio y líder mundial de inteligencia artificial en PricewaterhouseCoopers. «Ahí es donde las empresas fallan constantemente».

La Sociedad Nacional Audubon está utilizando inteligencia artificial para ayudar a proteger las aves silvestres. Por ejemplo, en julio, la organización publicó los resultados de un análisis basado en IA sobre cómo el cambio climático afectará a 38 especies de aves de pastizales.

«Si no hacemos nada para frenar el ritmo del cambio climático, entonces el 42% de esas especies de aves de pastizales se considerarán altamente vulnerables», anota Chad Wilsey, vicepresidente de ciencias de la conservación de la organización. «Pero si podemos tomar medidas, también podemos reducir la vulnerabilidad a solo el 8%».

No todos los proyectos de IA de la Sociedad Audubon han tenido tanto éxito. El verano pasado, la organización intentó utilizar el aprendizaje automático para contar la cantidad de pelícanos marrones y rayadores/picotijeras negros en las playas. El proyecto piloto se basó en un conjunto de imágenes recopiladas por un voluntario que voló un avión no tripulado sobre una isla frente a la costa de Texas.

«Estábamos interesados en entender cómo el huracán que pasó afectó a las poblaciones de aves», comenta Wilsey.

Fueron necesarias dos mil imágenes etiquetadas de pelícanos marrones antes de que la precisión del sistema fuera lo suficientemente buena para sus necesidades, añade. Pero no había suficientes imágenes de rayadores/picotijeras negros. «Para otras aplicaciones de visión por computadora probablemente pueda usar algo que está disponible en Internet», indica. «Pero en este caso, las imágenes de las aves son muy específicas».

Por ejemplo, la mayoría de las imágenes disponibles de aves son tomadas por personas que están al nivel del suelo y no por drones que las toman directamente hacia abajo. Asimismo, debido a que este fue un estudio piloto, la Sociedad Audubon no tenía los recursos para regresar y tomar más fotos, indica Wilsey.

Sesgo de datos de entrenamiento
Otro ejemplo de un proyecto de inteligencia artificial obstaculizado por la falta de datos es el intento de Fritz Lab de crear un modelo para identificar el cabello en las imágenes de las personas. Fritz ayuda a los desarrolladores móviles a construir modelos de IA que pueden ejecutarse directamente en los teléfonos, sin tener que enviar datos a un servidor central para su procesamiento.

«Queríamos crear una función que detectara el cabello en video en vivo, y cambiara el color en tiempo real», comenta Jameson Toole, CTO de la compañía.

Al principio todo parecía estar bien, señala, pero había un defecto significativo en el algoritmo que habría sido extremadamente problemático si el sistema se hubiera hecho público.

«Afortunadamente, realizamos muchas pruebas manuales, en la oficina entre nosotros y con las personas que reclutamos, y nos dimos cuenta de que no funcionaba bien para ciertas etnias», agrega Toole. «Volvimos al conjunto de datos y, efectivamente, no había nadie en éste que formara parte de esos grupos».

Hay muchos conjuntos de datos de imágenes disponibles para capacitación, señala, tanto gratuitos como comerciales, pero las empresas deben verificar que haya suficientes tipos de los datos particulares que necesitan.

«Empiece tomándose un tiempo y esforzándose por construir su propio conjunto de casos de prueba que sea representativo de su base de usuarios», indica.

Fritz Labs terminó recopilando las imágenes faltantes y anotándolas manualmente. «Esto ciertamente resaltó el hecho de que no es difícil introducir sesgos en sistemas como éste cuando usted se encuentra limitado por los datos que tiene disponibles», señala Toole.

De acuerdo con una encuesta reciente de PricewaterhouseCoopers, más de la mitad de las empresas no tienen un proceso formal para evaluar el sesgo de la inteligencia artificial. Peor aún, solo el 25% de los encuestados dijeron que priorizarían las implicaciones éticas de una solución de IA antes de implementarla.

Problemas de integración de datos
A veces, el problema no es la falta de datos, sino la presencia de demasiados -en demasiados lugares. Ese fue el caso en un banco global, según el director de IA y data para el lado minorista de la organización, y que no estaba autorizado para hablar de forma oficial.

Si pudiera retroceder en el tiempo, señala, el banco hubiera comenzado a reunir diferentes canales de datos antes. «Eso es algo que no hicimos y fue un gran error», afirma. «Teníamos los datos en silos y eso no nos permitió tener una visión completa de los clientes».

El problema de la integración de datos dañó la capacidad del banco para crear mensajes de marketing efectivos, lo que condujo a la pérdida de ingresos, añade, y agrega que ahora el banco se está moviendo hacia una visión de canales múltiples de los datos de los clientes, incluyendo las interacciones en línea, móviles y en persona.

«Todavía no estamos allí», afirma. «Los datos en silos son uno de los mayores desafíos que tuvimos y aún tenemos».

El desafío no es tanto técnico, anota, sino un problema comercial, la primera cuestión es el cumplimiento y las regulaciones. «Hay ciertos tipos de datos que no podemos mezclar».

El otro problema tiene que ver con las prioridades de la empresa. «Hay muchos otros proyectos en ejecución. ¿Y quién va a pagar por organizar los datos? Eso, por sí mismo, no es un valor agregado para el banco», señala, y agrega que éste es un desafío con el que cada banco tiene que lidiar.

Si volviera a hacerlo, hubiera comenzado el proceso de integración de datos cuando el banco empezó a trabajar en sus casos de uso de inteligencia artificial. «No creo que hayamos terminado realmente, porque hay muchas fuentes de datos», dice. «Creo que ninguna compañía acabará nunca sus asuntos por completo».

Él dice que el banco espera tener sus principales fuentes de datos conectadas en los próximos 18 a 24 meses. En este momento, afirma, el banco solo está entre el 10 y el 15% del camino.

Desviación de datos
Otro problema para los proyectos de inteligencia artificial es cuando las empresas confían en datos históricos, en lugar de datos transaccionales activos para sus conjuntos de capacitación. En muchos casos, los sistemas entrenados en una instantánea única, estática e histórica no funcionan bien cuando se realiza la transición a datos en tiempo real, comenta Andreas Braun, director de Accenture.

«Se descargan algunos datos, se entrena el modelo y se obtiene una mejora bastante buena del modelo en el laboratorio», indica Braun, quien dirige el negocio europeo de datos e inteligencia artificial de Accenture. «Pero una vez que reintegra todo eso en la organización, comienzan los problemas».

Puede haber una diferencia significativa entre las muestras de datos históricos y los que provienen de un sistema en vivo para, por ejemplo, detectar fraudes en tiempo real o lavado de dinero, porque los modelos no están capacitados para detectar los pequeños cambios en el comportamiento.

«Si copia sus datos en algún momento, tal vez de noche, el sábado o el domingo, el sistema no responderá», señala. «Eso hace que el análisis en el laboratorio sea muy fácil. Pero cuando los modelos de aprendizaje automático son reintegrados al sistema en vivo, son mucho peores».

La solución, anota Braun, es no poner a los científicos de datos en un silo separado del lado de la tecnología de producción. En particular, cuando los modelos se crean utilizando datos en vivo, la integración de los modelos en entornos de producción es mucho más rápida.

«Y los éxitos son mucho, mucho mejores», señala. «Cambia completamente su juego».

Datos intactos no estructurados
Según una encuesta reciente de Deloitte Consulting, el 62% de las empresas todavía dependen de hojas de cálculo, y solo el 18% ha aprovechado los datos no estructurados, tales como las imágenes de productos, archivos de audio de clientes o comentarios en redes sociales en sus esfuerzos de análisis.

Además, una gran cantidad de datos históricos que las empresas han estado recolectando carece del contexto que necesita para ser útil para la inteligencia artificial o es almacenado en forma resumida, comenta Ben Stiller, director general de estrategia y análisis para productos minoristas y de consumo en Deloitte Consulting.

«Las limitaciones de datos pueden configurar un proyecto para el fracaso desde el principio», indica.

Sin embargo, según la encuesta, las empresas que aprovechan los datos no estructurados, como lo está haciendo el Sr. Cooper, tienen un 24% más de probabilidades de haber superado sus objetivos empresariales.

«Realmente requiere un cambio fundamental en la manera en la que ve los datos», agrega Stiller.

El Sr. Cooper, por ejemplo, tiene una gran cantidad de datos no estructurados en forma de aproximadamente 1,5 mil millones de documentos de clientes. Como resultado, los agentes de servicio al cliente pasan demasiado tiempo buscando los documentos que necesitan para ayudar a los clientes y, a veces, tienen que volver a llamarlos.

La empresa escaneó todos los 1,5 mil millones de documentos utilizando la tecnología de aprendizaje automático y analizó detenidamente el primer conjunto de 150 millones de documentos que se encontraban dentro de los 200 tipos más utilizados.

«Ahora tenemos un proyecto de aprendizaje automático que está aportando valor y que se encuentra actualmente en producción», anota Sharma de Cooper.

Además de hacer que las llamadas de servicio al cliente sean más rápidas, el análisis de documentos también está ayudando a crear un mejor diccionario de idiomas para uso futuro, cuando la empresa vuelva a su proyecto de servicio al cliente de inteligencia artificial antes problemático.

Desafíos culturales
Más allá de los datos, los problemas organizacionales presentan desafíos importantes para el éxito de la IA.

Por ejemplo, si tuviera que retroceder en el tiempo, Sharma anota que habría comenzado centrándose en el lenguaje que usan los clientes al detallar sus problemas -y emparejando expertos en la materia con desarrolladores de inteligencia artificial.

«Debe tener gente de negocios sentada con los equipos de tecnología para que el contexto siempre sea lo más importante», señala Sharma. «Hay que hacer que se sienten juntos y que sea un trabajo a tiempo completo».

Y a menos que pueda aprender de errores como éstos, sus posibilidades de cumplir la promesa de IA pueden disminuir, ya que los proyectos fallidos pueden ser problemáticos para los equipos de inversión que toman decisiones de financiación y pueden tener un impacto negativo en la satisfacción de los empleados y clientes.

«Los primeros proyectos fallidos de IA pueden impedir que el equipo ejecutivo realice inversiones más significativas en el espacio», indica Stiller.

Eso puede hacer que las empresas se queden atrás de la competencia.

Y todo comienza desde arriba. Como lo muestra la encuesta de Deloitte, la aceptación de alto nivel para proyectos de inteligencia artificial es vital. «Si el CEO lo patrocina, tiene un 77% más de probabilidades de superar sus objetivos empresariales», indica Stiller.

Así que no permita que un revés descarrile su compromiso organizacional con la IA, ya que un enfoque a largo plazo IA valdrá la pena, dice. «Mientras más proyectos realice a lo largo del tiempo, el ROI seguirá mejorando».

Maria Korolov, CIO.com