Utilizado por dos tercios de los 100 bancos más grandes del mundo para ayudar en las decisiones de préstamo, el gigante de calificación crediticia Fair Isaac Corp. y su software de inteligencia artificial pueden causar estragos si algo sale mal. .
Esa crisis casi llegó a suceder al principio de la pandemia. Como contó FICO a Reuters, las herramientas de inteligencia artificial de la empresa de Bozeman, Montana, para ayudar a los bancos a identificar fraudes con tarjetas de crédito y débito, concluyeron que un aumento en las compras en línea significaba que los estafadores debían haber estado más ocupados de lo habitual.
El software de inteligencia artificial les dijo a los bancos que negaran millones de compras legítimas, en un momento en que los consumidores luchaban por papel higiénico y otros artículos esenciales.
Pero los consumidores finalmente enfrentaron pocas denegaciones, según FICO. La compañía dijo que un grupo global de 20 analistas que monitorean constantemente sus sistemas recomendó ajustes temporales que evitaron un bloqueo en el gasto. El equipo recibe alertas automáticas sobre actividades de compra inusuales que podrían confundir a la IA, en la que confían 9000 instituciones financieras en general para detectar fraudes en 2000 millones de tarjetas.
Tales equipos corporativos, parte de la especialidad de trabajo emergente de las operaciones de aprendizaje automático (MLOps), son inusuales. En encuestas separadas el año pasado, FICO y la consultora McKinsey & Co descubrieron que la mayoría de las organizaciones encuestadas no monitorean regularmente los programas basados en IA después de lanzarlos.
El problema es que los errores pueden abundar cuando las circunstancias del mundo real se desvían, o en la jerga tecnológica, se «derivan» de los ejemplos utilizados para entrenar la IA, según los científicos que administran estos sistemas. En el caso de FICO, dijo que su software esperaba más compras en persona que virtuales, y la proporción invertida llevó a una mayor proporción de transacciones marcadas como problemáticas.
Las variaciones estacionales, los cambios en la calidad de los datos o los eventos trascendentales, como la pandemia, pueden conducir a una serie de malas predicciones de IA.
Imagine un sistema que recomiende trajes de baño a los compradores de verano, sin darse cuenta de que los bloqueos de COVID habían hecho que los pantalones de chándal fueran más adecuados. O un sistema de reconocimiento facial que falla porque el enmascaramiento se ha vuelto popular.
La pandemia debe haber sido una «llamada de atención» para cualquiera que no esté monitoreando de cerca los sistemas de IA porque indujo innumerables cambios de comportamiento, dijo Aleksander Madry, director del Centro de Aprendizaje de Máquinas Implementables del Instituto de Tecnología de Massachusetts.
Hacer frente a la deriva es un gran problema para las organizaciones que aprovechan la IA, dijo. «Eso es lo que realmente nos detiene actualmente de este sueño de que la IA lo revolucione todo».
Además de la urgencia de que los usuarios aborden el problema, la Unión Europea planea aprobar una nueva ley de IA tan pronto como el próximo año que requiera un poco de monitoreo. Este mes, la Casa Blanca en las nuevas pautas de IA también pidió monitoreo para garantizar que el rendimiento del sistema «no caiga por debajo de un nivel aceptable con el tiempo». Lee mas
Ser lento para notar problemas puede ser costoso. Unity Software Inc, cuyo software publicitario ayuda a los videojuegos a atraer jugadores, estimó en mayo que perdería $110 millones en ventas este año, o alrededor del 8% de los ingresos totales esperados, luego de que los clientes se retiraran cuando su herramienta de IA que determina quién para mostrar anuncios dejó de funcionar tan bien como antes. También tuvo la culpa que su sistema de IA aprendiera de datos corruptos, dijo la compañía.
Unity, con sede en San Francisco, se negó a comentar más allá de las declaraciones de ganancias. Los ejecutivos dijeron que Unity estaba implementando herramientas de alerta y recuperación para detectar problemas más rápido y reconocieron que la expansión y las nuevas características habían tenido prioridad sobre el monitoreo.
El mercado de bienes raíces Zillow Group Inc. anunció en noviembre pasado una amortización de $304 millones en las casas que compró, con base en un algoritmo de pronóstico de precios, por montos superiores a los que podrían revenderse. La compañía de Seattle dijo que la IA no podía seguir el ritmo de los cambios rápidos y sin precedentes del mercado y abandonó el negocio de compra-venta.
NUEVO MERCADO
La IA puede salir mal de muchas maneras. Lo más conocido es que los datos de entrenamiento sesgados a lo largo de la raza u otras líneas pueden generar predicciones injustamente sesgadas. Muchas empresas ahora examinan los datos de antemano para evitar esto, según las encuestas y los expertos de la industria. En comparación, pocas empresas consideran el peligro de un modelo de buen desempeño que luego se rompe, dicen esas fuentes.
«Es un problema apremiante», dijo Sara Hooker, directora del laboratorio de investigación Cohere For AI. «¿Cómo se actualizan los modelos que se vuelven obsoletos a medida que el mundo cambia a su alrededor?»
Varias nuevas empresas y gigantes de la computación en la nube en los últimos años han comenzado a vender software para analizar el rendimiento, configurar alarmas e introducir soluciones que, en conjunto, pretenden ayudar a los equipos a controlar la IA. IDC, un investigador de mercado global, estima que el gasto en herramientas para operaciones de IA alcanzará al menos $ 2 mil millones en 2026 desde $ 408 millones el año pasado.
La inversión de capital de riesgo en empresas de operaciones y desarrollo de IA aumentó el año pasado a casi 13.000 millones de dólares, y en lo que va del año se han acumulado 6.000 millones de dólares, según datos de PitchBook, una empresa de Seattle que realiza un seguimiento de las financiaciones.
Arize AI, que recaudó $38 millones de inversionistas el mes pasado, permite monitorear a clientes como Uber, Chick-fil-A y Procter & Gamble. La directora de productos, Aparna Dhinakaran, dijo que tuvo problemas con un empleador anterior para detectar rápidamente que las predicciones de IA se estaban volviendo malas y amigos en otros lugares le contaron sobre sus propios retrasos.
«El mundo de hoy es que uno no sabe que hay un problema hasta que un negocio impacta dos meses después», dijo.
PUNTAJES DE FRAUDE
Algunos usuarios de IA han creado sus propias capacidades de monitoreo y eso es lo que FICO dijo que lo salvó al comienzo de la pandemia.
Las alarmas se dispararon a medida que se realizaron más compras en línea, lo que la industria llama «tarjeta no presente». Históricamente, una mayor parte de este gasto tiende a ser fraudulento y el aumento aumentó las transacciones en la escala de FICO del 1 al 999 (cuanto más alto es, más probable es que sea un fraude), dijo Scott Zoldi, director de análisis de FICO.
Zoldi dijo que los hábitos de los consumidores estaban cambiando demasiado rápido como para reescribir el sistema de inteligencia artificial. Por lo tanto, FICO aconsejó a los clientes de EE. UU. que revisaran y rechazaran solo las transacciones con una puntuación superior a 900, frente a 850, dijo. Evitó a los clientes revisar el 67 % de las transacciones legítimas por encima del umbral anterior y, en cambio, les permitió concentrarse en casos verdaderamente problemáticos.
Los clientes detectaron un 25 % más del fraude total en EE. UU. durante los primeros seis meses de la pandemia de lo que se esperaba y un 60 % más en el Reino Unido, dijo Zoldi.
“No eres responsable con la IA a menos que estés monitoreando”, dijo.
