Cuatro razones por las que fracasan los proyectos de IA generativa

En junio, la cadena de supermercados neozelandesa Pak'nSave lanzó Savey Meal-Bot, una herramienta de inteligencia artificial que permite a los usuarios cargar una lista de ingredientes y el robot les propone recetas que pueden probar. Se presentaba como una forma de que los compradores ahorrarían dinero, ya que los neozelandeses tiran unos 1.500 dólares neozelandeses de comida al año.

A pesar de la advertencia de que los usuarios debían ser mayores de 18 años, de que ningún ser humano revisaba las recetas y de que sólo debían introducirse alimentos en el chatbot, la gente se volvió loca y, en agosto, la empresa se hizo viral en todo el mundo por todas las razones equivocadas. Por ejemplo, Meal-Bot sugirió a un usuario hacer "sorpresa de arroz con lejía" como una "sorprendente aventura culinaria". Eso ya era bastante malo, pero su "mezcla de agua aromática" no era más que una receta mortal con gas cloro, aunque Meal-Bot la describía como "la bebida sin alcohol perfecta para saciar la sed y refrescar los sentidos". Y el “misterioso estofado de carne” incluía 500 gramos de carne humana picada. Meal-bot lo describió como "un plato deliciosamente sustancioso y reconfortante que te sorprenderá con sus sabores mágicos".

No hubo noticias de clientes intoxicados por consumir estas recetas, y la herramienta se ha actualizado desde entonces para que los usuarios sólo puedan elegir entre un conjunto limitado de ingredientes totalmente comestibles. Pero sigue creando combinaciones poco apetitosas.

Otro sonado desastre de relaciones públicas se cebó con el bufete Levidow, Levidow & Oberman, P.C., cuando dos de sus abogados presentaron dictámenes jurídicos llenos de citas falsas después de haber utilizado ChatGPT para redactar argumentos.

El bufete y sus abogados "incurrieron en la dejación de sus funciones cuando presentaron dictámenes judiciales inexistentes, y luego siguieron defendiendo los dictámenes falsos después de que las órdenes judiciales pusieran en duda su existencia", dijo un juez en una sentencia de junio, que también impuso una multa de 5.000 dólares.

PricewaterhouseCoopers ha trabajado recientemente con muchas empresas para ayudarlas a poner en marcha proyectos de IA generativa. Pero a pesar de todo el bombo y platillo en torno a la tecnología, o incluso a causa de ella, no todo va como la seda.

"La IA generativa tiene un alcance mayor que la IA tradicional o el aprendizaje automático, por lo que han aumentado las oportunidades de que se produzcan desastres", afirma Bret Greenstein, socio y responsable de la Estrategia de Salida al Mercado de la IA generativa en PricewaterhouseCoopers.

 

Falta de gobernanza

Un problema que puede surgir con la IA genérica es cuando los proyectos se ponen en marcha con una gobernanza o supervisión insuficientes. Aunque el Savey Meal-Bot de Pak'nSave fue un ejemplo público de ello, muchas más empresas están cometiendo errores similares internamente.

Por ejemplo, Greenstein asegura que ha estado trabajando con una institución financiera de tamaño medio que recientemente implementó IA generativa hace cinco meses utilizando una instancia de nube privada de una herramienta comercial de IA.

"Luego abrieron la API para que sus usuarios empresariales crearan sus propias aplicaciones", explica. Una de las primeras cosas que construyeron fue un chatbot de RR.HH que proporcionaba recomendaciones de beneficios que los exponían innecesariamente a una responsabilidad masiva. Por ejemplo, si la herramienta de RR.HH. recomendaba la opción equivocada, un empleado podía perder la ventana de beneficios durante todo un año. La gente se enfadaba, pero daban por hecho que, al ser una herramienta autorizada, era correcta".

Greenstein no recomienda a las empresas que abran las API y dejen que la gente cree lo que quiera. Tiene que haber un enfoque meditado y disciplinado con cierta gobernanza. "Hay formas disciplinadas de crear IA generativa que evalúen la precisión, gestionen el sesgo y traten las alucinaciones, y se necesita un humano en el bucle para asegurarse de que está recomendando lo correcto", añade.

La empresa tuvo el chatbot en funcionamiento durante un mes y la respuesta no fue buena, así que, afortunadamente, se detectó lo bastante pronto como para no afectar gravemente a los empleados, pero sí hizo tambalear la confianza en la dirección. Por otro lado, si la empresa corrige en exceso y se retrae en la IA generativa, podría perder una oportunidad en la que los competidores se lancen y vayan más rápido.

De hecho, según una encuesta de la AI Infrastructure Alliance (AIIA) publicada en julio entre más de 1.000 altos ejecutivos de grandes empresas, el 54% afirma haber sufrido pérdidas debido a sus fallos a la hora de gobernar las aplicaciones de IA o ML, y el 63% afirma que sus pérdidas fueron de 50 millones de dólares o más.

 

Costes crecientes

Los chatbots de IA generativa más populares son gratuitos para el público. Con un poco de experimentación, es barato y fácil encontrar aplicaciones que puedan aportar beneficios empresariales, lo que crea una falsa percepción de valor. Y cuando las empresas ponen en marcha proyectos piloto en entornos muy controlados, también es fácil subestimar los costes que surgirán cuando el proyecto se despliegue ampliamente.

Lo mismo ocurre cuando una empresa recurre a un proveedor externo para el proyecto, afirma Rob Lee, director jefe del Plan de Estudios y responsable de la facultad en el SANS Institute, porque nadie tiene aún experiencia en el despliegue de IA generativa a escala.

"Todavía no tienen los callos", dice. "Si has hecho esto antes y puedes predecir con precisión los costes, estás muy solicitado ahora mismo".

Por ejemplo, si la IA se despliega a través de la nube, entonces cada llamada a la API suma, y el uso va a ser difícil de predecir. "No se puede estimar el comportamiento humano basándose en lo que era el sistema antiguo", detalla. "Nadie conoce el comportamiento humano que generará la IA generativa".

Luego están los costes de transición, dice. Si, por ejemplo, necesitas comprar una casa nueva, tienes que vender la actual, pero si la antigua no se vende tan rápido como esperabas, puede que te quedes atascado teniendo que pagar dos casas al mismo tiempo. Lo mismo ocurre con las TI. "¿Vamos a poder permitírnoslo si la transición tarda más de lo que pensábamos?". Con la IA generativa, como la tecnología es tan nueva, nadie puede predecirlo con exactitud.

"Luego llegas al tamaño del conjunto de datos", añade. "Tengo que pagar por el almacenamiento y por las llamadas a ese almacenamiento. Y para algunas aplicaciones, hay que tener almacenamiento multidespliegue en todo el mundo, así como copias de seguridad". Según la encuesta de la AIIA, el coste es el segundo mayor obstáculo para la adopción de la IA generativa por parte de las grandes empresas.

 

Expectativas poco realistas

Debido al bombo y platillo en torno a la IA generativa, algunos líderes empresariales pueden empezar a verla como una bala mágica. Todas las discusiones públicas sobre la llegada de la IA a la vida no están ayudando, dice Amol Ajgaonkar, CTO de Innovación de Productos en Insight, el integrador de soluciones con sede en Arizona. "Algo de eso se está filtrando en la toma de decisiones", afirma.

Por ejemplo, durante el verano, un fabricante y distribuidor mundial de electrónica con sede en el oeste de EE.UU quería crear un sistema de generación de contenidos, concretamente para crear documentos de precios para los clientes. "Tienen más de 8.000 ejecutivos de ventas de cara al cliente que gestionan decenas de miles de cuentas", dice. "La fijación de precios de productos y servicios es una necesidad perpetua para crear declaraciones de trabajo para nuevos proyectos. La generación de contenidos es un caso de uso sencillo para la IA generativa".

Pero la empresa pensó que la IA podría mirar datos históricos, encontrar ejemplos relevantes del pasado y luego aplicarlos a las nuevas solicitudes de los clientes. "La expectativa era que la IA generativa simplemente lo averiguaría", dice Ajgaonkar. "Le doy precios históricos, les echará un vistazo y luego me dirá cuál será el precio para cosas similares". Tratar de explicar a la empresa cómo funcionaba realmente la IA generativa, sin embargo, fue una lucha constante, comenta. "Todo lo que leían los echaba para atrás", dice. "Su idea del esfuerzo era minúscula, y el valor empresarial, grande. El bombo publicitario dice lo fácil que es. Pero no funciona así".

Ese tipo de pensamiento predispone a la empresa a la decepción y al fracaso del proyecto, e incluso a la desilusión sobre las ventajas de la IA en general. La solución, dice Ajgaonkar, es dividir el proyecto en pequeños pasos y analizar la mejor forma de llevar a cabo cada uno de ellos. A menudo, la IA generativa no será una buena opción. Por ejemplo, buscar en documentos históricos para encontrar casos relevantes puede hacerse de forma más eficiente con enfoques tradicionales, dice, aunque resumir documentos es algo para lo que la IA generativa es buena.

Mientras tanto, los análisis avanzados y los modelos de ML deben aplicarse para predecir el futuro, y averiguar cómo ensamblar todas las piezas en una única propuesta se gestiona mejor con una lógica empresarial que pueda especificar qué servicios deben incluirse. También están los cálculos matemáticos. No sólo es exagerado, sino también increíblemente impreciso intentar utilizar la IA generativa para hacer cálculos matemáticos sencillos.

"Podemos escribir un plugin para hacer los cálculos", dice Ajgaonkar. "No dependemos de la IA generativa para calcular cosas". Luego llega el momento de montar el documento final. Algunas secciones proceden del equipo jurídico y nunca cambian. "Esas son las cosas repetitivas", dice. "Y con el resumen ejecutivo, la IA generativa puede ponerlo". Al final, la empresa de electrónica consiguió una solución que reducía considerablemente el tiempo necesario para redactar las declaraciones de trabajo, afirma. Pero hizo falta un poco de formación para llegar a ese punto. Sin la formación, el proyecto habría sido una gran decepción.

Otra cosa que las empresas no suelen entender es que redactar un encargo para la IA generativa no es como dar instrucciones a un compañero humano adulto, añade. "Es como dar instrucciones a mis hijos adolescentes", dice Ajgaonkar. "A veces tienes que repetirlo para que se te pegue. A veces, la IA escucha y otras veces no sigue las instrucciones. Es casi como un idioma diferente. Cuando estás operacionalizando algo, entender estas pequeñas cosas es una gran parte del éxito del proyecto."

También hay formas de mejorar la calidad de las respuestas, como el razonamiento en forma de árbol de pensamiento y métodos similares, pero requieren varias indicaciones para afinar la respuesta. "Están bien cuando sólo estás investigando", comenta. "Pero cuando estás trabajando en producción, tienes que pensar en los costes. Cada palabra que introduces se descuenta de tu cuota. Cuántos tokens consumas determinará el coste de la plataforma". Además, está el tiempo que se tarda en responder a cada pregunta.

"Si para cada solicitud tienes que utilizar el enfoque del árbol del pensamiento y pedir explicaciones, te saldrá muy caro", afirma. "Si me dieran un cheque en blanco, ejecutaría la misma petición mil veces con distintas variaciones para obtener exactamente el resultado que quiero. Pero, ¿es necesario por el valor que aporta? Ese es el equilibrio que hay que encontrar a la hora de crear la solución".

 

Problemas con los datos

Carm Taglienti, ingeniero distinguido de Insight, también se topó recientemente con un proyecto en el que unas expectativas poco realistas estuvieron a punto de hundir un proyecto de IA. "El fracaso de un proyecto de IA se debe en un 99% a las expectativas", afirma. "No se trata del fracaso de la tecnología, sino de las expectativas de lo que la gente cree que la tecnología puede hacer".

En este caso concreto, un cliente, una gran empresa estadounidense de fabricación de chips, quería utilizar la IA para solucionar sus problemas de gestión de la cadena de suministro. La empresa no sólo esperaba que la IA hiciera cosas que ella no podía hacer, sino que esperaba que funcionara a la primera. Pero cada vez que un proyecto pasa de una fase a otra, hay muchas posibilidades de que el primer enfoque no funcione, por lo que hay que hacer ajustes. Cada uno de esos puntos es una oportunidad para que una empresa abandone un proyecto de IA, afirma. Pero en este caso concreto, también había un problema técnico: la falta de buenos datos.

En el pasado, cuando un chip o componente concreto no estaba disponible, la empresa utilizaba un proceso manual y laborioso para encontrar un sustituto. "Pero esto no era lo suficientemente ágil para su negocio", confiesa. Parte de este proceso podía sustituirse por árboles de decisión y sistemas expertos, pero eran frágiles. Si algo cambiaba en el sector, había que actualizar todo el árbol de decisión. El uso de la IA, sin embargo, requería una gran cantidad de datos limpios. Pero el tipo de búsqueda exhaustiva de componentes que servirían de datos de entrenamiento era poco frecuente.

"No siempre se hace un análisis de la competencia", dice Taglienti, y el fabricante de chips se limitaba a una lista de proveedores preferentes y a los principales suplentes, y rara vez hacía revisiones a gran escala de los proveedores.

El otro problema era que, cuando se disponía de los datos, estaban en un formato difícil de procesar. "Si eres fabricante, creas especificaciones", dice. "Pero no estaban en un formato que pudieras ingerir rápidamente".

Luego están las cuestiones más matizadas, como dónde tenía el fabricante sus instalaciones y su reputación de puntualidad en las entregas.

"Si se trata de una empresa que cotiza en bolsa, tengo que hacer cosas como rastrear la web y mirar su 10K", dice Taglienti. "Hay mucho más que decir que he encontrado una pieza que funciona". Este tipo de análisis era posible automatizarlo incluso antes de que apareciera la IA generativa, dice, pero es un proceso mucho más complejo de lo que la gente podría suponer al principio. Y esto no es inusual. La falta de datos utilizables lleva mucho tiempo siendo un problema para los proyectos de IA y ML. También en la encuesta de la AIIA, los problemas de datos eran un reto importante para el 84% de las empresas que desplegaban IA generativa. Greenstein, de PwC, por ejemplo, trabajó recientemente con una empresa de consumo que quería lanzar un proyecto para automatizar el procesamiento de back-office.

"Tenían sus servicios de IA configurados", dice. "Su nube estaba preparada. Su gente estaba preparada. Pero no previeron lo difícil que era acceder a los datos." Una fuente de datos requería licencias API que la empresa no tenía, por lo que tendría que pasar por un proceso de adquisición para conseguirlas, lo que puede llevar meses.

"En otro sistema, los controles de acceso estaban a un nivel muy alto por organización", dice. "En un tercer sistema, los controles se basaban en el usuario. Para emplear la IA generativa tenían que conciliarlos todos, pero no podían hacerlo rápidamente". A largo plazo, la empresa obtendría todos los datos que necesita, dice, pero habrían perdido meses.

"En este caso, pivotaron hacia otros casos de uso", dice Greenstein. "Pero la dirección perdió tiempo y entusiasmo. Todas las personas que estaban entusiasmadas con las posibles mejoras de productividad se sintieron frustradas, así como los equipos de TI que no habían considerado el tema de los datos, lo que llevó a que el liderazgo perdiera la confianza en ellos".

Dice que las empresas deben priorizar los posibles casos de uso de la IA primero por el impacto, segundo por el riesgo y tercero por los datos: "¿Disponemos de los datos para este caso de uso? ¿Tenemos permiso para utilizarlos? ¿Son accesibles? ¿Están lo suficientemente limpios para ser útiles?", se pregunta. "Si no superamos este paso, no empezamos. Buscamos otro caso de uso".