Cómo lanzar y escalar un proyecto piloto de IA exitoso

En la Oficina de Patentes y Marcas de EE. UU. en Alexandria, Virginia, los proyectos de inteligencia artificial (IA) aceleran el proceso de clasificación de patentes, ayudan a detectar fraudes y amplían las búsquedas de patentes similares por parte de los examinadores, lo que les permite buscar en más documentos en la misma cantidad de tiempo. Cada proyecto comenzó con un proyecto piloto. “Las pruebas de concepto (PoC) son un enfoque clave que utilizamos para aprender sobre nuevas tecnologías, probar suposiciones de valor comercial, reducir el riesgo de entrega de proyectos a escala e informar decisiones de implementación de producción completa”, dice el CIO de la USPTO, Jamie Holcombe. Una vez probado el piloto, dice, el siguiente paso es determinar si puede escalar. A partir de ahí, se trata de la escala real y luego la producción completa.

El proveedor indio de comercio electrónico Flipkart ha seguido un proceso similar antes de implementar proyectos que permiten la búsqueda visual y de texto a través de millones de artículos para clientes que hablan 11 idiomas diferentes. Ahora está probando bots conversacionales que usan aprendizaje profundo para construir modelos que incorporan detección de intenciones del usuario, traducción de idiomas y funciones de voz a texto y de texto a voz. Y tanto Flipkart como la USPTO están expandiendo rápidamente la aplicación de la visión por computadora, el procesamiento del lenguaje natural, el aprendizaje automático (ML) y otras tecnologías de inteligencia artificial a otras partes del negocio.

Pero a pesar de todo el entusiasmo en torno a AI y ML, muchos proyectos piloto y PoC iniciales no logran pasar a la producción completa. Los proyectos exitosos deben ser parte de un plan estratégico, obtener apoyo ejecutivo, tener acceso a los datos correctos, contar con los equipos correctos, contar con las métricas e hitos técnicos y comerciales correctos, pasar por muchas iteraciones y fallar rápidamente. “Este proceso puede tardar uno o dos años en llegar a un alto nivel de calidad. Ese es el nivel de paciencia que necesita”, dice Ganapathy Krishnan, vicepresidente de ingeniería de Flipkart.

 

Prepare el escenario para el éxito

Las empresas se están moviendo rápidamente para poner en escena proyectos piloto de IA exitosos, pasarlos a producción y producir resultados. “Hemos visto proyectos de IA entrar en la corriente principal”, dice Rowan Curran, analista de IA/ML y ciencia de datos en Forrester. “El 57% de las empresas están implementando o ampliando sus proyectos de IA y entre el 70% y el 75% ven un valor claro en esos proyectos”. Además, según una encuesta reciente de EY, el 53% de los CIO y los líderes de TI dijeron que los datos y el análisis, en los que encaja la IA, serán un área principal de inversión en los próximos dos años.

Pero muchos de esos proyectos piloto están condenados al fracaso antes de comenzar por varias razones, comenzando por la falta de apoyo de arriba hacia abajo. “Se necesita un apoyo ejecutivo y se debe contar con la financiación adecuada”, dice Holcombe de la USPTO.

Iniciar proyectos desde el medio de la organización o desde abajo reduce las posibilidades de éxito, dicen los ejecutivos de TI. Los proyectos más exitosos suceden cuando el CIO tiene apoyo ejecutivo con el compromiso de financiar el proyecto e integra la IA en la estrategia general de transformación digital de la organización.

Establecer expectativas claras también es clave, dice Krishnan de Flipkart. “No debe tener la expectativa de que implementará esta cosa y transformará radicalmente el negocio. Es un proceso largo que lleva tiempo”.

 

Los proyectos más exitosos suceden cuando el CIO tiene apoyo ejecutivo con el compromiso de financiar el proyecto e integra la IA en la estrategia general de transformación digital de la organización

 

Una PoC también puede ser un ejercicio para desarrollar capacidades dentro de la organización. Ese es un enfoque que ha adoptado Eli Lilly. “A partir de las PoC, experimentamos y aprendemos las dimensiones de escala para la entrega técnica y de proyectos”, dice Tim Coleman, vicepresidente y oficial de información para soluciones digitales y de información en la firma farmacéutica. El equipo está aplicando capacidades de procesamiento de lenguaje natural para el descubrimiento, la generación y la traducción de lenguaje natural en áreas del negocio, que van desde la creación de contenido clínico y científico hasta el desarrollo de productos, búsqueda avanzada y funciones administrativas generales.

Pero no confunda esos ejercicios de desarrollo de capacidades con proyectos piloto que necesitan generar un amplio valor de transformación, advierte Dan Diasio, líder global de consultoría de IA en EY. “Piense en desarrollar su capacidad para que pueda hacer esto, pero cuando llegue el momento de generar el tipo de impacto necesario para competir con los disruptores en el futuro que sea significativo para los inversores, entonces debe adoptar un enfoque de arriba hacia abajo”.

Así es como Atlantic Health System aborda los proyectos de IA y ML. El proveedor de atención médica ha escalado pilotos exitosos en la evaluación de imágenes para ayudar a los radiólogos y en la automatización de autorización previa, que toma un pedido de imágenes y lo mueve a través de varios pasos del proceso hasta la programación. “La IA debe ser parte de una transformación digital, no una iniciativa aislada”, dice Sunil Dadlani, vicepresidente sénior y CIO. "Tenemos una estructura de gobierno formalizada y planes de inversión sobre cómo abordar la IA y el ML". Y en Eli Lilly, las propuestas de proyectos deben pasar por tres criterios antes de seguir adelante: ofrecer valor comercial en términos de ROI, tener una probabilidad aceptable de éxito y el resultado debe alinearse con la estrategia y las prioridades comerciales, dice Coleman. Por ejemplo, el impulsor principal de Mosaic PV, uno de los primeros proyectos de IA de la empresa, centrado en la notificación de reacciones adversas a medicamentos, fue "aumentar la productividad y reducir el costo de procesamiento de eventos adversos, manteniendo un alto nivel de calidad y cumplimiento"..

 

¿Cuál es la pregunta?

Un piloto exitoso comienza definiendo el problema comercial. “No termine con una respuesta en busca de una pregunta”, dice Sanjay Srivastava, estratega digital jefe de la firma global de servicios profesionales Genpact, que asesora a grandes empresas sobre proyectos basados en IA. “Los proyectos centrados en los resultados comerciales que comienzan con una pregunta en lugar de una respuesta generalmente funcionan bien”, dice.

Luego, decida si la IA es la mejor respuesta. "¿El proyecto se ajusta a ese listón de que es lo suficientemente complejo como para que valga la pena hacerlo?" dice Krishnan. “Si puede hacerlo con un enfoque simple basado en reglas, hágalo. Pero cuando tiene cientos de miles o tal vez millones de reglas, no es factible utilizar un enfoque basado en software”.

 

¿Tienes las métricas y los datos correctos?

De vuelta en la USPTO, los proyectos de IA requieren dos conjuntos de métricas: las técnicas en términos de cómo funciona el modelo y las métricas que cuantifican el valor comercial de su proyecto de IA.

Luego, Atlantic Health System garantiza el éxito mediante la implementación de un piloto con KPI comerciales claros para un pequeño segmento del negocio. Su sistema de evaluación de imágenes, por ejemplo, comenzó con una pequeña implementación piloto en el departamento de neurología que rápidamente se amplió a cardiología y otras áreas. En ocho semanas, el equipo creó un piloto exitoso para neurología, demostró resultados y obtuvo la aceptación de cardiología y todas sus otras líneas de servicio.

Y al igual que la USPTO, Flipkart primero se enfoca en las métricas del modelo técnico, luego ejecuta pruebas A/B para averiguar qué impacto tendrá en el negocio. Actualmente, el equipo está trabajando en el desarrollo y prueba de un bot conversacional asistido por IA. Comenzaron con la métrica de "capacidad de respuesta", o cómo de bueno es el bot para responder preguntas. Ahora están ejecutando pruebas A/B para determinar si eso tendrá un impacto medible en el negocio.

Los proyectos de IA dependen en gran medida de los grandes datos, y necesita la velocidad, el volumen y la variedad adecuados, dice Dadlani. "Si la calidad de sus datos no es excelente, no verá los resultados [esperados]".

Srivastava de Genpact está de acuerdo: “La ingesta de datos, la armonización, la ingeniería y la gobernanza son el 90 % del trabajo que se dedica a construir un sistema de IA. Si te enfocas en el 10% y dejas ir el 90%, estás muerto desde el principio. Así que construya esa base de datos”.

También debe poder brindar retroalimentación continua entre las pruebas A/B, obteniendo datos en tiempo real para que pueda ajustar el modelo. Pero es posible que su organización no esté configurada para proporcionar los datos de forma rápida y automatizada. Por ejemplo, si está trabajando en un modelo de pronóstico y el equipo no captura automáticamente información sobre lo que compran los clientes, no puede cerrar ese ciclo. También es esencial continuar con el ciclo de comentarios después de la implementación completa, ya que las preferencias de los clientes pueden cambiar con el tiempo. Si su modelo no ha tenido en cuenta eso, no obtendrá los resultados que espera, un resultado conocido como "desviación del modelo".

 

¿Escalará?

Si bien las expectativas preliminares pueden ser que un piloto podrá escalar a un despliegue completo, la prueba está en el piloto. Entonces, ¿tiene los recursos adecuados para escalar desde el piloto hasta la implementación completa? “Para escalar, es posible que deba optimizar el código, incorporar nuevas tecnologías, llevar su IA o ML al límite en lugar de tener un repositorio de datos, necesitar emplear nuevos equipos y configurar una fábrica de etiquetado de datos”, dice Diasio de EY. “Se requiere todo un conjunto de habilidades de ingeniería”.

 

Ejecutar el piloto

Flipkart aprovecha la nube y las capacidades MLOps asociadas para sus pilotos. "Para comenzar", dice Krishnan, "los pilotos necesitan mucho soporte de ingeniería, deben iterar con frecuencia y fallar rápido, y para hacerlo necesitan una infraestructura MLOps, que ofrecen los grandes proveedores de servicios en la nube". Recomienda que el equipo piloto informe con actualizaciones de progreso periódicas sobre qué tan cerca están de alcanzar los objetivos y asegurarse de que las expectativas se establezcan correctamente durante el piloto.

“Si mueve la aguja un 3% durante su prueba piloto inicial, lo está haciendo bien”, agrega. Y no espere ver ganancias de inmediato. Es difícil para un piloto complejo ver un impacto en tres meses. Implemente, encuentre las brechas, implemente nuevamente y siga avanzando gradualmente.

Una falla en el camino no significa necesariamente el final de un piloto. El sistema de clasificación aumentada de la USPTO fracasó inicialmente. “Comenzamos con un conjunto de datos que no se seleccionó adecuadamente”, dice Holcombe. Pero el equipo pudo reajustarse y continuar con el piloto hasta que el sistema funcionó sustancialmente mejor que el proceso manual. “Si fallas, no te rindas. Averigua por qué fallaste”, dice.

 

La evaluación final

Estos CIO, ejecutivos de TI y consultores utilizaron una variedad de métodos para evaluar sus proyectos piloto. En Atlantic Health System, una vez que se completa el piloto inicial, es hora de evaluar los resultados y decidir si extender el piloto, pasar a la producción o reducir sus pérdidas. “Un piloto debe entregar la medida percibida de éxito”, dice Dadlani. “Solo cuando vemos un resultado prometedor, decimos: '¿Qué se necesitaría para escalar esto, cuánto tiempo tomará, cuál será el tiempo para valorar, qué inversiones se necesitarán para los recursos de infraestructura tecnológica y cómo lo ponemos en producción”.

Coleman de Eli Lilly dice que los pilotos fallan por varias razones: habilidades de inteligencia artificial insuficientes, datos etiquetados insuficientes, visión del proyecto o propuesta de valor poco clara, falta de una mentalidad ágil y rápida, y falta de patrocinio ejecutivo y gestión del cambio organizacional para impulsar la adopción comercial. .

Asegúrese de informar las métricas que son importantes para el resultado final. Por ejemplo, si se proyecta que un algoritmo de fijación de precios ahorre 50 millones de dólares, puede haber una brecha entre lo que se ha realizado hasta la fecha y el potencial esperado, dice Diasio. “Cuando habla de proyectos de gran valor, los pilotos a menudo carecen de la credibilidad para generar tanto valor, así que haga el trabajo duro para rastrear el valor obtenido en la medida de lo posible”, dice.

Este es también el momento de reevaluar si el piloto escalará. “Muchos PoC son muy exitosos técnicamente, pero no económicamente cuando se escalan”, dice Srivastava de Genpact. Otras consideraciones incluyen cuánto tiempo llevará escalar y qué recursos se requerirán.

Pero esa imagen puede cambiar cuando se mira a largo plazo. “Incluso en situaciones en las que la escala puede no ser alcanzable a corto plazo, un alcance de proyecto más pequeño con una alta probabilidad de éxito en la entrega aún puede generar valor comercial a corto plazo mientras las capacidades y habilidades tecnológicas maduran para abordar las barreras a la escala”, dice Coleman.

Luego está la infraestructura. Asegúrese de verificar todas sus suposiciones al escalar, incluidas las configuraciones, el ancho de banda de la red, el almacenamiento y la computación. “Necesitará mucho soporte de ingeniería para escalar, y aquí es donde la infraestructura MLOps basada en la nube puede ayudar”, dice Krishnan.

Finalmente, asegúrese de poder integrar la IA en sus flujos de trabajo ascendentes y descendentes. Por ejemplo, predecir fallas no es útil si no lo ha integrado en su sistema de cadena de suministro ascendente para garantizar que las piezas de repuesto estén allí cuando y donde las necesite. Del mismo modo, esa información debe usarse aguas abajo para ajustar los programas de mantenimiento.

 

Comience lento, falle rápido, sea paciente

La clave para un piloto de IA/ML exitoso comienza con la planificación inicial. Obtenga la aceptación y el apoyo financiero de los altos ejecutivos antes de seguir adelante. “Tiene que tener esa cobertura superior”, dice Holcombe, y asegurarse de que todas las partes interesadas participen desde el principio.

Se debe emprender un proyecto piloto de AI/ML como parte de una estrategia general de transformación digital, con un caso de uso comercial convincente, dice Dadlani. Lograr los resultados de las expectativas requiere paciencia. Cree métricas de impacto técnico y comercial que definan el éxito y conozca sus capacidades a medida que se asegura de contar con los recursos adecuados. Construya el equipo correcto y prepárese para fallar rápidamente. Por lo tanto, tener la combinación correcta de habilidades y experiencia en el dominio en el equipo es clave para un proyecto piloto de IA exitoso. “Se necesita un equipo multifuncional, incluso en la etapa piloto”, dice. “Nos aseguramos de que todos estén involucrados [en el piloto] porque esto se convierte en parte del flujo de trabajo clínico. Tienen que estar involucrados desde el principio”.

Las organizaciones que no tienen todo ese talento en el personal deberían considerar la creación de un equipo híbrido con socios externos, mientras que las pequeñas y medianas empresas probablemente necesitarán subcontratar más roles, si pueden encontrar el talento. “Si no cuenta con los ingenieros de IA/ML y los ingenieros de datos adecuados, es muy difícil subcontratar eso”, dice Srivastava. Además, necesita personas en su equipo que entiendan tanto ML como su industria, como la fabricación. Esa no es una combinación de habilidades que sea fácil de encontrar, por lo que el entrenamiento cruzado es fundamental.

En última instancia, considere un proyecto específico que pueda producir resultados comerciales reales, luego escale a otras áreas del negocio, como lo hizo Atlantic Health System con su sistema de evaluación de imágenes basado en ML.

Una vez que un piloto pasa a producción completa, aproveche lo que ha logrado. Mantenga el negocio actualizado sobre el progreso del piloto, muestre las capacidades del proyecto una vez que esté completamente implementado y cree plataformas que otras unidades comerciales puedan aprovechar para sus propias aplicaciones. “El ritmo de cambio actual es el más lento que jamás habrá”, dice Srivastava. “Las corporaciones que quieren generar disrupción y crecer tienen que cambiar la forma en que generan valor, y no pueden hacer esto sin IA. Si no inviertes en ello, tendrás una mano atada a la espalda”.