Aplicar la IA generativa a las operaciones de TI es un desafío para el CIO

Hay muy pocas empresas que no estén ya trabajando en el despliegue o, al menos, exploración de la IA generativa. En noviembre de 2022 el uso de esta tecnología era prácticamente nulo; entonces las únicas herramientas disponibles eran generadores de imágenes o de texto incipiente. Pero en mayo de 2023, según una encuesta de IDC, el 65% de las empresas ya utilizaba IA generativa y en septiembre la cifra ascendía al 71%, con otro 22% de compañías que reconocían que estaban planeando implantarla en los próximos 12 meses.

A pesar de su incipiencia, la IA generativa se ha convertido en una línea de acción y aplicación aceptada, y los casos de uso más comunes incluyen la automatización de procesos de TI, la seguridad y la detección de amenazas, la inteligencia de la cadena de suministro y la automatización del servicio al cliente y los procesos de red, según un informe publicado por IBM en enero. Además, si añadimos herramientas de IA generativa basada en la nube como ChatGPT, el porcentaje de empresas que utilizan esta tecnología de una forma u otra se convierte en casi universal. Y esto no incluye la que se está integrando ahora en plataformas como Office 365, Google Docs y Salesforce.

Sin embargo, pueden surgir problemas en las implementaciones más complejas, como es el caso de modelos más precisos, bases de datos vectoriales para proporcionar contexto e información actualizada a los sistemas de IA y las API para integrar la IA generativa en los flujos de trabajo. Construir plataformas de IA generativa para el mundo empresarial es como disparar a un blanco en movimiento, y los avances de esta tecnología se desarrollan a un ritmo mucho más rápido del que pueden adaptarse.

"Para las organizaciones es un reto hacer operativa la IA generativa", afirma Anand Rao, profesor de IA en la Universidad Carnegie Mellon. "Hay diferentes herramientas, modelos y bases de datos vectoriales en evolución, y aparecen nuevos artículos, lo que supone un gran reto para una empresa. Las compañías necesitan estabilidad y saber qué tienen que hacer los próximos tres meses; no cambiar todo cada dos semanas".

Debido a la complejidad de este reto, más el coste que implica y la experiencia necesaria, sólo el 10% de las organizaciones fueron capaces de poner en producción modelos de IA generativa el año pasado, según los resultados publicados por Cnvrg.io de Intel en diciembre.

Pero eso no significa que las empresas deban esperar a que las cosas se calmen. Para ayudar a recuperar algo de iniciativa, hay buenas prácticas que pueden aplicarse ahora para empezar a crear plataformas de IA generativa y que permitirán a las empresas adaptarse rápidamente a medida que cambia la tecnología, incluida la creación de infraestructuras de datos y API sólidas y modernas, la creación de una capa de abstracción de IA entre sus aplicaciones empresariales y los modelos de IA que utilizan, y el establecimiento de políticas de seguridad y costes, barreras de uso y marcos éticos para guiar la forma en que despliegan la IA generativa.

 

Infraestructura de datos y API

"Los datos siguen siendo importantes", afirma Bradley Shimmin, analista jefe de plataformas de IA, análisis y gestión de datos de la consultora y analista independiente Omdia, con sede en Londres. Sin embargo, según la encuesta de IBM, la complejidad de los datos es el segundo mayor obstáculo para su adopción, después de la falta de experiencia, mientras que la encuesta de Cnvrg.io señala que la infraestructura es el mayor reto para las empresas que desean producir grandes modelos lingüísticos (LLM).

Otro desafío es que las empresas no pueden seguir el ritmo de las demandas del negocio debido a una capacidad inadecuada de gestión de datos. Un problema primordial es que la mayoría de las organizaciones no tienen un plan, afirma Nayur Khan, socio de McKinsey & Company. "Intentan hacer algo y ver qué cuaja". Pero con los modelos de IA genéricos que se entregan como servicio, en forma de, por ejemplo, API OpenAI, hay casos de uso en los que las empresas pueden saltar directamente a la implementación de la IA como servicio.

"Ahora se convierte en un servicio al que puedo llamar y no tengo que preocuparme de la formación", dice Khan. "Eso está bien, pero los modelos lingüísticos son geniales para el lenguaje. No lo son para el conocimiento". El conocimiento está dentro de las organizaciones, dice.

Una empresa de venta al por menor, por ejemplo, podría tener una visión de 360 grados de los clientes, lo que se introduce en motores de análisis, aprendizaje automático y otras IA tradicionales para calcular cuál es la próxima mejor acción a realizar. A continuación, la IA generativa podría utilizarse para personalizar los mensajes a esos clientes. De este modo, al utilizar los datos de la empresa, un modelo lingüístico de uso general se convierte en una herramienta empresarial útil. Y todo el mundo está intentando crear este tipo de aplicaciones.

"Lo veo en todos los sectores", dice Khan, "desde la alta tecnología y la banca hasta la agricultura y los seguros". Esto obliga a las empresas a moverse más rápido en el frente digital, añade, y a arreglar todas las cosas que dijeron que iban a realizar pero que nunca llegaron a hacer.

Y las empresas no sólo tienen que poner en marcha todos los elementos básicos para crear análisis y MLOps, sino que también necesitan crear nuevas estructuras de datos y canalizaciones específicas para la IA generativa.

Cuando una empresa quiere afinar un modelo o crear uno nuevo en un área temática concreta necesita una arquitectura de datos, decisiones críticas sobre qué modelo o tipo de modelo seguir, y mucho más. "La complejidad aumenta rápidamente", afirma Sheldon Monteiro, vicepresidente Ejecutivo de la consultora digital Publicis Sapient. Incluso un proyecto más sencillo, como añadir una fuente de datos externa a un modelo de IA generativa existente, requiere una base de datos vectorial, la elección correcta del modelo y una canalización de calidad industrial.

Pero todo empieza con los datos, y es un área en la que muchas empresas se quedan rezagadas. Sin una estrategia única y holística, cada departamento creará sus propias soluciones individuales. "Si haces eso, acabarás cometiendo muchos más errores y reaprendiendo las mismas cosas una y otra vez", dice Monteiro. "Lo que tienes que hacer como CIO es adoptar un enfoque de arquitectura e invertir en una plataforma común".

Luego está el trabajo duro de recopilar y preparar los datos. Los controles de calidad y la validación son fundamentales para crear una base sólida, dice, para no introducir sesgos, que perjudican a los clientes y al negocio. Así, si un conjunto de datos concreto excluye las transacciones de mayor valor porque todas se gestionan manualmente, el modelo resultante podría tener un sesgo hacia las líneas de negocio más pequeñas y menos rentables. El principio de "basura dentro, basura fuera" se aplica a la nueva era de la IA generativa tanto como en periodos tecnológicos anteriores.

Para las empresas que ya han invertido en su infraestructura de datos, esas inversiones seguirán dando sus frutos en el futuro, afirma Monteiro. "Las empresas que han invertido en bases de datos tienen una enorme ventaja en lo que están llevando a cabo con la IA generativa", afirma.

Aun así, estas bases de datos tradicionales diseñadas originalmente para casos de uso de análisis avanzado y aprendizaje automático sólo llegan hasta cierto punto. "Si quieres ir más allá de lo básico, tendrás que comprender algunas de las sutilezas más profundas de la IA generativa", afirma Shimmin, de Omdia. "¿Cuál es la diferencia entre los distintos modelos de incrustación, qué es el chunking, qué es el solapamiento? ¿Cuáles son las distintas metodologías que se pueden utilizar para tokenizar los datos de la forma más eficaz? ¿Quieres una dimensionalidad alta o baja para ahorrar espacio en tu base de datos vectorial? Las herramientas MLOPS que tenemos no están pensadas para eso. Es todo muy complicado y puedes perder mucho tiempo y dinero si no sabes lo que estás haciendo".

Pero los proveedores de plataformas MLOps están dando un paso al frente, afirma. "Empresas como Dataku, DataRobot y Databricks se han renovado para dar soporte a LLMOps o GenAIOps. Todas las piezas están empezando a encajar".

 

Analizar la capa de abstracción

El pasado mes de noviembre, OpenAI, la plataforma de referencia para la IA generativa empresarial, despidió inesperadamente a su consejero delegado, Sam Altman, lo que desencadenó una lucha circense para encontrar un nuevo consejero delegado, el personal amenazó con marcharse y Microsoft se ofreció a acoger a todo el mundo. Durante esos días tumultuosos, muchas empresas que utilizaban los modelos de OpenAI se dieron cuenta, de repente, de que habían puesto todos los huevos en una cesta inestable.  

"Vimos muchas integraciones de OpenAI", dice Dion Hinchcliffe, vicepresidente y analista principal de Constellation Research. "Pero todo el problema de gestión que ocurrió con OpenAI ha hecho que la gente cuestione su exceso de compromiso".

Incluso si una empresa no quiebra, podría quedarse obsoleta rápidamente. A principios del verano pasado, ChatGPT era prácticamente el único jugador. A continuación, Facebook lanzó Llama 2, gratuito para la mayoría de los clientes empresariales, seguido de Claude 2, de Anthropic, que apareció con una ventana contextual de 200.000 tokens (suficiente para que los usuarios corten y peguen el equivalente a un libro de 600 páginas directamente en un prompt), dejando en la cuneta a los 32.000 tokens de GPT-4. Sin embargo, para no quedarse atrás, Google anunció en febrero que su nuevo modelo Gemini 1.5 puede manejar hasta 10 millones de tokens. Con ello, y una mayor velocidad, eficacia y precisión en vídeo, audio y copia escrita, prácticamente no había límites.

El número de modelos gratuitos y de código abierto sigue proliferando, así como el de modelos específicos para cada sector, preentrenados en, por ejemplo, finanzas, medicina o ciencia de los materiales. "Parece que hay anuncios nuevos cada semana", dice Monteiro, de Publicis Sapient.

Ahí es donde entra en juego un "jardín de modelos", afirma. Las empresas que sean disciplinadas a la hora de seleccionar y gestionar sus modelos, y que diseñen sus sistemas de modo que éstos puedan intercambiarse fácilmente, podrán hacer frente a la volatilidad de este sector.

Pero esta capa de abstracción tiene que hacer algo más que permitir a una empresa actualizar sus modelos o elegir el mejor para cada caso de uso concreto. También puede utilizarse para la observabilidad, la medición y los controles de acceso basados en roles, afirma Subha Tatavarti, CTO de la empresa de tecnología y consultoría Wipro Technologies. Esta, con 245.000 empleados, no tiene más remedio que adoptar la IA generativa, afirma, porque sus clientes esperan que lo haga. "Somos fundamentalmente una empresa tecnológica", recuerda. "Tenemos que hacerlo".

 

Ampliación de perspectivas

La capacidad de observación permite a una empresa ver adónde van los datos, qué modelos y mensajes se utilizan y cuánto tardan en llegar las respuestas. También puede incluir un mecanismo para editar u ocultar datos confidenciales.

Una vez que una empresa sabe lo que está pasando con sus modelos, puede implantar controles de medición (por ejemplo, límites a la utilización de un modelo concreto) para evitar picos inesperados en los costes. "Ahora mismo, la medición funciona con el modelo de consumo simbólico", afirma Tatavarti. "Y puede salir muy caro".

Además, en el caso de las preguntas frecuentes, las empresas pueden almacenar en caché las respuestas para ahorrar tiempo y dinero. Y para algunos casos de uso, un LLM comercial caro y de gama alta podría no ser necesario, ya que un modelo de código abierto alojado localmente podría ser suficiente. "Todo esto nos fascina y mi equipo está trabajando en ello", añade. "Es imprescindible que lo hagamos".

Y en lo que respecta a los controles de acceso, el principio fundamental debería ser no exponer nunca las API nativas a la organización, sino contar con una capa intermedia que compruebe los permisos y se encargue de otras tareas de seguridad y gestión.

Si, por ejemplo, una plataforma de RR. HH. utiliza IA generativa para responder preguntas basándose en una base de datos vectorial de políticas y otra información, un empleado debería poder hacer preguntas sobre su propio salario, dice Rajat Gupta, director digital de Xebia, una consultora de TI. Pero no debería poder hacer preguntas sobre los de otros empleados, a menos que sea un directivo o trabaje en RR. HH.

Dado lo rápido que se está adoptando la IA generativa en las empresas en todas las unidades de negocio y funciones, sería una pesadilla crear estos controles desde cero para cada caso de uso. "El trabajo sería enorme", afirma. "Sería un caos".

Gupta está de acuerdo en que las empresas que necesitan construir este tipo de funcionalidad deberían hacerlo una vez y luego reutilizarla. "Adopten todo lo que necesitan en común (seguridad, supervisión, controles de acceso) y constrúyanlo como parte de una plataforma de nivel empresarial", recomienda.

Lo denomina pasarela de IA, y un ejemplo es la pasarela de IA de código abierto MLflow AI Gateway. Lanzado el pasado mes de mayo, ya ha quedado obsoleto en favor de MLflow Deployments Server. Otra herramienta que utiliza su empresa es Arthur Shield, de Arthur AI, un cortafuegos para LLM. Filtra los ataques de inyección de mensajes, el lenguaje insultante y otros mensajes maliciosos o peligrosos.

Y luego está Ragas, que ayuda a cotejar una respuesta genérica de IA con la información real de una base de datos vectorial para mejorar la precisión y reducir las alucinaciones. "Hay muchos proyectos de este tipo, tanto de código abierto como comerciales", cuenta.

Las plataformas de IA de terceros, las startups y los consultores también se están apresurando a llenar los vacíos. "La forma en que está evolucionando el ecosistema de la IA es sorprendente", afirma Gupta. "Pensábamos que el ritmo se ralentizaría, pero no es así. Está aumentando rápidamente".

Así que para llegar al mercado más rápido, Xebia está entrelazando estos diferentes proyectos, dice, pero no ayuda que las empresas de IA sigan sacando cosas nuevas como agentes autónomos impulsados por IA, por ejemplo. "Si utilizas agentes autónomos, ¿cómo puedes medir la eficacia de tu proyecto global de agentes? "Es un reto supervisar y controlar realmente".

En la actualidad, Xebia pone trabas a los agentes, restringiendo su autonomía y permitiéndoles realizar sólo tareas muy limitadas y precisas. "Es la única forma de hacerlo ahora mismo", añade. "Limitar las habilidades a las que tienen acceso y tener un controlador central para que no hablen entre ellos. Lo controlamos hasta que tengamos una comprensión más evolucionada y bucles de retroalimentación. Es un campo bastante nuevo, así que será interesante ver cómo evoluciona".

 

Construir barreras

Según la encuesta de Cnvrg.io, el cumplimiento de la normativa y la privacidad son las principales preocupaciones de las empresas que quieren implantar la IA generativa, por delante de la fiabilidad, el coste y la falta de conocimientos técnicos.

Del mismo modo, en la encuesta de IBM, el 57% de los encuestados citó la privacidad de los datos y el 43% la transparencia como obstáculos para las empresas que no aplican esta tecnología. Además, el 85% de todos los encuestados afirmaron que sería más probable que los consumidores eligieran empresas con prácticas de IA transparentes y éticas, pero menos de la mitad están trabajando para reducir el sesgo, rastrear la procedencia de los datos, trabajar para que la IA sea explicable o desarrollar políticas éticas en torno a esta tecnología.

Para los tecnólogos es fácil centrarse en las soluciones técnicas. La IA ética va más allá de la tecnología e incluye perspectivas legales y de cumplimiento, así como cuestiones de valores e identidad corporativos. Por tanto, se trata de un área en la que los directores de información (CIO) o los directores de IA pueden dar un paso al frente y ayudar a guiar a las grandes organizaciones.

Y va incluso más allá. La creación de infraestructuras de datos, controles de seguridad y gestión y guías éticas favorables a la IA generativa puede ser el primer paso en el camino hacia la plena operatividad de los LLM. Según Matt Barrington, responsable de tecnologías emergentes de EY Americas, la IA generativa exigirá que los directores de sistemas de información se replanteen la tecnología. Antes de esta tendencia, el software era determinista, afirma. "Se diseñaba, construía, probaba e iteraba hasta que el software se comportaba como se esperaba", afirma. "Si no lo hacía, se trataba de un error y había que volver atrás para corregirlo. Y si funcionaba, lo ponías en producción".

Todas las grandes pilas de computación, independientemente del patrón de software, eran deterministas. Ahora, aparte de la computación cuántica, la IA generativa es el primer patrón de software no determinista ampliamente conocido, afirma. "El error es en realidad la característica. El hecho de que pueda generar cosas por sí sola es el principal argumento de venta".

Eso no significa que haya que desechar todo lo antiguo. MLOps y Pytorch siguen siendo importantes, dice, como lo es saber cuándo hacer un modelo de incrustación RAG, un DAG o ir a multimodal, así como obtener datos listos para la IA generativa. "Todo eso seguirá siendo importante", afirma. "Pero surgirá una nueva pila de plataformas no deterministas que se situará junto a la pila tradicional, con toda una nueva área de ingeniería de infraestructuras y operaciones que surgirá para respaldar esas capacidades". 

Esto transformará la forma en que operan las empresas a nivel básico, y avanzar en esta dirección para convertirse en una compañía verdaderamente impulsada por la IA será un cambio rápido, comenta. "Será muy interesante ver cómo surge".