¿Debería construir o comprar IA generativa?

Ya se trate de texto, imágenes, vídeo o, más probablemente, una combinación de múltiples modelos y servicios, aprovechar la inteligencia artificial (IA) generativa es una cuestión de "cuándo, no si" para las organizaciones. Desde el lanzamiento de ChatGPT el pasado noviembre, el interés por la IA generativa se ha disparado. Ya se encuentra entre las 20 aplicaciones SaaS de TI en la sombra más utilizadas por usuarios empresariales y desarrolladores, según Productiv. Sin embargo, muchas organizaciones están limitando el uso de herramientas públicas mientras establecen políticas para obtener y utilizar modelos de IA generativa. Los CIO quieren sacar provecho de esto, pero en sus propios términos y con sus propios datos.

Como suele ocurrir con las nuevas tecnologías, la cuestión es si construir o comprar. En el caso de la IA generativa, esto se complica por las numerosas opciones para refinar y personalizar los servicios que se pueden comprar, y el trabajo necesario para convertir un sistema comprado o construido en una parte útil, fiable y responsable del flujo de trabajo de su organización. Las organizaciones no quieren quedarse rezagadas con respecto a la competencia, pero también quieren evitar situaciones embarazosas, como acudir a un tribunal y descubrir que el precedente jurídico citado está compuesto por un gran modelo de lenguaje (LLM) propenso a generar una respuesta plausible en lugar de real.

 

De adoptar a crear

En lugar de hacer una distinción rígida entre construir y comprar una tecnología tan compleja, Eric Lamarre, socio principal de McKinsey Digital en Norteamérica, sugiere pensar en términos de tomar, dar forma y, en muy pocos casos, crear modelos de IA generativa.

"Como 'tomador', consumes IA generativa a través de una API, como ChatGPT, o a través de otra aplicación, como GitHub Copilot, para acelerar el software cuando codificas", explica. Es posible que las aplicaciones terminadas que incluyen IA generativa no ofrezcan mucha diferenciación competitiva, y las respuestas que produzcan no siempre sean perfectas, pero conviene adoptarlas para evitar desventajas competitivas, sobre todo porque a menudo llegan como nuevas funciones en aplicaciones que el personal ya sabe utilizar. "Todas las empresas lo harán", añade. "En el modelo shaper, estás aprovechando modelos fundacionales ya existentes, sacados de la estantería, pero volviéndolos a entrenar con tus propios datos". Así se reduce el problema de la "alucinación" y se obtienen resultados más precisos y pertinentes.

"Las aplicaciones de los centros de contacto son muy específicas del tipo de productos que fabrica la empresa, el tipo de servicios que ofrece y el tipo de problemas que han ido surgiendo", afirma. Un LLM general no estará calibrado para eso, pero se puede recalibrar -un proceso conocido como ajuste fino- para sus propios datos. El ajuste fino se aplica tanto a los LLM alojados en la nube como a los modelos LLM de código abierto que uno mismo ejecuta, por lo que este nivel de "modelado" no le compromete con un único enfoque.

McKinsey intentó acelerar la redacción de evaluaciones introduciendo transcripciones de entrevistas de evaluación en un LLM. Pero, según Lamarre, si no se afinaba ni se basaba en los datos de la organización, era un completo fracaso. "El LLM no tenía ningún contexto sobre las diferentes funciones, el tipo de trabajo que hacemos o cómo evaluamos a las personas", afirma.

Los modelos de IA generativa como ChatGPT y GPT4 con un modelo de complemento permiten aumentar el LLM conectándolo a API que recuperan información en tiempo real o datos empresariales de otros sistemas, añaden otros tipos de cálculo o incluso realizan acciones como abrir un ticket o hacer una reserva. Esto incluye datos curados, como una base de datos jurídica, del mismo modo que se podría añadir un servicio comercial de predicción meteorológica a un modelo de aprendizaje automático (ML) más tradicional para generar rutas o predecir tiempos de envío, en lugar de construir un modelo meteorológico propio desde cero.

El modelado implicará algo más que la simple incorporación de un LLM a las propias aplicaciones y procesos, y las organizaciones necesitarán capacidades más sofisticadas, advierte Lamarre. "Para obtener buenos resultados, hay que crear un entorno de datos que pueda ser consumido por el modelo", afirma. "Hay que tener conocimientos de ingeniería de datos y ser capaz de recalibrar estos modelos, por lo que probablemente se necesiten capacidades de aprendizaje automático en el personal, y hay que ser bueno en ingeniería rápida. Entonces, ¿cómo entreno a mi gente para que haga las preguntas correctas para obtener el mejor resultado?".

Advirtió a los CIO contra el "síndrome del objeto brillante" con la IA generativa, especialmente si aún no han acumulado experiencia en ML. La realidad que se va a imponer en los próximos seis a doce meses es que la IA generativa es tan difícil como la IA "tradicional"", afirma. Pero con esos conocimientos, dar forma a sistemas de IA generativa creados a partir de modelos y servicios existentes dará lugar a aplicaciones con más probabilidades de ofrecer una diferenciación competitiva. Sin embargo, fabricarlas será aún más difícil y, muy probablemente, poco frecuente, predice Lamarre.

 

Participar o seguir perdiendo

Para organizaciones más pequeñas como The Contingent, una organización sin ánimo de lucro que apoya a niños, familias y jóvenes profesionales vulnerables, incluso con 10 de sus 60 empleados trabajando en tecnología e investigación de datos, crear su propia IA generativa parece desalentador, según el director de Informática Peter Kim.

Hay una crisis en el bienestar infantil, con necesidades de apoyo que superan la capacidad, y él está interesado en cómo la IA generativa puede ayudar a perfilar audiencias, evaluar la mensajería en torno al continuo de oportunidades para el voluntariado, emparejar a los solicitantes con las prácticas, e incluso reducir el tiempo que se tarda en contratar nuevo personal.

Esto empezará con el uso de las funciones Copilot que Microsoft está introduciendo en muchos productos, incluido Cloud for Nonprofit. "Sería casi absurdo dejar pasar esto, porque se va a convertir en parte de la norma", afirma. "Si no lo estás utilizando, te vas a quedar atrás". Pero Kim también planea personalizar algunos de los servicios de IA generativa disponibles. Espera que sea especialmente útil para codificar los numerosos conectores que la organización sin ánimo de lucro tiene que crear para los sistemas dispares, a menudo anticuados, que utilizan las agencias gubernamentales y privadas, y para escribir consultas de datos. Además, espera comprender los matices de los datos geográficos y demográficos, y extraer información de los datos históricos y compararla con los datos actuales para identificar patrones y oportunidades que permitan actuar con rapidez.

En lugar de dedicar recursos a reproducir las capacidades de IA generativa ya disponibles, ese tiempo y esfuerzo se dedicará a automatizar los procesos manuales existentes y a explorar nuevas posibilidades. "No estamos imaginando utilizar la IA para hacer las mismas cosas sólo porque así es como siempre lo hemos hecho", afirma. "Con este nuevo superpoder, ¿cómo debemos desarrollar o perfeccionar la refactorización de estos procesos empresariales?".

Comprar en lugar de construir hará que sea más fácil aprovechar las nuevas capacidades a medida que llegan, sugiere. "Creo que uno de los éxitos de las organizaciones a la hora de poder utilizar las herramientas cada vez más disponibles residirá en la capacidad de adaptación y revisión".

En una organización más grande, el uso de LLM disponibles comercialmente que vienen con herramientas de desarrollo e integraciones permitirá a múltiples departamentos experimentar con diferentes enfoques, descubrir dónde la IA generativa puede ser útil y obtener experiencia sobre cómo usarla de manera efectiva. Incluso organizaciones con gran experiencia tecnológica como Airbnb y Deutsche Telekom están optando por perfeccionar LLM como ChatGPT en lugar de crear los suyos propios. La unidad B2B Connect de Panasonic utilizó el servicio Azure OpenAI para crear su asistente ConnectAI para uso interno de sus equipos jurídicos y contables, así como de RR.HH y TI, y el razonamiento fue similar, afirma Hiroki Mukaino, director sénior de TI y Estrategia Digital. "Pensamos que sería técnicamente difícil y costoso para empresas normales como nosotros, que no hemos hecho una gran inversión en IA generativa, crear este tipo de servicios por nuestra cuenta", afirma.

Aumentar la productividad de los empleados es una gran prioridad y, en lugar de dedicar tiempo a crear el LLM, Mukaino quería empezar a incorporarlo en herramientas diseñadas para su flujo de trabajo empresarial. "Al utilizar Azure OpenAI Service, pudimos crear un asistente de IA mucho más rápido que construir una IA internamente, por lo que pudimos dedicar nuestro tiempo a mejorar la usabilidad". También considera que la posibilidad de dar más forma a las opciones de IA generativa con plugins es una buena manera de personalizarla según las necesidades de Panasonic, y califica los plugins de funciones importantes para compensar las deficiencias del ChatGPT actual.

El ajuste fino de los LLM en la nube mediante el uso de incrustaciones vectoriales de sus datos ya está en vista previa privada en Azure Cognitive Search para el servicio Azure OpenAI. "Aunque puedes alimentar tu propio copiloto utilizando cualquier dato interno, lo que mejora inmediatamente la precisión y disminuye la alucinación, cuando añades soporte vectorial, es más eficiente recuperar información precisa rápidamente", afirma el vicepresidente corporativo de la plataforma de IA de Microsoft, John Montgomery. Esto crea un índice vectorial para la fuente de datos -ya sean documentos en un archivo compartido local o una base de datos SQL en la nube- y un punto final de API para consumir en su aplicación.

Panasonic lo está utilizando con datos estructurados y no estructurados para impulsar el asistente ConnectAI. Del mismo modo, el proveedor de servicios profesionales EY está encadenando múltiples fuentes de datos para crear agentes de chat, lo que Montgomery denomina una constelación de modelos, algunos de los cuales podrían ser modelos de código abierto. "La información sobre cuántos pares de gafas cubre el plan de salud de la empresa estaría en un documento no estructurado, y comprobar los pares reclamados y cuánto dinero queda en esa prestación sería una consulta estructurada", dice.

 

Utilizar y proteger los datos

Según Lamarre, las empresas que optan por el enfoque shaper quieren que el entorno de datos esté completamente contenido entre sus cuatro paredes y que el modelo se adapte a sus datos, y no al revés. Mientras que todo lo que se teclea en las versiones de consumo de las herramientas de IA generativa se utiliza para entrenar los modelos que las dirigen (la contrapartida habitual de los servicios gratuitos), Google, Microsoft y OpenAI afirman que los datos comerciales de los clientes no se utilizan para entrenar los modelos.

Por ejemplo, puede ejecutar Azure OpenAI con sus propios datos sin necesidad de realizar ajustes, e incluso si decide realizar ajustes con los datos de su organización, esa personalización, al igual que los datos, permanece dentro de su inquilino de Microsoft y no se aplica de nuevo al modelo básico. "La política de uso de datos y las funciones de filtrado de contenidos fueron factores determinantes en nuestra decisión", afirma Mukaino.

Aunque los aspectos de derechos de autor y propiedad intelectual de la IA generativa siguen sin ser probados por los tribunales, los usuarios de modelos comerciales son propietarios de las entradas y salidas de sus modelos. Los clientes con información especialmente sensible, como los usuarios gubernamentales, pueden incluso desactivar el registro para evitar el más mínimo riesgo de fuga de datos a través de un registro que capture algo sobre una consulta.

Tanto si se compra como si se construye el LLM, las organizaciones tendrán que pensar más en la privacidad, la autorización y la gobernanza de los documentos, así como en la protección de datos. Los equipos jurídicos y de cumplimiento normativo ya tienen que participar en los usos del ML, pero la IA generativa está llevando aún más lejos las áreas jurídica y de cumplimiento normativo de una empresa, insiste Lamarre.

A diferencia del aprendizaje supervisado sobre lotes de datos, un LLM se utilizará a diario sobre nuevos documentos y datos, por lo que hay que asegurarse de que los datos estén disponibles solo para los usuarios que se supone que deben tener acceso. Si se aplican diferentes normativas y modelos de cumplimiento a distintas áreas de su empresa, no querrá que obtengan los mismos resultados.

 

Fuente y verificación

Añadiendo datos internos a una herramienta de IA generativa que Lamarre describe como "un copiloto para consultores", que puede calibrarse para utilizar datos públicos o de McKinsey, se obtuvieron buenas respuestas, pero a la empresa le seguía preocupando que pudieran ser inventadas. "No podemos dedicarnos a equivocarnos", dice. Para evitarlo, cita la referencia interna en la que se basa una respuesta, y el consultor que la utiliza es responsable de comprobar su exactitud.

Pero los empleados ya tienen esa responsabilidad cuando investigan en Internet, señala Karaboutis. "Se necesita curiosidad intelectual y un sano nivel de escepticismo, ya que estos modelos lingüísticos siguen aprendiendo y desarrollándose", afirma. Como ejercicio de aprendizaje para el grupo de alta dirección, su equipo creó un vídeo deepfake de ella con una voz generada leyendo texto generado por IA.

Los datos internos aparentemente fiables también pueden ser erróneos o estar desfasados, advierte. "Cuántas veces hay documentos normativos que no se han retirado de la intranet o no tienen control de versiones, y luego un LLM los encuentra y empieza a decir 'nuestra política de maternidad es esta en el Reino Unido, y es esta en EE.UU'. Tenemos que fijarnos en la atribución, pero también asegurarnos de limpiar nuestros datos", considera.

La adopción responsable de la IA generativa refleja las lecciones aprendidas con el código bajo, como saber qué datos y aplicaciones se conectan a estos servicios: se trata de mejorar el flujo de trabajo, acelerar las cosas que la gente ya hace y desbloquear nuevas capacidades, con la escala de la automatización, pero manteniendo a los expertos humanos en el bucle.

 

Los modeladores pueden diferenciarse

"Creemos que la IA generativa es beneficiosa porque tiene un rango de uso y una flexibilidad de respuesta mucho más amplios que las herramientas y el servicio convencionales, por lo que se trata más de cómo se utiliza la herramienta para crear una ventaja competitiva que del mero hecho de usarla", dice Mukaino.

Reinventar la atención al cliente, el comercio minorista, la fabricación, la logística o las cargas de trabajo específicas de un sector, como la gestión de patrimonios, con IA generativa exigirá mucho trabajo, al igual que establecer políticas de uso y supervisar el impacto de la tecnología en los flujos de trabajo y los resultados. También es esencial presupuestar esos recursos y plazos. Todo se reduce a si se puede construir y reconstruir más rápido que los competidores que están comprando modelos y herramientas que les permiten crear aplicaciones de inmediato, y dejar que más personas en su organización experimenten con lo que la IA generativa puede hacer.

Los LLM generales de OpenAI y los LLM más especializados creados a partir de su trabajo, como GitHub Copilot, mejoran a medida que un gran número de personas los utiliza: la precisión del código generado por GitHub Copilot ha aumentado considerablemente desde que se introdujo el año pasado. Podrías gastarte medio millón de dólares y obtener un modelo que sólo iguala a la generación anterior de modelos comerciales y, aunque la evaluación comparativa no siempre es una guía fiable, éstos siguen mostrando mejores resultados en las evaluaciones comparativas que los modelos de código abierto.

Lamarre advierte que hay que estar preparado para reconsiderar las decisiones de construir o comprar a medida que evolucione la tecnología. "La pregunta se reduce a: '¿En qué medida puedo diferenciarme competitivamente si construyo o si compro?’”. Si ha invertido mucho tiempo y recursos en crear sus propios modelos generativos, es importante que evalúe no sólo cómo contribuyen a su organización, sino cómo se comparan con los modelos comerciales que su competencia podría adoptar hoy, pagando entre 10 y 15 céntimos por una página de texto generado, y no con lo que ellos tenían acceso cuando usted empezó su proyecto.

 

Grandes inversiones

"La conversación sobre la construcción va a estar reservada a las personas que probablemente ya tienen mucha experiencia en la construcción y el diseño de grandes modelos lingüísticos", dice Montgomery, señalando que Meta construye sus LLM en Azure, mientras que Anthropic, Cohere y Midjourney utilizan la infraestructura de Google Cloud para entrenar a sus LLM.Algunas organizaciones cuentan con los recursos y las competencias para ello, y las que necesitan un LLM más especializado para un dominio pueden realizar las importantes inversiones necesarias para superar el rendimiento ya razonable de modelos generales como GPT4.

Para entrenar tu propia versión de un LLM de código abierto necesitarás conjuntos de datos extremadamente grandes: aunque puedes adquirirlos en algún sitio como Hugging Face, sigues dependiendo de que alguien los haya curado. Además, seguirás necesitando pipelines de datos para limpiar, deduplicar, preprocesar y tokenizar los datos, así como una infraestructura significativa para el entrenamiento, el ajuste supervisado, la evaluación y el despliegue, así como una gran experiencia para tomar las decisiones correctas en cada paso.

Existen varias colecciones con cientos de LLM preentrenados y otros modelos básicos con los que puede empezar. Algunos son generales, otros más específicos. Docugami, por ejemplo, empezó a entrenar su propio LLM hace cinco años, específicamente para generar el modelo semántico XML para documentos empresariales, marcando elementos como tablas, listas y párrafos en lugar de las frases y oraciones con las que trabajan la mayoría de los LLM. Basándose en esa experiencia, Jean Paoli, CEO de Docugami, sugiere que los LLM especializados van a superar a los LLM más grandes o caros creados con otro propósito.

"En los últimos dos meses, la gente ha empezado a entender que los LLM, de código abierto o no, pueden tener características diferentes, que incluso puede haber otros más pequeños que funcionen mejor para escenarios específicos", afirma. Pero añade que la mayoría de las organizaciones no crearán su propio LLM y quizá ni siquiera su propia versión de un LLM. Sólo unas pocas empresas poseerán grandes modelos lingüísticos calibrados a la escala del conocimiento y el propósito de Internet, añade Lamarre. "Creo que los que calibren entre sus cuatro paredes tendrán un tamaño mucho menor", afirma.

Si deciden seguir ese camino, los CIO tendrán que pensar qué tipo de LLM se adapta mejor a sus escenarios, y con tantos entre los que elegir, una herramienta como Aviary puede ayudar. Considere la procedencia del modelo y los datos con los que se ha entrenado. Se trata de preguntas similares a las que las organizaciones han aprendido a plantearse sobre los proyectos y componentes de código abierto, señala Montgomery. "Todos los aprendizajes que vinieron de la revolución del código abierto están sucediendo en AI, y están sucediendo mucho más rápido".

La comparativa AI Infrastructure View de IDC muestra que acertar con la pila de IA es una de las decisiones más importantes que deben tomar las organizaciones, siendo los sistemas inadecuados la razón más común por la que fracasan los proyectos de IA. Se necesitaron más de 4.000 GPU NVIDIA A100 para entrenar el modelo Megatron-Turing NLG 530B de Microsoft. Aunque existen herramientas para hacer el entrenamiento más eficiente, siguen requiriendo una gran experiencia, y los costes incluso de los ajustes más precisos son lo bastante altos como para necesitar grandes conocimientos de ingeniería de IA para mantener los costes bajos.

Paoli, de Docugami, espera que la mayoría de las organizaciones compren un modelo de IA generativa en lugar de construirlo, ya sea adoptando un modelo de código abierto o pagando por un servicio comercial. "La construcción va a consistir más en juntar cosas que ya existen". Eso incluye el uso de estas pilas emergentes para simplificar significativamente el ensamblaje de una solución a partir de una mezcla de opciones de código abierto y comerciales.

Tanto si se compra como si se crea la IA subyacente, las herramientas adoptadas o creadas con IA generativa deben tratarse como productos, con toda la formación habitual de los usuarios y las pruebas de aceptación para asegurarse de que pueden utilizarse con eficacia. Y hay que ser realista sobre lo que pueden ofrecer, advierte Paoli. "Los CIO tienen que entender que no van a comprar un LLM que vaya a cambiarlo todo o a hacer una transformación digital por ellos", concluye.