Las lecciones de aprendidas de Linkedin al implementar LLM para millones de usuarios

Con más de 1.000 millones de usuarios en todo el mundo, Linkedin choca continuamente con los límites de lo que es técnicamente factible en la empresa actual. Pocas compañías operan a su escala o tienen acceso a cantidades similares de datos. Conectar a candidatos cualificados con potenciales empleadores es su principal objetivo. También, que sus publicaciones sean relevantes para los usuarios. Esos procesos de emparejamiento siempre se han basado en la tecnología.

Durante el verano de 2023, en el apogeo de la primera ola de inteligencia artificial (IA) generativa, la red social comenzó a preguntarse si mejoraría sus prestaciones con la ayuda de modelos de lenguaje grande (LLM, de sus siglas inglesas). Por ello, se ha lanzado en un viaje hacia esta tecnología y, ahora hace balance de su experiencia, ayudada por el servicio Azure OpenAI de Microsoft, jugador al que pertenece. De este camino, los CIO de todos los sectores pueden aprender varias lecciones.

 

Adaptación y comienzo

La adopción de tecnologías emergentes conlleva su parte de experimentación y contratiempos. Para Linkedin, esto no ha sido diferente, según afirma Juan Bottaro, uno de sus ingenieros principales de software. “Los resultados iniciales parecieron deficientes”, dice. “No se estaban conectando suficientes puntos”. Por lo tanto, esas primeras fases de publicidad en torno a la IA generativa no sirvieron de ayuda.

“El LLM era algo nuevo y parecía que podía resolverlo todo. Pero tampoco empezamos con una idea concreta de lo que iba a hacer”. Por ejemplo, una versión inicial de la revisión de búsqueda de empleo fue más bien, a falta de una palabra mejor, grosera. O al menos demasiado contundente.

“Hacer clic en ‘Evaluar mi idoneidad para este trabajo’ y obtener un ‘Eres un candidato terrible’ no es muy útil”, analiza Bottaro. “Queríamos que las respuestas fueran objetivas, pero también empáticas. Algunos miembros pueden estar pensando en un cambio de carrera hacia otros campos en los que actualmente no encajan bien y necesitan ayuda para comprender cuáles son los desafíos y los pasos que tiene que dar”.

Así, uno de los primeros aprendizajes de la organización fue la importancia de adaptar los LLM a las expectativas de la audiencia.

 

Una cuestión de velocidad

A pesar de la cantidad de miembros de la plataforma, la mayoría de las funciones de búsqueda de empleo que dependieran de los LLM iban a estar dirigidas inicialmente a los usuarios Premium, un grupo mucho más reducido y del que no se sabe la cifra oficial.

Cuando se opera a esa escala, la velocidad puede ser esencial, especialmente para algo tan sutil como hacer coincidir candidatos con puestos vacantes de interés. En este caso, se creía que un LLM ayudaría, ya que un beneficio muy promocionado de estos es la rapidez. “Este no fue nuestro caso”, admite Bottaro. “No caracterizaría a los LLM como rápidos y no consideraría la velocidad como una ventaja”.

Pero la velocidad se puede definir de múltiples formas. Aunque operativamente el LLM puede no haber sido tan veloz como se esperaba, Bottaro asegura que la aceleración del proceso de implantación fue asombrosa. “El superpoder de esta nueva tecnología es que se pueden crear prototipos muy rápido, en dos o tres meses. Y eso no era posible antes”.

Preguntado por cuánto tiempo habrían llevado las diversas facetas del proyecto sin LLM, Bottaro dice que algunas no se habrían podido llevar a cabo en absoluto, mientras que otros elementos tal vez hubieran tardado varios años. Como ejemplo, Bottaro hace referencia a la parte del sistema diseñada para comprender la intención. Sin la IA generativa esto costaría dos o tres meses, pero el LLM lo consiguió en menos de una semana.

 

Consideraciones de costes

Un obstáculo para Bottaro es el coste. Una vez más, puede significar diferentes cosas en distintas fases de un proyecto, tal y como demuestra la experiencia de Linkedin. “La cantidad que gastamos para poder desarrollarnos fue insignificante. Pero cuando se trataba de entregar datos a los clientes, los costes se dispararon”.

"Incluso si solo fuera para un par de millones de miembros", dijo Bottaro, insinuando potencialmente la cantidad de usuarios Premium, el precio se disparó. Esto se debe a que el precio de los LLM (al menos el acuerdo de licencia que LinkedIn firmó con Microsoft, su proveedor de LLM y empresa matriz) se basó en el uso, específicamente en los tokens de entrada y salida.

 

Desafíos de la evaluación

Otro objetivo de funcionalidad que tenía Linkedin para su proyecto era la evaluación automática. Los LLM son muy difíciles de evaluar en términos de precisión, relevancia, seguridad y otras preocupaciones. Las organizaciones líderes y los creadores de LLM han estado intentando automatizar parte de este trabajo, pero según LinkedIn, tales capacidades son "todavía un trabajo en progreso".

Sin una evaluación automatizada, Linkedin informa que "los ingenieros se quedan mirando los resultados y probando un conjunto limitado de ejemplos y tienen un retraso de más de 1 día para conocer las métricas".

La empresa está creando evaluadores basados en modelos para ayudar a estimar métricas clave de LLM, como el puntaje de calidad general, la tasa de alucinaciones, la coherencia y las violaciones responsables de la IA. Hacerlo permitirá una experimentación más rápida, dicen los ingenieros de la compañía, y aunque los ingenieros de la compañía han tenido cierto éxito con la detección de alucinaciones, aún no han podido terminar el trabajo en esa área.

 

Calidad de datos

Parte de la lucha que experimentó Linkedin con su esfuerzo de búsqueda de empleo se reduce a un problema de calidad de los datos de ambas partes: empleadores y empleados potenciales.

Los LLM solo pueden trabajar con lo que se les proporciona y, a veces, los puestos de trabajo no son precisos ni completos en cuanto a las habilidades que busca un empleador. Por otro lado, algunos solicitantes de empleo publican historias mal redactadas que no reflejan eficazmente su amplia experiencia en la resolución de problemas, por ejemplo. 

Aquí, Bottaro ve potencial para que los LLM ayuden tanto a los empleadores como a los empleados potenciales. Al mejorar lo que escriben los empleadores y los usuarios de LinkedIn, ambas partes podrían beneficiarse, ya que el LLM de búsqueda de empleo de la empresa podría funcionar mucho más eficazmente cuando sus entradas de datos sean de mayor calidad.

 

Experiencia de usuario

Cuando se trata de una base de miembros tan grande, las métricas de precisión y relevancia pueden "dar una falsa sensación de comodidad", dice Bottaro. Por ejemplo, si el LLM “lo hace bien el 90% de las veces, eso significa que uno de cada diez tendría una experiencia horrible”.

Lo que hace que esta implementación sea más difícil es el nivel extremo de matices y juicios involucrados en la entrega de respuestas útiles, útiles y precisas.

“¿Cómo se pone de acuerdo sobre lo que es bueno y malo? Pasamos mucho tiempo con lingüistas para establecer pautas sobre cómo ofrecer una representación exhaustiva. También hicimos muchos estudios de usuarios”, dijo Bottaro. “¿Cómo se entrena a la persona para que escriba la respuesta correcta? ¿Cómo se define la tarea y se especifica cómo debe verse la respuesta? El producto puede intentar ser constructivo o útil. No se trata de dar por sentado demasiado porque es ahí donde empiezan las alucinaciones. La coherencia de las respuestas es algo de lo que estamos muy orgullosos”.

 

Operando en tiempo real

La enorme escala de Linkedin presenta otro desafío para la búsqueda de empleo. Con mil millones de miembros, un anuncio de trabajo puede tener cientos, si no miles, de respuestas a los pocos minutos de su publicación. Muchos solicitantes de empleo no se molestarán en presentar su solicitud si ven que cientos ya lo han hecho. Eso hace que el LLM tenga la responsabilidad de encontrar rápidamente miembros que sean compatibles antes de que los solicitantes menos calificados envíen su material. Después de eso, todavía es cuestión de que ese miembro vea la notificación y reaccione lo suficientemente rápido.

Del lado de los empleadores, la lucha es encontrar los solicitantes que mejor se adapten, no necesariamente aquellos que respondan más rápido. La renuencia de algunas empresas a publicar rangos salariales complica aún más ambos esfuerzos, ya que los solicitantes mejor calificados pueden no estar interesados en un puesto que depende de su remuneración. Ese es un problema que un LLM no puede solucionar.

 

API y RAG

El enorme tesoro de datos de Linkedin incluye mucha información única sobre individuos, empleadores, habilidades y cursos, en los que sus LLM no han sido capacitados. Como resultado, sus LLM no pueden utilizar estos activos, tal como están actualmente almacenados y entregados, para ninguna de sus actividades de razonamiento o generación de respuestas, según los ingenieros de LinkedIn.

En este caso, la generación aumentada de recuperación (RAG) es una solución alternativa típica. Al configurar una canalización de API internas, las empresas pueden "aumentar" las indicaciones del LLM con contexto adicional para guiar mejor (y proteger) la respuesta del LLM. Gran parte de los datos de LinkedIn se exponen a través de API RPC, algo que, según los ingenieros de la compañía, es "conveniente para que los humanos lo invoquen mediante programación", pero "no es muy compatible con LLM".

Para resolver este problema, los ingenieros de LinkedIn "envolvieron habilidades" en torno a sus API para brindarles una "descripción amigable para el LLM de lo que hace la API y cuándo usarla", así como detalles de configuración, esquemas de entrada y salida, y toda la lógica necesaria. para asignar la versión LLM de cada API a su RPC subyacente (real), dijo LinkedIn.