3 principios para la aplicación de grandes modelos de lenguaje a nivel regulatorio

En los últimos años, hemos sido testigos de un maremoto de progreso y entusiasmo en torno a los grandes modelos de lenguaje (LLM) como ChatGPT y GPT-4. Estos modelos de vanguardia pueden transformar potencialmente las industrias, especialmente en sectores regulados como la atención médica y las ciencias de la vida, donde podrían usarse para el descubrimiento de fármacos, análisis de ensayos clínicos, diagnósticos mejorados, atención personalizada del paciente y más.

A pesar de lo prometedores que son estos LLM, se deben mantener ciertos principios antes de que puedan integrarse completamente en las industrias reguladas. En John Snow Labs, hemos identificado tres principios básicos que subyacen en nuestro enfoque al integrar los LLM en nuestros productos y soluciones. En esta publicación de blog, profundizaremos en cada uno de estos principios y brindaremos ejemplos concretos para ilustrar su importancia.

1. El principio de no BS

Bajo el Principio No-BS, es inaceptable que los LLM alucinen o produzcan resultados sin explicar su razonamiento. Esto puede ser peligroso en cualquier industria, pero es particularmente crítico en sectores regulados como el de la salud, donde diferentes profesionales tienen diferentes niveles de tolerancia para lo que consideran válido.

Por ejemplo, un buen resultado en un solo ensayo clínico puede ser suficiente para considerar un tratamiento experimental o un ensayo de seguimiento, pero no suficiente para cambiar el estándar de atención para todos los pacientes con una enfermedad específica. Para evitar malentendidos y garantizar la seguridad de todas las partes involucradas, los LLM deben proporcionar resultados respaldados por datos válidos y citar sus fuentes. Esto permite a los usuarios humanos verificar la información y tomar decisiones informadas.

Además, los LLM deben esforzarse por la transparencia en sus metodologías, mostrando cómo llegaron a una conclusión determinada. Por ejemplo, al generar un diagnóstico, un LLM debe proporcionar no solo la enfermedad más probable sino también los síntomas y hallazgos que llevaron a esa conclusión. Este nivel de explicabilidad ayudará a generar confianza entre los usuarios y el sistema de inteligencia artificial (IA), lo que en última instancia conducirá a mejores resultados.

2. El principio de no compartir

Según el principio de no compartir datos, es crucial que las organizaciones no estén obligadas a compartir datos confidenciales, ya sea su información de propiedad o detalles personales, para usar estas tecnologías avanzadas. Las empresas deberían poder ejecutar el software dentro de sus propios firewalls, bajo su conjunto completo de controles de seguridad y privacidad, y de conformidad con las leyes de residencia de datos específicas de cada país, sin enviar ningún dato fuera de sus redes.

Esto no significa que las organizaciones deban renunciar a las ventajas de la computación en la nube. Por el contrario, el software aún se puede implementar con un solo clic en cualquier nube pública o privada, administrarse y escalarse en consecuencia. Sin embargo, la implementación se puede realizar dentro de la propia nube privada virtual (VPC) de una organización, lo que garantiza que ningún dato salga de su red. En esencia, los usuarios deberían poder disfrutar de los beneficios de los LLM sin comprometer sus datos o propiedad intelectual.

Para ilustrar este principio en acción, considere una compañía farmacéutica que utiliza un LLM para analizar datos patentados sobre un nuevo fármaco candidato. La empresa debe asegurarse de que su información confidencial permanezca confidencial y protegida de posibles competidores. Al implementar el LLM dentro de su propia VPC, la empresa puede beneficiarse de los conocimientos de la IA sin arriesgar la exposición de sus datos valiosos.

3. El principio de ausencia de lagunas en las pruebas

Según el principio de ausencia de lagunas en las pruebas, es inaceptable que los LLM no se prueben de forma integral con un conjunto de pruebas reproducible antes de la implementación. Todas las dimensiones que impactan el desempeño deben ser probadas: precisión, imparcialidad, robustez, toxicidad, representación, sesgo, veracidad, frescura, eficiencia y otras. En resumen, los proveedores deben demostrar que sus modelos son seguros y efectivos.

Para lograr esto, las pruebas en sí deben ser públicas, legibles por humanos, ejecutables mediante software de código abierto y verificables de forma independiente. Si bien es posible que las métricas no siempre sean perfectas, deben ser transparentes y estar disponibles en un marco integral de gestión de riesgos. Un proveedor debería poder mostrarle a un cliente o a un regulador el conjunto de pruebas que se utilizó para validar cada versión del modelo.

Un ejemplo práctico del principio de ausencia de lagunas en las pruebas en acción se puede encontrar en el desarrollo de un LLM para diagnosticar afecciones médicas en función de los síntomas del paciente. Los proveedores deben asegurarse de que la precisión del modelo se pruebe exhaustivamente, teniendo en cuenta varios factores demográficos, posibles sesgos y la prevalencia de enfermedades raras. Además, se debe evaluar la robustez del modelo, asegurando que siga siendo efectivo incluso cuando se enfrente a datos incompletos o ruidosos. Por último, se debe probar la equidad del modelo, asegurando que no discrimine a ningún grupo o población en particular.

Al hacer que estas pruebas sean públicas y verificables, los clientes y los reguladores pueden tener confianza en la seguridad y eficacia del LLM, al tiempo que responsabilizan a los proveedores por el rendimiento de sus modelos.

En resumen, al integrar grandes modelos de lenguaje en industrias reguladas, debemos adherirnos a tres principios clave: no-bs, sin compartir datos y sin brechas en las pruebas. Al defender estos principios, podemos crear un mundo en el que los LLM sean explicables, privados y responsables, lo que en última instancia garantiza que se usen de manera segura y efectiva en sectores críticos como la atención médica y las ciencias de la vida.

A medida que avanzamos en la era de la IA, el camino por recorrer está lleno de oportunidades emocionantes, así como de desafíos que deben abordarse. Al mantener un firme compromiso con los principios de explicabilidad, privacidad y responsabilidad, podemos garantizar que la integración de los LLM en las industrias reguladas sea beneficiosa y segura. Esto nos permitirá aprovechar el poder de la IA para el bien común, al mismo tiempo que protegemos los intereses de las personas y las organizaciones por igual.

David Talby es CTO de John Snow Labs