Seis peligros de la IA generativa que los líderes de TI deben evitar

El reciente anuncio de OpenAI sobre versiones personalizadas de ChatGPT facilita que todas las organizaciones utilicen la IA generativa de más formas, pero a veces es mejor no hacerlo. Dos cumbres sobre seguridad de la IA a ambos lados del Atlántico plantearon preguntas sobre los peligros potenciales de la IA, pero ni las amenazas científicas ficticias de los robots asesinos ni las directrices extrañamente específicas sobre exactamente qué modelos de IA serán probablemente regulados parecerán particularmente útiles para las organizaciones que luchan por descubrir cómo aprovechar la avalancha de herramientas de IA generativa ahora disponibles.

Algunas de las quejas más ruidosas sobre la IA generativa provienen de autores y artistas descontentos porque su trabajo se utiliza para entrenar grandes modelos de lenguaje (LLM) sin permiso. Resolver las huelgas de escritores y actores que duraron meses en Hollywood a principios de noviembre requirió que los estudios hicieran concesiones para limitar las formas en que se pueden utilizar las herramientas de inteligencia artificial para reemplazar a los escritores e intérpretes humanos. Pero incluso las empresas ajenas a las industrias creativas deben tener cuidado con el uso de la IA generativa, que puede resultar contraproducente y exponerlas a acciones legales.

Muchas empresas citan los derechos de autor como un motivo de preocupación (y la FTC parece estar de acuerdo); enviar un plan de negocios que parezca copiado y pegado de la competencia podría ser problemático. Pero ese no es el único problema con el que te puedes encontrar.

 

Daño a la reputación

La reciente experiencia de Microsoft con The Guardian, afirmó que la empresa de tecnología causó un “daño significativo a la reputación” cuando su sistema de noticias de inteligencia artificial generó automáticamente una encuesta insensible que invitaba a los lectores a especular sobre la muerte de una mujer y la insertó en medio de la noticia. Un ejemplo de lo que no se debe hacer con la IA generativa.

Pero esta no fue la primera vez que las noticias sobre inteligencia artificial de Bing agregaron encuestas dudosas a noticias sensibles. La misma herramienta de IA ha creado otras encuestas preguntando si negarse a matar a una mujer que luego fue asesinada a tiros fue una decisión correcta o incorrecta, si los restos humanos encontrados en un parque nacional estaban correctamente identificados, si en una zona donde se habían perdido 50 casas realmente era necesario seguir los consejos de evacuación de emergencia, y si los lectores podrían sentirse “esperanzados y solidarios” por la muerte de dos niños en un incendio debido a la recaudación de fondos para los otros niños víctimas de quemaduras.

Los anuncios en Bing Chat, impulsado por IA, también han incluido enlaces a malware, y las herramientas de IA de Microsoft han sugerido a los visitantes de Ottawa comer en un banco de alimentos, han destacado noticias falsas de sitios web oscuros sobre políticos, incluido el presidente Biden, y han mezclado detalles de una noticia que sugería que una actriz había agredido a un entrenador deportivo cuando en realidad era el entrenador el acusado de maltratar a un caballo.

Una diferencia con los errores anteriores de alto perfil cometidos por modelos de IA generativa como ChatGPT es que los abogados y profesionales médicos, en su mayor parte, al menos tuvieron oportunidades de verificar los resultados antes de continuar. Pero estas encuestas de The Guardian parecen haber sido publicadas en propiedades de Microsoft con millones de visitantes mediante sistemas automatizados sin necesidad de aprobación humana.

Microsoft calificó la encuesta como un error y prometió investigar, pero ya parece violar claramente varios de los propios principios de la compañía sobre el uso responsable de la IA , como informar a las personas que están interactuando con un sistema de IA y las pautas para la interacción entre humanos y la IA. Y el consejo que ofrece a los clientes de Azure OpenAI advierte contra la producción de “contenido sobre cualquier tema” o su uso en “escenarios donde la información actualizada y objetivamente precisa es crucial”, lo que presumiblemente incluye sitios de noticias.

 

Uso excesivo de la IA

De manera más general, las notas de transparencia integrales de Azure OpenAI advierten de manera útil que el servicio puede producir contenido inapropiado u ofensivo, así como respuestas irrelevantes, falsas o que tergiversan datos confiables. Enumeran varios escenarios que se deben evitar (campañas políticas y eventos altamente sensibles donde el uso o mal uso podría ser consecuencia de oportunidades de vida o estatus legal) y otros con los que se debe tener cuidado, como áreas de alto riesgo en salud, educación, finanzas y asuntos legales. Pero es menos probable que las preguntas restringidas a un ámbito específico produzcan respuestas más largas y problemáticas que las abiertas y sin restricciones.

Microsoft se negó a identificar áreas específicas en las que consideró que la IA generativa sería inapropiada y, en cambio, ofreció una lista de áreas en las que dice que los clientes están teniendo éxito: creación de contenido, resumir o mejorar el lenguaje, generación de código y búsqueda semántica. Pero un portavoz de la empresa dijo: “Estamos en un mundo donde nuestra IA se ha vuelto increíblemente poderosa y puede hacer cosas asombrosas. Sin embargo, es fundamental comprender que esta tecnología es un viaje, con amplio espacio para el crecimiento y el desarrollo. Esta distinción es vital”.

No todos los clientes de IA generativa recibieron ese mensaje. El contenido confuso y mal escrito creado por la IA generativa ya está apareciendo en contextos empresariales, con biografías de conferencias, publicaciones de blogs y presentaciones de diapositivas que pueden parecer impresionantes pero que no tienen sentido y que son aprobadas por gerentes que deberían saberlo mejor. Hay cada vez más ejemplos de escritores profesionales y educadores en seguridad que envían dicho contenido complementado con imágenes de IA de, por ejemplo, personas con una cantidad imposible de dedos. Este tipo de galimatías tontas probablemente se volverá inquietantemente común, y corresponde a las empresas estar atentas a las reputaciones en juego.

Los comentarios insensibles también son igualmente inapropiados internamente. Las encuestas y los cuestionarios animan las largas reuniones y los chats de equipo, y es tentador que la IA generativa los cree en función de lo que la gente ha estado hablando. Eso podría salir muy mal si, por ejemplo, alguien comparte detalles de una enfermedad familiar o la pérdida de una mascota.

“La IA generativa no suele ser adecuada para contextos en los que la empatía, el juicio moral y la comprensión profunda de los matices humanos son cruciales”, señala Saurabh Daga, director asociado de proyectos de tecnología disruptiva en la plataforma de inteligencia industrial GlobalData. Su lista de áreas sensibles es similar a las directrices de Microsoft: "La toma de decisiones de alto riesgo, donde los errores podrían tener importantes consecuencias legales, financieras o relacionadas con la salud, podrían no ser apropiadas para la IA".

Hasta que se trabaje más en modelos multimodales, es importante tener cuidado con la IA generativa que mezcla texto e imágenes en cualquier escenario, ya que un título incorrecto puede convertir una imagen perfectamente aceptable en algo objetable, y los modelos de generación de imágenes son muy propensos a asumir que todas las enfermeras sean mujeres y todos los directores ejecutivos sean hombres.

"La IA generativa en particular está amplificando problemas que existían anteriormente pero que no se abordaron de todo corazón", advierte Matt Baker, vicepresidente senior de estrategia de IA de Dell Technologies (que ofrece servicios para ayudar a los clientes a crear sistemas de IA con Microsoft 365 Copilot o modelos de acceso abierto como Llama2). “Tomemos, por ejemplo, los procesos y flujos de trabajo en los que el sesgo algorítmico podría convertirse en un factor, como en recursos humanos y contratación. Las organizaciones deben analizar honestamente su higiene, sus prioridades y la sensibilidad de sus datos para asegurarse de que están conectando las herramientas GenAI en las áreas donde obtienen la máxima recompensa y el riesgo mínimo”.

 

Suponer que la IA siempre tiene razón

Por impresionantes que sean, las herramientas de IA generativa son inherentemente probabilísticas. Eso significa que a menudo se equivocarán y el peligro es que lo que produzcan pueda ser inexacto, injusto u ofensivo, pero redactado en un lenguaje tan seguro y convincente que se les escape.

La clave es no esperar un resultado que pueda utilizar de inmediato y estar alerta para reconocer las formas en que la IA generativa puede resultar útilmente errónea. Trátelo como una lluvia de ideas que estimule nuevas ideas en lugar de algo que produzca la idea perfecta para usted.

Es por eso que Microsoft ha adoptado Copilot en lugar de piloto automático para la mayoría de sus herramientas de IA generativa. "Se trata de poner a los humanos en el circuito y diseñarlo de tal manera que el humano siempre tenga el control con un copiloto que sea poderoso y los ayude con cada tarea", dijo el director ejecutivo Satya Nadella en la conferencia Inspire este verano. Aprender a experimentar con indicaciones para obtener mejores resultados es una parte clave de la adopción de IA generativa, por lo que herramientas como Copilot Lab pueden ayudar a los empleados a adquirir estas habilidades.

De manera similar, en lugar de intentar automatizar procesos, cree flujos de trabajo para sus propias herramientas de IA generativa que alienten al personal a experimentar y evaluar lo que produce la IA. Recuerde tener en cuenta qué información tendrá el humano que revisa las sugerencias de la IA sobre la situación y qué incentivo tiene para examinar los resultados y comprobar las fuentes citadas, en lugar de simplemente ahorrar tiempo aceptando la primera opción que se le ofrece sin asegurarse.

Los usuarios deben comprender las sugerencias y decisiones que aceptan de la IA generativa lo suficientemente bien como para saber cuáles podrían ser las consecuencias y justificarlas ante otra persona. “Si su organización no explica las decisiones asistidas por IA, podría enfrentar acciones regulatorias, daños a su reputación y falta de compromiso por parte del público”, advierte la Oficina del Comisionado de Información del Reino Unido.

Ofrecer múltiples alternativas en todo momento y mostrar cómo interpretar las sugerencias puede ser útil, así como utilizar indicaciones que indiquen a un LLM que explique por qué está dando una respuesta particular. Y además de hacer que la IA generativa cite las fuentes de información clave, considere formas de resaltar elementos que es importante verificar, como fechas, estadísticas, políticas o precedentes en los que se confía.

Pero, en última instancia, se trata de construir una cultura en la que la IA generativa se considere una herramienta útil que aún debe ser verificada, no un sustituto de la creatividad o el juicio humanos.

"La IA generativa o cualquier otra forma de IA debería utilizarse para aumentar la toma de decisiones humana, no reemplazarla en contextos donde sus limitaciones podrían causar daño", señala Daga. "Los revisores humanos deben estar capacitados para evaluar críticamente los resultados de la IA, no simplemente aceptarlos al pie de la letra".

Además de un proceso que incluye revisión humana y fomenta la experimentación y la evaluación exhaustiva de las sugerencias de la IA, también es necesario implementar medidas de seguridad para evitar que las tareas se automaticen por completo cuando no sea apropiado. "Por ejemplo, la IA puede generar ruedas de prensa de la empresa, pero sólo un editor humano puede aprobar el intercambio de contenido con periodistas y publicaciones seleccionados", añade.

La IA generativa ciertamente también puede hacer que los desarrolladores sean más productivos, ya sea explorando una nueva base de código, completando código repetitivo, autocompletando funciones o generando pruebas unitarias. Puede aprovechar esa productividad adicional pero aun así decidir que el código no se publicará en un entorno de producción sin una revisión humana.

Las empresas son responsables de las consecuencias de sus decisiones, y eso incluye implementar IA en áreas inapropiadas, dice Andi Mann, CTO global y fundador de la consultora Sageable, con sede en Colorado. "El cliente no le dejará libre de culpa por una filtración de datos simplemente porque 'fue culpa de nuestra IA'".

 

Ocultar la IA

Es crucial garantizar el uso responsable del sistema, ya sea por parte de empleados o clientes, y la transparencia es una gran parte de eso. Un número vergonzoso de publicaciones utiliza contenido generado por IA que es fácil de detectar debido a su mala calidad, pero debe tener claro cuándo un sistema de IA produce incluso contenido de buena calidad, ya sea un resumen de una reunión interna, un mensaje de marketing, o respuesta del chatbot. Proporcionar una "rampa de salida" para sistemas automatizados como chatbots que permitan a los usuarios derivar su pregunta a un humano.

"Los clientes deberían tener la opción de optar por no interactuar con la IA generativa, especialmente en áreas sensibles", dice Daga.

 

Supongamos que la IA puede resolver todos los problemas

A medida que aumenta el uso de la IA generativa en los negocios, también aumenta la conciencia de que las personas deben usar su propio criterio sobre lo que sugiere la IA. Eso es lo que dijeron ocho de cada 10 miembros del personal de TI en el Informe sobre el estado de la automatización de DevOps del año pasado, y hasta el 90% en el estudio sobre el estado de la automatización y la IA de DevOps de 2023 .

Esa precaución está justificada, dice Mann, especialmente cuando los datos de capacitación de dominios específicos que pueden usarse para generar resultados predecibles, deseables y verificables son limitados, como en las operaciones de TI, porque son propensos a resultados inexactos si los datos de capacitación son insuficientes.

"La GenAI será menos significativa para cualquier caso de uso que se ocupe de problemas nuevos y causas desconocidas con conocimientos faltantes o no documentados", advirtió. "Formar un LLM es imposible si el conocimiento tribal humano no divulgado es su único aporte potencial".

Sin embargo, sí ve oportunidades para utilizar GenAI como compañero. “Puede ser un asesor o un experto activo entrenando un motor para aprender cómo son las operaciones de TI 'buenas conocidas' en disciplinas y almacenes de conocimiento definidos, y reconocer problemas conocidos, diagnosticar causas conocidas, identificar ineficiencias conocidas y responder con soluciones conocidas" dice. Pero si bien algunos problemas de TI que pueden parecer nuevos pueden abordarse con procesos y soluciones familiares, no quedará claro de antemano cuáles son.

"Sabemos que la IA gen casi nunca dice que no sabe algo, sino que arroja resultados engañosos, espurios, erróneos e incluso maliciosos cuando se intenta que resuelva 'incógnitas desconocidas", dice Mann.

 

Hacer más trabajo para los humanos

El contenido producido por IA generativa puede ser útil, por supuesto, pero debido a que es tan fácil de crear, también puede terminar generando mucho más trabajo para aquellos que necesitan examinarlo y tomar medidas en base a él.

Las revistas de ficción informan que reciben tantas historias escritas por IA de baja calidad que, en la práctica, se trata de un ataque de denegación de servicio. Los editores han estado experimentando con IA para copiar y editar manuscritos, pero tanto los escritores como los editores informan que las ediciones sugeridas con frecuencia son inútiles, irrelevantes o simplemente incorrectas: tienen problemas con términos técnicos, estilo interno, estructuras de oraciones complejas y palabras utilizadas de forma correcta pero inusual, para empezar. Sea honesto al evaluar en qué áreas puede contribuir realmente la IA generativa.

Una parte clave de la adopción de cualquier herramienta de IA es tener un proceso para abordar los errores más allá de corregirlos individualmente cada vez. No asuma que la IA generativa aprende de sus errores o que siempre le dará el mismo resultado. Si eso es importante, debe utilizar ingeniería rápida y filtros para limitar los resultados en las áreas más importantes.

También esté preparado para el uso de IA generativa en áreas y procesos que no había planificado, donde puede ser menos preciso. Una vez más, la transparencia es clave. El personal necesita conocer la política de la empresa sobre cuándo pueden utilizar la IA generativa y cómo revelar que la están utilizando. Es posible que también desee incluir el uso de IA generativa en auditorías y eDiscovery de la misma manera que lo hace con los sistemas de chat empresarial.

Es posible que las organizaciones necesiten comenzar a establecer estas políticas con más urgencia. De mil empresas estadounidenses encuestadas por TECHnalysis Research en la primavera de 2023, el 88% ya utilizaba IA generativa, pero solo el 7% de los primeros en adoptarla tenían políticas formales.

Y en un estudio reciente de IDC sobre las oportunidades de la IA, más de una cuarta parte de los líderes empresariales dijeron que la falta de gobernanza de la IA y gestión de riesgos era un desafío para implementar y escalar la tecnología. Las preocupaciones iniciales se centraron en la confidencialidad de los datos empresariales, pero el daño a la reputación también debería ser una prioridad. Además, más de la mitad calificó la falta de trabajadores cualificados como su mayor barrera, lo que normalmente se refiere a desarrolladores e ingenieros de datos. Pero los usuarios empresariales menos técnicos también necesitarán las habilidades para formular cuidadosamente las preguntas que plantean a una herramienta de inteligencia artificial y evaluar y verificar los resultados.