La Unesco detecta un "generalizado" sesgo de género en las herramientas de IA generativa

Los resultados que entrega la IA generativa siguen reflejando un considerable sesgo basado en el género y la sexualidad, asociando nombres femeninos a roles de género tradicionales, generando contenidos negativos sobre temas homosexuales y mucho más. Esto, según un nuevo informe del Centro Internacional de Investigación sobre Inteligencia Artificial de la Unesco.

El informe se centra en varios estudios individuales de sesgo, incluidas pruebas de asociaciones entre nombres de género y carreras profesionales, que con frecuencia generaban respuestas menos positivas a preguntas relacionadas con personas LGBTQ+ y mujeres, y asignaban profesiones estereotipadas a miembros de distintos géneros y grupos étnicos. 

Los investigadores descubrieron tres grandes categorías de sesgos subyacentes en las tecnologías de IA generativa. La primera es un problema de datos, en el que una IA no está expuesta a datos de entrenamiento de grupos infrarrepresentados o no tiene en cuenta las diferencias de sexo o etnia, lo que puede dar lugar a imprecisiones. El segundo es la selección del algoritmo, que puede dar lugar a un sesgo de agregación o aprendizaje. El ejemplo clásico sería una IA que identificara como más deseables los currículos de candidatos masculinos basándose en disparidades de género ya presentes en las prácticas de contratación. Por último, el estudio detectó sesgos en el despliegue, cuando los sistemas de IA se aplicaban a contextos distintos para los que habían sido desarrollados, lo que daba lugar a asociaciones "inadecuadas" entre términos psiquiátricos y grupos étnicos o géneros específicos. 

Cada forma de sesgo presente en los grandes modelos lingüísticos (LLM) en los que se basan los sistemas modernos de IA refleja los textos con los que se entrenan los LLM, escriben los autores del informe de la UNESCO en una introducción. Dado que estos textos han sido generados por seres humanos, los LLM reflejan, por tanto, sesgos humanos. 

"En consecuencia, los LLM pueden reforzar los estereotipos y prejuicios contra las mujeres y las niñas, las prácticas a través de herramientas de contratación de IA sesgadas, la toma de decisiones con sesgo de género en sectores como el financiero (donde la IA podría influir en la calificación crediticia y la aprobación de préstamos), o incluso diagnósticos médicos o psiquiátricos erróneos debido a modelos o normas demográficamente sesgados", escribieron. 

Los investigadores señalaron que su estudio no estaba exento de limitaciones y mencionaron varios problemas potenciales, como las limitaciones de las pruebas de asociación implícita, la contaminación de los datos, el sesgo de despliegue, las limitaciones lingüísticas y la falta de análisis interseccionales.

No obstante, según el estudio de la Unesco, está demostrado que el sesgo de género en particular es "generalizado" en los sistemas de IA, y es "fundamental" incluir medidas antidiscriminatorias en la base del ciclo de desarrollo de la IA para abordar estos problemas. 

"Abordar estos riesgos requiere enfoques holísticos, que incluyan intervenciones judiciales y sociales, junto con soluciones tecnológicas que garanticen la aplicación equitativa y responsable de la IA", escribieron los autores. "Es importante destacar que la participación de los grupos marginados en el desarrollo de la IA y la consideración de los factores interseccionales son pasos cruciales para mitigar los prejuicios y fomentar la inclusividad".