Evaluación del riesgo empresarial del sesgo de la IA

La IA no es mejor que los datos en los que está entrenada. Esto significa que la selección sesgada y las preferencias humanas pueden propagarse a la IA y hacer que los resultados que se obtienen estén sesgados.

En Estados Unidos las autoridades están utilizando nuevas leyes para hacer cumplir los casos de discriminación debido a la IA y la Oficina de Protección Financiera del Consumidor ya investiga la discriminación en la vivienda debido a sesgos en los algoritmos para conceder préstamos o valoración de viviendas.

Muchos CIO y otros altos directivos son conscientes del problema, según una encuesta internacional encargada por el proveedor de software sueco Progress. En la encuesta, el 56% de los responsables de negocio suecos afirmaron que creen que hay datos discriminatorios en sus operaciones hoy en día, mientras que el 62% también cree o piensa que es probable que dichos datos se convertirán en un problema mayor para su negocio a medida que la IA y el ML se utilicen más ampliamente.

Elisabeth Stjernstoft, CIO del gigante energético sueco Ellevio, está de acuerdo en que existe el riesgo de utilizar datos sesgados que no son representativos de clientes o de la población que se analiza.

“Puede, por supuesto, afectar a la capacidad de la IA para hacer predicciones precisas”, dice. “Tenemos que fijarnos en los datos sobre los que se entrena el modelo, pero también en cómo se diseñan los algoritmos y la selección de funciones. La conclusión es que el riesgo existe, por lo que debemos monitorizar los modelos y corregirlos si es necesario”.

Sin embargo, no está preocupada por las soluciones de inteligencia artificial que Ellevio usa hoy.

“Usamos IA principalmente para escribir código mejor y más rápido, así que no me preocupa eso”, dice. “Después de desarrollar el código, también se revisa. El aprendizaje automático se usa principalmente para cosas de naturaleza técnica, para poder hacer análisis predictivos”.

Claro que se ha encontrado con problemas a la hora de obtener datos de entrenamiento relevantes para predecir la carga de energía cuando el frío es más intenso. “Es un desafío porque las ocasiones con tanto frío son tan raras que simplemente no hay mucho para entrenar”, dice ella.

Considera las consecuencias

Göran Kördel, CIO de la empresa sueca de metales Boliden, está de acuerdo en que es vital comprender los riesgos que existen con la IA sesgada.

“Esto es probablemente algo en lo que todos los CIO están pensando ahora y creo que es importante que lo hagamos incluso si no sabemos cómo será la IA en unos años o cómo se usará entonces”, dice. “Tenemos que pensar en las consecuencias de eso”.

Pero Boliden no ve grandes riesgos a corto plazo.

“Principalmente usamos análisis de imágenes donde hemos hecho algunos pilotos con cámaras que examinan cosas”, dice. “Me preocupan más los datos sesgados cuando se trata de cosas relacionadas con los humanos y la IA generativa; sobre IA que produce información orientada al consumidor y utiliza datos del consumidor”.

Kördel también ve el riesgo de que la IA pueda disminuir la capacidad creativa e inhibir el pensamiento innovador, dice.

El CIO de Skandia, Johan Clausén, señala la importancia de una evaluación de las necesidades y el riesgo cuando se introducen nuevas soluciones. Pero por el momento, él, al igual que Boliden y Stjernstoft, no ve ningún riesgo con el uso de IA en su empresa.

“Usamos IA de forma muy limitada, por lo que no veo los datos sesgados como un desafío en este momento”, dice. “Las fuentes de datos externas que tenemos son fiables”.

Pero para protegerse contra cualquier instancia en el futuro, Clausén dice que es importante pensar dónde deberían estar los datos seguros y dónde podría ser aceptable usar datos sesgados para empezar, y desde allí establecer un control basado en ese modelo.

Pero estos CIO están de acuerdo en que la falta de competencia que existe en IA actualmente afectaría el riesgo. Kördel señala específicamente que siempre hay una falta de habilidades cuando aparece una nueva tecnología, lo cual es un obstáculo general para todas las empresas. Al mismo tiempo, cree que las empresas tienen más tiempo del que muchos podrían pensar.

“Con el debido respeto a la tecnología en desarrollo, la pregunta es cómo de rápido la aplicaremos”, dice. “Creo que tomará más tiempo de lo que pensamos hacerlo a gran escala”.