Los seis peligros empresariales de descuidar la ética y la gobernanza de la IA

Dependiendo de qué películas de Terminator hayas visto, la malvada inteligencia artificial Skynet ya se ha apoderado de la humanidad o está a punto de hacerlo. Pero no sólo los escritores de ciencia ficción están preocupados por los peligros de una IA descontrolada.

En una encuesta realizada en 2019 por Emerj, una empresa de investigación y asesoramiento sobre IA, el 14% de los investigadores de esta tecnología dijeron que la IA era una "amenaza existencial" para la humanidad. Incluso si el apocalipsis de la inteligencia artificial no llega a producirse, descuidar su ética supone grandes riesgos para la sociedad y para las empresas que despliegan estos sistemas.

Hay factores inherentes a la tecnología que son clave en estos riesgos -por ejemplo, la forma en que un sistema de IA llega a una determinada conclusión, lo que se conoce como su "explicabilidad"- y otros que son endémicos del uso de la IA por parte de una empresa, como la dependencia de conjuntos de datos sesgados o el despliegue de la IA sin una gobernanza adecuada.

Y aunque la IA puede proporcionar a las empresas una ventaja competitiva de diversas maneras, desde el descubrimiento de oportunidades de negocio que se han pasado por alto hasta la racionalización de procesos costosos, si no se presta la debida atención a la gobernanza de la IA, la ética y la evolución de la normativa, los inconvenientes pueden ser catastróficos.

Los siguientes problemas de implementación en el mundo real ponen de relieve los principales riesgos que todo líder de TI debe tener en cuenta al elaborar la estrategia de implementación de inteligencia artificial de su empresa.

 

Desastres en las relaciones públicas

El mes pasado, un documento filtrado de Facebook obtenido por Motherboard mostró que Facebook no tiene ni idea de lo que está pasando con los datos de sus usuarios.

"No tenemos un nivel adecuado de control y explicación sobre cómo nuestros sistemas utilizan los datos", decía el documento, atribuido a los ingenieros de privacidad de Facebook.

Ahora la empresa se enfrenta a un "tsunami de regulaciones entrantes", según el documento, que no puede abordar sin inversiones de varios años en infraestructura. En particular, la compañía tiene poca confianza en su capacidad para abordar los problemas fundamentales con el aprendizaje automático y las aplicaciones de IA, según el documento. "Ésta es una nueva área para la regulación y es muy probable que veamos requisitos novedosos durante varios años. Tenemos muy poca confianza en que nuestras soluciones sean suficientes".

Este incidente, que proporciona una visión de lo que puede ir mal para cualquier empresa que haya desplegado la IA sin una gobernanza de datos adecuada, es sólo el último de una serie de empresas de alto perfil que han visto sus desastres de relaciones públicas relacionados con la IA en todas las portadas.

En 2014, Amazon creó un software de selección de personal basado en IA que prefería mayoritariamente a los candidatos masculinos.

En 2015, la aplicación Google Fotos etiquetó imágenes de personas negras como "gorilas". Sin aprender de ese error, Facebook tuvo que disculparse por un error similar el pasado otoño, cuando se preguntó a sus usuarios si querían "seguir viendo vídeos sobre primates" después de ver un vídeo con hombres negros.

El chatbot Tay de Microsoft, lanzado en Twitter en 2016, rápidamente comenzó a vomitar mensajes racistas, misóginos y antisemitas.

La mala publicidad es uno de los mayores temores de las empresas cuando se trata de proyectos de IA, dice Ken Adler, presidente de la práctica de tecnología y abastecimiento del bufete de abogados Loeb & Loeb.

"Les preocupa implementar una solución que, sin saberlo, tiene un sesgo incorporado", dice. "Puede ser cualquier cosa: racial, étnica, de género".

 

Impacto social negativo

Los sistemas de IA sesgados ya están causando daños. Un algoritmo de crédito que discrimine a las mujeres o una herramienta de recomendación de recursos humanos que no sugiera cursos de liderazgo a algunos empleados pondrá a esas personas en desventaja.

En algunos casos, esas recomendaciones pueden ser literalmente una cuestión de vida o muerte. Ese fue el caso de un hospital comunitario con el que trabajó Carm Taglienti, un distinguido ingeniero de Insight.

Los pacientes que acuden a las urgencias de un hospital suelen tener problemas que van más allá de los que les llevó allí, dice Taglienti. "Si vienen al hospital quejándose de dolores en el pecho, también puede haber un problema de sangre u otro problema que contribuya", explica.

El equipo de ciencia de datos de este hospital en particular había creado un sistema para identificar esas comorbilidades. El trabajo era crucial, ya que si un paciente llega al hospital y tiene un segundo problema potencialmente mortal pero el hospital no lo detecta, el paciente podría ser enviado a casa y acabar muriendo.

Sin embargo, la cuestión era saber en qué momento debían los médicos actuar según la recomendación del sistema de IA, teniendo en cuenta las consideraciones sanitarias y los recursos limitados del hospital. Si la correlación descubierta por el algoritmo es débil, los médicos podrían someter a los pacientes a pruebas innecesarias que supondrían una pérdida de tiempo y dinero para el hospital. Pero si las pruebas no se realizan y surge un problema que podría resultar mortal, se generan mayores dudas sobre el valor del servicio que el hospital presta a su comunidad, especialmente si sus algoritmos sugirieron la posibilidad, por mínima que sea.

Ahí es donde entra la ética, dice. "Si trato de hacer el enfoque utilitario, del mayor bien para el mayor número de personas, podría tratarte, lo necesites o no".

Pero esa no es una solución práctica cuando los recursos son limitados.

Otra opción es reunir mejores datos de entrenamiento para mejorar los algoritmos y que las recomendaciones sean más precisas. El hospital lo hizo invirtiendo más en la recopilación de datos, dice Taglieti.

Pero el hospital también encontró formas de re-equilibrar la ecuación en torno a los recursos, añade. "Si la ciencia de los datos te dice que te faltan comorbilidades, ¿tiene que ser siempre un médico el que vea a los pacientes? ¿Podemos recurrir a enfermeros profesionales en su lugar? ¿Podemos automatizar?”.

El hospital también creó un mecanismo de calendarización de pacientes, para que las personas que no tuvieran proveedores de atención primaria pudieran visitar a un médico de urgencias en los momentos en que las urgencias estuvieran menos ocupadas, por ejemplo, durante un día de la semana.

"Pudieron centrarse en el problema de fondo y seguir utilizando la recomendación de la IA y mejorar los resultados", afirma.

 

Sistemas que no aprueban el examen regulatorio

Sanjay Srivastava, estratega digital jefe de Genpact, trabajó con una gran empresa de servicios financieros mundiales que quería utilizar la IA para mejorar sus decisiones de préstamo.

Se supone que un banco no puede utilizar determinados criterios, como la edad o el sexo, a la hora de tomar algunas decisiones, pero no basta con sacar los datos de edad o sexo de los datos de entrenamiento de la IA, dice Srivastava, porque los datos pueden contener otra información que esté correlacionada con la edad o el sexo.

"El conjunto de datos de entrenamiento que utilizaron tenía muchas correlaciones", dice. "Eso les expuso a una huella de riesgo mayor de la que habían planeado".

El banco acabó teniendo que volver al conjunto de datos de entrenamiento y rastrear y eliminar todos esos otros puntos de datos, un proceso que les hizo retroceder varios meses.

La lección aquí fue asegurarse de que el equipo que construye el sistema no sean sólo científicos de datos, dice, sino que también incluya un conjunto diverso de expertos en la materia. "Nunca hagas un proyecto de IA sólo con científicos de datos", dice.

La sanidad es otro sector en el que el incumplimiento de los requisitos normativos puede hacer que todo el proyecto vuelva al punto de partida. Eso es lo que le ocurrió a una empresa farmacéutica mundial que trabajaba en una vacuna contra el COVID-19.

"Muchas empresas farmacéuticas utilizaron la IA para encontrar soluciones de forma más rápida", dice Mario Schlener, líder de riesgo de servicios financieros globales en Ernst & Young. Una de las empresas hizo algunos progresos en la creación de algoritmos, dice. "Pero debido a la falta de gobernanza en torno a su proceso de desarrollo de algoritmos, hizo que la solución quedara obsoleta".

Y como la empresa no pudo explicar a los reguladores cómo funcionaban los algoritmos, acabaron perdiendo nueve meses de trabajo durante el pico de la pandemia.

 

Multas por el RGPD

El Reglamento General de Protección de Datos de la UE es una de las leyes de protección de datos más duras del mundo, con multas de hasta 20 millones de euros o el 4% de los ingresos totales, lo que sea mayor. Desde que la ley entró en vigor en 2018, se han emitido más de 1.100 multas y las cifras siguen aumentando.

El RGPD y otras normativas similares que están surgiendo en todo el mundo restringen la forma en que las empresas pueden utilizar o compartir datos privados sensibles. Debido a que los sistemas de IA requieren cantidades masivas de datos para el entrenamiento, sin las prácticas de gobernanza adecuadas, es fácil incumplir las leyes de privacidad de datos al implementar la IA.

"Desafortunadamente, parece que muchas organizaciones tienen una actitud de 'lo agregaremos cuando lo necesitemos' hacia la gobernanza de la IA", dice Mike Loukides, vicepresidente de contenido de tecnología emergente en O'Reilly Media. "Esperar hasta que lo necesites es una buena forma de garantizar que llegas demasiado tarde".

La Unión Europea también está trabajando en una Ley de Inteligencia Artificial, que crearía un nuevo conjunto de regulaciones específicamente aplicadas a esta tecnología. La Ley de IA se propuso por primera vez en la primavera de 2021 y podría aprobarse tan pronto como en 2023. El incumplimiento dará lugar a una serie de castigos, incluyendo sanciones financieras de hasta el 6% de los ingresos globales, incluso más altas que el GDPR.

 

Sistemas no reparables

En abril, un coche autónomo operado por Cruise, una empresa respaldada por General Motors, fue detenido por la policía porque circulaba sin las luces delanteras encendidas. El vídeo de un policía confundido que se acerca al coche y comprueba que no tiene conductor se hizo rápidamente viral.

Posteriormente, el coche se alejó y volvió a detenerse, lo que permitió a la policía alcanzarlo. Averiguar por qué el coche hizo esto puede ser complicado.

"Tenemos que entender cómo se toman las decisiones en los coches autónomos", dice Dan Simion, vicepresidente de IA y análisis de Capgemini. "El fabricante de coches tiene que ser transparente y explicar lo que ha pasado. La transparencia y la explicabilidad son componentes de la IA ética".

Con demasiada frecuencia, los sistemas de IA son ‘cajas negras’ inescrutables, que proporcionan poca información sobre cómo sacan conclusiones. Por ello, encontrar el origen de un problema puede ser muy difícil, lo que hace dudar de que el problema pueda solucionarse.

"Creo que con el tiempo llegarán las normativas, sobre todo cuando hablemos de coches autónomos, pero también para las decisiones autónomas en otros sectores", dice Simion.

Pero las empresas no deberían esperar para incorporar la explicabilidad a sus sistemas de IA, dice. A largo plazo, es más fácil y barato incorporar la explicabilidad desde el principio, en lugar de tratar de añadirla al final. Además, hay razones empresariales inmediatas y prácticas para crear una IA explicable, dice Simion.

Más allá de los beneficios en materia de relaciones públicas de poder explicar por qué el sistema de IA hizo lo que hizo, las empresas que adoptan la explicabilidad también podrán solucionar los problemas y racionalizar los procesos más fácilmente.

¿El problema estaba en el modelo o en su aplicación? ¿Estaba en la elección de los algoritmos o en una deficiencia en el conjunto de datos de entrenamiento?

Las empresas que utilizan herramientas de terceros para algunos o todos sus sistemas de IA también deberían trabajar con sus proveedores para exigir que sus productos sean explicables.

 

Riesgos en el sentimiento de los empleados

Cuando las empresas crean sistemas de IA que violan la privacidad de los usuarios, que son parciales o que perjudican a la sociedad, cambia la forma en que sus propios empleados los ven.

Los empleados quieren trabajar en empresas que compartan sus valores, dice Steve Mills, jefe de ética de IA en Boston Consulting Group. "Un elevado número de empleados deja su trabajo por cuestiones éticas", afirma. "Si quieres atraer talento técnico, tienes que preocuparte de cómo vas a abordar estas cuestiones".

Según una encuesta publicada por Gartner a principios de este año, la actitud de los empleados hacia el trabajo ha cambiado desde el comienzo de la pandemia. Casi dos tercios se han replanteado el lugar que debe ocupar el trabajo en su vida y más de la mitad afirmaron que la pandemia les ha hecho cuestionar el propósito de su trabajo diario y les ha hecho querer contribuir más a la sociedad.

Y, el pasado otoño, un estudio de Blue Beyond Consulting y Future Workplace demostró la importancia de los valores. Según la encuesta, el 52% de los trabajadores dejaría su trabajo -y sólo 1 de cada 4 lo aceptaría- si los valores de la empresa no fueran coherentes con los suyos. Además, el 76% dijo que espera que su empleador sea una fuerza del bien en la sociedad.

Aunque las empresas pueden iniciar programas de ética en inteligencia artificial por razones normativas o para evitar la mala publicidad, a medida que estos programas maduran, las motivaciones cambian.

"Lo que estamos empezando a ver es que tal vez no empiezan así, pero aterrizan en que es una cuestión de propósito y valores", dice Mills. "Se convierte en una cuestión de responsabilidad social. Un valor fundamental de la empresa".