Estée Lauder aplica IA y AR para la accesibilidad de los cosméticos

¿Cómo podemos ayudar a las personas con discapacidad visual a utilizar nuestros productos y a sentirse más autosuficientes y seguras? Esa es la pregunta que The Estée Lauder Companies (ELC) se propuso responder en 2022 con la ayuda de la IA y la realidad aumentada (AR).

El resultado es el asistente de maquillaje por voz (VMA, por sus siglas en inglés), ahora completamente lanzado en el Reino Unido y EE. UU., y que pronto debutará en todo el mundo. El proyecto también le valió el premio CIO 100 2023 en excelencia en TI.

"Nos propusimos abordar un problema comercial importante en la industria de la belleza, y es la falta de soluciones accesibles", dice Michael Smith, vicepresidente senior y CIO de ELC. “Hay 2.200 millones de personas en todo el mundo que tienen algún tipo de discapacidad visual. Hay más de dos millones sólo en el Reino Unido, que es nuestro mercado piloto. Pero es más que una simple oportunidad de negocio. También es algo que se alinea con nuestra misión de ser la empresa de belleza más inclusiva y diversa del mundo, tanto para nuestros empleados como para todos nuestros consumidores”.

Christopher Aidan, vicepresidente de innovación y tecnologías emergentes de la compañía, agrega que las personas con discapacidad visual a menudo deben depender de otros para obtener ayuda, por lo que la visión de VMA fue utilizar la plataforma de aplicación inmersiva de realidad aumentada (ARIA) existente, que aprovecha AR, AI y algoritmos de aprendizaje automático (ML) para analizar el maquillaje en la cara de un usuario. Luego, VMA utiliza la guía de voz para ayudar al usuario a crear su apariencia ideal.

VMA es una aplicación móvil que aprovecha las preferencias que el usuario ya ha configurado en su dispositivo para los controles de voz, pero también ofrece la opción de personalizar la voz y su velocidad mediante la configuración de accesibilidad.

Conseguir la IA correcta

Si bien el equipo de Aidan pudo crear la aplicación con relativa rapidez, las etapas de investigación para llegar a ese punto resultaron desafiantes. Con la inclusión como principio rector del proyecto, el equipo reconoció la necesidad de que la aplicación se adaptara a todas las formas, tamaños, tonos y características únicas del rostro de cualquier usuario potencial. Garantizar que la IA pudiera adaptarse y reaccionar a la diversidad de colores, sombras, rasgos faciales, cabello y otras inclusiones hizo que el proceso de entrenamiento de la IA fuera más complejo de lo previsto inicialmente, requiriendo una amplia diversidad de rostros para el corpus de entrenamiento.

El diseño original implicaba hacerse una foto, que el algoritmo analizaba para evaluar la uniformidad de la aplicación y luego proporcionaba orientación al usuario. Sin embargo, no pasó mucho tiempo antes de que el equipo utilizara video en tiempo real para escanear la cara del usuario. Por ejemplo, si el video muestra que el usuario se aplicó la base o el lápiz labial de manera desigual, la aplicación proporciona descripciones verbales de las áreas específicas que necesitan un retoque y orientación para corregir el problema. Luego, el usuario puede realizar ajustes, volver a escanear y la aplicación le indicará cuando todo se haya aplicado correctamente.

Sin embargo, la primera prioridad para Aidan y su equipo era interactuar directamente con la comunidad con discapacidad visual. "Realmente queríamos comprender cuáles eran sus necesidades únicas, sus puntos débiles y preferencias, y qué deseaban de nuestros productos", dice. "Reunimos grupos focales e hicimos preguntas, pero principalmente los escuchamos sobre sus experiencias personales con el maquillaje y la tecnología".

Es importante destacar que algunos miembros del grupo focal eran completamente ciegos, algunos experimentaban diversos grados de baja visión y otros tenían una excelente visión periférica. Esto permitió a su equipo obtener información de una variedad de experiencias individuales y cuestionar sus propias suposiciones.

"Asumimos que la preferencia para la implementación sería una voz con un sonido más natural y humanista, pero la investigación de usuarios confirmó que la familiaridad era en realidad lo más importante para nuestros usuarios", dice Aidan. "Cualquier cosa que hayan configurado en su dispositivo es lo que querían experimentar".

El equipo también se asoció con grupos de defensa internos de ELC, grupos de defensa externos y expertos en accesibilidad e inclusión, y combinó sus conocimientos con los comentarios de los grupos focales para recopilar los requisitos para VMA. Luego, el equipo aprovechó la investigación de los usuarios para todo, desde nombrar la aplicación hasta conseguir el tono de voz perfecto.

"A lo largo de las fases de diseño, construcción y prueba, sus comentarios influyeron en nuestras decisiones, incluso en las funciones más pequeñas, como poder ajustar la velocidad del habla del asistente virtual", dice Aidan.

Un trabajo en progreso

El equipo ha seguido monitoreando los comentarios sobre la aplicación desde su lanzamiento inicial en el Reino Unido en enero, y Aidan señala que incluso con pruebas exhaustivas antes del lanzamiento, los usuarios han identificado nuevos problemas desde entonces.

"Empezamos a recibir preguntas que nadie había hecho en todas las primeras entrevistas", dice. “¿Qué pasa cuando elimino el producto? ¿Puedes decirme si hice un buen trabajo al eliminarlo?

Smith dice que están midiendo el éxito de VMA a través de los comentarios de los usuarios, que han sido tan positivos como constructivos.

"Un usuario dijo: 'Esta es una de esas aplicaciones en las que me preguntaré cómo pude vivir sin ella'", dice Smith. “La aplicación les permite sentirse empoderados y probar nuevos productos y evitar sentir que tienen que depender de otras personas cuando podrían dudar incluso en preguntar. La aplicación no juzga; es simplemente honestidad”.

Smith también dice que VMA no solo beneficia a quienes tienen discapacidad visual. Por ejemplo, los jóvenes que no tienen un adulto en sus vidas que los apoye, o aquellos que no se sienten cómodos preguntándole a un adulto podrían usar esta aplicación para aprender a maquillarse.

“Retaría a otros CIO a que dieran prioridad a la creación de productos más accesibles e inclusivos”, afirma. "Cuando diseñas para todas las capacidades y personas de manera inclusiva, beneficias a todos".