Discover transforma la canalización de datos para el éxito de la IA

Si hay un componente clave para el éxito de la IA, son los datos. Pero incluso las organizaciones que están impregnadas de datos y son expertas en el uso de la analítica, pueden tener dificultades para establecer conductos de datos fiables y automatizados que alimenten las estrategias de aprendizaje automático.

Discover Financial Services se encontró en esta encrucijada en 2019, cuando sus desarrolladores e ingenieros de datos se enfrentaban a complejos procesos manuales que devoraban el tiempo y obstaculizaban la agilidad de la empresa. Para aprovechar plenamente el aprendizaje automático y los conocimientos de datos en tiempo real, Discover necesitaba transformar la forma en que adquiría, enriquecía y utilizaba sus datos. ¿Su respuesta? Cloud Data Fabric, una plataforma propia que reúne una serie de servicios para proporcionar una automatización basada en metadatos, una ingesta/carga en tiempo real y una gobernanza integrada en la nube.

"Reunimos a nuestros mejores líderes técnicos para pensar en el problema, establecer algunos requisitos iniciales y crear ideas arquitectónicas sobre cómo podríamos alcanzar nuestros objetivos", dice Amir Arooni, vicepresidente ejecutivo y CIO de Discover Financial Services. "Llevábamos las ideas y hacíamos un recorrido por varios escuadrones o líderes de productos de ingeniería para buscar opiniones y hacer ajustes en el camino".

Hasta entonces, el proceso de Discover para construir pipelines de datos implicaba largas conversaciones entre los desarrolladores de aplicaciones y los ingenieros para decidir qué datos enviar a la analítica. A continuación, los desarrolladores codificaban manualmente los scripts para extraer los datos de las bases de datos operativas y programaban esos scripts para enviar los datos sin procesar a una zona de aterrizaje del entorno analítico. Los ingenieros de datos creaban entonces aplicaciones de datos especializadas para aceptar los archivos de datos brutos y realizar diversas acciones, como la validación del esquema. Los ingenieros de datos también tenían que capturar la información sobre la sensibilidad de los datos para poder programar la lógica para tokenizar los campos correctos.

En última instancia, esto significaba que los ingenieros de datos pasaban horas codificando manualmente la lógica y averiguando dónde enviar los datos analíticos y los formatos adecuados para almacenarlos.

Arooni y su equipo se reunieron con los equipos de seguridad y de transmisión de archivos de Discover, con sus grupos de infraestructura en la nube, con sus equipos de DBA y de gobierno de datos, y con sus ingenieros y científicos de datos, para discutir sus ideas para rectificar esta situación. La estructura de datos en la nube resultante, por la que Discover Financial Services ganó recientemente el premio CIO 100 a la excelencia en TI, reúne servicios que transmiten datos desde las bases de datos de las aplicaciones operativas de Discover, capturan metadatos, tokenizan campos de datos sensibles y rastrean el linaje de los conjuntos de datos.

"Los productos de la estructura se esfuerzan por mejorar la eficiencia de la ingeniería de datos a través de la automatización basada en metadatos y experiencias de usuario sin fricción", dice Arooni. "Por ejemplo, nuestro tejido consiste en productos que manejan nuestra ingestión de datos a velocidades mucho más rápidas, y podemos dirigir los datos a múltiples destinos en tiempo real con sólo pulsar unos pocos botones".

La pista de aterrizaje del éxito

El proyecto no estuvo exento de desafíos, el mayor de los cuales fue asegurar que todos los niveles estuvieran alineados con los objetivos y la visión, reconoce Arooni.

"Hicieron falta muchas rondas de comunicación, desde nuestros ingenieros hasta los directivos de primera línea, para que todos estuvieran de acuerdo... todo el tiempo", explica. "Somos una gran organización y hay muchas ideas, opiniones y distintos grados de comprensión. Hay que tener en cuenta todos estos aspectos a la hora de escuchar, fijar objetivos y resolver problemas para liderar mientras se ejecuta".

Para que esto funcione, Discover introdujo una nueva iniciativa llamada "The Runway", que consta de cinco flujos de trabajo: mano de obra de ingeniería, automatización extrema, prácticas ágiles, fiabilidad y organización tecnológica, y disciplina y experiencia de los empleados. The Runway reúne a equipos de ingeniería más pequeños y autónomos que se centran en el desarrollo de un enfoque ágil único y en la automatización de las funciones manuales haciendo hincapié en la simplificación.

Formar equipos autónomos con capacidad para aplicar las tecnologías utilizadas en el proyecto llevó algún tiempo, dice Arooni. Se requirió comunicación y el establecimiento de confianza con varios propietarios de tecnología, y los equipos tuvieron que trabajar de forma transversal con desarrolladores de transmisión de archivos, DBA, gurús de la gestión de datos, expertos en seguridad y varios grupos de desarrolladores full-stack. Los arquitectos, los jefes de producto, los Scrum Masters y los equipos de gestión coordinaron sus esfuerzos. Varios ingenieros tuvieron que aprender a desarrollar en la nube por primera vez.

"Como parte del intento de crear equipos más autónomos, mezclamos los conjuntos de habilidades a los escuadrones de productos", admite Arooni. "Esto significa que todo el mundo puede participar en la tecnología a la que tal vez no hubieran tenido oportunidad anteriormente debido a las barreras artificiales de propiedad".

En retrospectiva, Arooni dice que habría dado un mayor impulso a los equipos autónomos al principio para establecer la eficiencia y las ganancias de moral antes. Dice que el equipo también habría organizado su modelo de diseño de arquitectura de forma un poco diferente.

"Ambas cosas las estamos haciendo ahora para nuestros nuevos desarrollos de productos", abunda.

Arooni afirma que el impacto de Cloud Data Fabric en Discover ha sido inestimable. El proyecto ha reducido el tiempo de desarrollo de ingeniería y soporte de sus conductos de datos, y sus científicos de datos, ingenieros de IA/ML y modeladores pueden obtener datos más significativos a mayor velocidad. El proyecto ha permitido ahorrar millones de dólares y evitar costes en datos retroactivos.

"El tiempo, la capacidad y las finanzas que se han ahorrado gracias a esta iniciativa de innovación es una gran victoria para Discover", reconoce Arooni.

También señala que los ingenieros de Discover han desarrollado "una tonelada de ideas" para nuevas mejoras a lo largo del desarrollo y la implantación de Cloud Data Fabric.

A sus compañeros, Arooni les dice: "Automatizad todo lo posible; la experiencia del usuario es primordial; y amad a vuestros ingenieros a través del empoderamiento".