El CIO de Cisco: "Integraremos la IA en toda la cartera de productos"

Menos de un año después de que ChatGPT de OpenAI fuera lanzado al público, Cisco Systems ya está en el proceso de incorporar inteligencia artificial generativa (genAI) en toda su cartera de productos y sistemas internos de backend.

El plan es utilizarlo en prácticamente todos los rincones de la empresa, desde la automatización de funciones de red y el monitoreo de la seguridad hasta la creación de nuevos productos de software.

Pero el CIO de Cisco, Fletcher Previn, también está lidiando con una escasez de talento de TI para crear y modificar plataformas de modelos de lenguaje grandes (LLM) para aplicaciones de IA de dominios específicos. Como resultado, los trabajadores de TI aprenden sobre la marcha, mientras descubren nuevos lugares y formas en que la tecnología en constante evolución puede crear valor.

Previn asumió el cargo de CIO de Cisco en abril de 2022. Antes de eso, trabajó en IBM durante 15 años, los últimos cuatro como CIO. Previn conoce el panorama competitivo y es consciente de que cada modelo de genAI que crea su empresa es un fruto fácil para el espionaje industrial. Al mismo tiempo, le preocupa asegurar la tecnología patentada de IA, cuya creación cuesta millones de dólares, y comprende que la genAI a veces puede tomar decisiones propias. Mantener a un ser humano informado siempre es importante.

Previn ha hablado con ComputerWorld sobre los esfuerzos internos de IA de Cisco. Los siguientes son extractos de esa entrevista.

 

¿Cómo utiliza Cisco la IA generativa y cuáles son los desafíos?

Es un momento emocionante. Es un momento especialmente interesante para estar en TI, donde ahora, 10 u 11 meses después de que ChatGPT entrase en escena, continúa sorprendiendo y aterrorizando por igual.

Pensamos en tres categorías sobre cómo vamos a aplicar la IA para nosotros, nuestros productos y nuestros clientes.

En términos de cómo lo usamos para nosotros mismos, hay mucho en eso. Llevo aproximadamente un año en el trabajo y paso mucho tiempo pensando en TI como un cambio cultural y en cómo incorporamos la tecnología como una fuerza multiplicadora para nuestra fuerza laboral; la IA ayuda en ese sentido.

Si piensas en las redes, el negocio principal de Cisco, tienes esta fuente de datos e información y es la capacidad de identificar cosas de manera oportuna, darles sentido y tomar medidas basadas en ellas, donde la IA sobresale.

Entonces, si piensa en la monitorización de la red, puede usar algoritmos de IA para analizar grandes cantidades de datos en tiempo real para detectar anomalías, detectar problemas de rendimiento o predecir problemas. Toda la idea del mantenimiento predictivo y el uso de IA para detectar cuándo vas a tener una fallo de red o un problema de rendimiento y luego realizar un mantenimiento preventivo para evitarlo, es enorme; entonces la capacidad de automatizar tareas rutinarias de administración de red, como administración de configuración, aprovisionamiento de dispositivos, aplicación de políticas, reducción de tareas manuales en general.

 

"El potencial de uso de IA para detectar cuándo vas a tener una fallo de red o un problema de rendimiento y luego realizar un mantenimiento preventivo para evitarlo, es enorme"

 

¿Qué te mantiene despierto por la noche en términos de IA?

Creo que queremos asegurarnos de tener un ser humano informado en todo momento. Creo que parte de la razón por la que el aprendizaje automático fue lento y difícil es porque había que tomar un conjunto de datos, seleccionarlos y luego entrenar el aprendizaje automático con esos datos, y la respuesta a la pregunta que estaba haciendo tenía que existir en esos datos. Ese no es el caso si puede razonar sobre los datos. Entonces puede comenzar a acercarse a la comprensión humana de lectura y escritura para responder preguntas a las que no hay respuesta previa.

Pero necesitamos que los seres humanos participen para garantizar que esas respuestas sean correctas y compatibles con nuestros valores y modelos de negocio; de ahí la necesidad de nuestras políticas comerciales responsables y éticas.

 

¿Cuántos productos que tengan genAI integrado ha creado hasta ahora ?

Es irónico. Actualmente estoy preparando un documento para la junta directiva de Cisco y ya tiene 10 páginas. La respuesta es que integraremos la IA en toda la cartera de productos de Cisco y ya estamos en el camino correcto.

Está en toda la cartera. Sería una respuesta más corta preguntar qué productos no utilizan IA. Está en todos los productos y muy rápidamente la gente está corriendo hacia lo que la IA puede aportar, ya sea en el espacio de colaboración o en el espacio de seguridad. Puede ver intuitivamente su utilidad para el portafolio de seguridad: simplificar las cosas, aumentar la velocidad, automatizar tareas y comprender lo que sucede en estados digitales complejos en tiempo real.

Esas son tareas desafiantes y la IA es una solución perfecta para aplicar cosas como ThousandEyes y nuestra SD-WAN Umbrella y Duo SASE [servicio de acceso seguro] SD-WAN. ¿Cómo se mueve el tráfico? ¿Qué decisiones se están tomando sobre cómo se gestiona ese tráfico? ¿Qué anomalías están apareciendo? ¿Dónde están surgiendo los problemas? ¿Dónde parece haber algo malicioso? Si hago cambios aquí, ¿se propagará a todos los demás lugares, por lo que no necesito iniciar sesión en muchas otras herramientas? ¿Para tener el resultado que quiero? Ése es el esfuerzo que se está realizando actualmente.

Se está integrando muy rápidamente en cada parte del portafolio de Cisco.

 

"Integraremos la IA en toda la cartera de productos de Cisco y ya estamos en el camino correcto"

 

¿Qué pasa con la seguridad? ¿Le ha resultado útil la IA para proteger las redes?

La seguridad es una gran oportunidad para nosotros de aprovechar la IA de una manera interesante a través de la detección de amenazas y el análisis de patrones de red, identificando y resaltando comportamientos anormales y detectando amenazas de seguridad en tiempo real.

El uso de la IA para optimizar el flujo de tráfico y ajustar dinámicamente las rutas del tráfico es de gran valor para una organización de TI como la mía, ya que reduce la latencia y mejora el rendimiento. La gestión de redes impulsada por la IA puede integrar estos sistemas de TI y sistemas de orquestación de red para crear estos sistemas fluidos y sin interrupciones. 

Luego, aplicamos algunos de nuestros productos también, ya sea la plataforma ThousandEyes, Cisco Secure Network Analytics, Catalyst Smart Center Alerts o Nexus Dashboards. Reúnes toda esta telemetría, la analizas, le das sentido y tomas medidas en tiempo real y automatizas algunas de esas acciones en el futuro. Ese es el Santo Grial de la gestión de redes impulsada por IA.

 

¿Cómo ha producido la IA eficiencias para los empleados?

Si piensas en cuánta ineficiencia hay en cualquier organización grande, solo con las cosas que necesitamos hacer para realizar nuestro trabajo, lo que podemos aplicar es la automatización de ciertas tareas, haciendo emerger rápidamente información de alto valor.

Hay mucha IA abriéndose camino en la plataforma Webex. Como ejemplo, estamos usando IA para resumir una reunión, resaltar momentos importantes en una reunión y analizar el lenguaje corporal, y no solo las palabras y el lenguaje escrito. Esto sucedió en la reunión; esta persona se levantó y se fue; si se perdió una reunión, puede hacer que la IA le envíe un breve resumen de lo que sucedió en la reunión y las decisiones que se tomaron.

Ya tienes LLM. Ahora tienes esta idea de RMM [Monitorización y Gestión Remota] y Cisco va en la dirección de ser capaz de comprender el lenguaje corporal y las señales no verbales, resumirlo y darle sentido.

Poder tener una reunión por video en un mundo híbrido es necesario, pero no suficiente. En cierto modo, todavía es menos que la experiencia en persona. Estamos justo en el precipicio de toda esta emocionante innovación que resolverá esto en una manera más significativa, donde las personas no estén en desventaja por no estar juntas en la oficina. Eso es lo que estamos empezando a ver ahora con los avances en IA.

 

"Hay mucha IA abriéndose camino en la plataforma Webex [...] Estamos usando IA para resumir una reunión, resaltar momentos importantes en una reunión y analizar el lenguaje corporal"

 

Están las cosas obvias con la cancelación de ruido y los fondos virtuales, pero ahora estamos resumiendo las reuniones, ¿cuáles son las decisiones y los elementos de acción, cuál es el lenguaje corporal no verbal?? ¿Cómo se utiliza la IA para el desarrollo de software?

Luego, en el caso del desarrollo de software, antes existía la sensación de que los primeros casos de uso de la IA serían las tareas más secundarias. Pero resulta que uno de los primeros casos de uso amplio es el desarrollo de software, lo cual es realmente interesante, porque la sabiduría convencional siempre fue que no se puede acortar el tiempo que lleva desarrollar software; No existe un algoritmo de compresión para el desarrollo de software.

Es por eso que se prestó tanta atención al pasado en las pruebas y la automatización de lanzamientos. Ahora resulta que puedes usar cosas como Copilot para Github y tener IA sobre tu hombro y ayudarte a escribir código de manera más eficiente. Esto es realmente interesante en el espacio del desarrollo de software.

Creo que para finales de este año, la IA aumentará de alguna manera entre el 40% y el 60% de todo el código que se registra en Github.

 

¿Y qué impacto tiene eso en sus procesos de desarrollo de software y cómo documenta de manera adecuada, responsable y ética dónde la IA le ha ayudado en la construcción de cosas? Una preocupación ha sido que si se produce código a través de IA, se pueden introducir ciertos errores, sesgos o incluso malware. ¿Ves algún peligro en el hecho de que gran parte del desarrollo futuro de código se incremente con IA?

No sé si esas dos cosas son ciertas. Puedes tener una gran cantidad de código que se registra en Github y que es aumentado por IA sin que sea una optimización descontrolada y descontrolada. Entonces, cosas como que dos seres humanos revisen el código antes de que llegue publicado [o] tener el requisito de comentar y etiquetar cualquier código generado por IA: hay cosas que puedes hacer para ser responsable con el desarrollo de software y código generado por IA y esas son las cosas que estamos haciendo.

 

¿Qué pasa con el hecho de que se haya descubierto que la IA generativa roba propiedad intelectual para entrenar grandes modelos de lenguaje? Uno de los edictos de la orden ejecutiva del presidente Biden es para un sistema para poner marcas de agua en el contenido creado por IA. ¿Te has topado con esto? ¿Cómo lo afrontas?

Eso es probablemente un problema más inmediato para estos grandes modelos de lenguaje que están indexando todo Internet. Crea muchas preguntas interesantes en torno a qué artista recibe una compensación por el uso de su propiedad intelectual. ¿La fuente original? ¿La persona que usó la IA para ¿Crear algo nuevo a partir de la fuente original? No creo que las respuestas a esas preguntas estén claras todavía, así que en cierto modo es territorio inexplorado. ¿En qué punto algo se convierte en una creación original y en qué punto se reutiliza la creación de otra persona?

Creo que es algo en lo que vamos a tener que trabajar como sociedad. Cuando la gente hace una mezcla de una canción, ni siquiera eso siempre queda claro en los tribunales. Si muestras algo de la canción de otra persona y haces una nueva canción, Además de eso, ¿cuánto de esa nueva canción debe ser el tema para que se considere robo versus algo completamente nuevo? Probablemente terminará siendo una situación similar aquí con la IA.

Los modelos de lenguaje grandes son muy buenos para dominar el lenguaje y resumir cosas, escribir bien; es una forma de IA para poder mirar la palabra que has escrito y poder predecir cuál será la siguiente palabra. Esto es menos útil cuando desea que el conocimiento de la industria o la empresa se aplique a algo.

Por ejemplo, si quiero tener un ingeniero de redes asistido por IA que sepa todo sobre los productos de Cisco, incluidos los artículos del servicio de asistencia técnica y los documentos de soporte técnico, esquemas de productos y cosas internas como esas, entonces querrás crear tu propio modelo patentado y más pequeño para responder esas preguntas específicas de solución puntual, razón por la cual mucha gente querrá construir sus propios grupos de IA con el fin de crear esos modelos.

Eso es algo que estamos haciendo aquí en el departamento de TI: construir nuestro propio clúster GPU-AI utilizando la estructura Ethernet de Cisco para conectarlo todo, lo cual, en nuestra opinión, es el camino a seguir. Para construir un clúster de IA, se necesitan dos cosas: Necesitas GPU y necesitas conectividad de alta velocidad y baja latencia entre esas cosas. Nuestro proyecto Ethernet utiliza esas dos cosas.

 

"Todos [los empleados] deben recibir nuestra capacitación responsable en IA"

 

¿Cómo de avanzado está con sus LLM específicos de dominio?

No se puede entrenar un LLM, pero se puede hacer que interrogue grupos de datos y resumirlos. Así que puedes usarlo para cosas como optimización en tu intranet o artículos de soporte técnico, donde puedes tener un modelo OpenAI Interrogue los artículos que ha escrito y proponga las preguntas probables que le haría una persona, para las cuales este sería el mejor artículo, y luego optimice su búsqueda en función de esos resultados.

Entonces, por ejemplo, le pides que mires un artículo del servicio de asistencia técnica y digas: 'Estas son las preguntas que creo que este artículo probablemente responda', y luego modificas tu motor de búsqueda para decir que si alguien hace estas preguntas, esta es la respuesta que probablemente debería mostrarse. Ese es un tipo de caso de uso inicial fácil.

También hay cosas muy técnicas como cuál es el presupuesto de alimentación a través de Ethernet de este conmutador Cisco Catalyst versus este otro, y conectarlo a nuestro propio producto interno, mesa de ayuda y datos de servicio al cliente para poder ayudar a interrogarlo en lenguaje natural. Esas cosas ya están en marcha, al igual que la construcción de nuestro propio clúster. Eventualmente crearemos varios clústeres usando nuestra propia estructura Ethernet, pero usando diferentes GPU y diferentes planos de servidor para que podamos publicarlos como planos de referencia. para que otros puedan hacer lo mismo.

 

Es muy caro crear y formar un LLM. He oído cifras de hasta cinco millones de dólares. ¿Qué has encontrado?

Ese es el valor. Es parte de la razón por la que la seguridad es tan importante. El coste y la energía necesarios para entrenar un modelo son significativos, pero al final, la salida cabe en una unidad USB. Entonces, tienes creado un incentivo perfecto para el espionaje industrial; estos se convertirán en datos de la joya de la corona para las empresas que necesitan ser protegidas. Si eres un adversario, vas a pensar: 'No voy a gastar millones de dólares para construir mi propio grupo, entrenarlo y crear un modelo que me llevará seis meses. Simplemente lo voy a robar.

No es una gran cantidad de datos. Son 50 GB. Incluso en términos de consumo de energía, cuando construíamos incluso un centro de datos denso, poníamos tal vez 10 kw en un bastidor y tal vez en el extremo superior para un nivel realmente alto. En un clúster de cómputo denso, se necesitaría de 30 kw a 40 kw. Los clústeres de IA necesitan algo así como 100 kw por rack. Por lo tanto, se requiere una importante potencia e infraestructura para construir estos clústeres.

 

¿Qué es la generación de aumento de recuperación? ¿Cuál es su importancia?

Es una forma de incorporar a un LLM, sin necesidad de refinar y ajustar, el acceso a su información patentada donde no se convierte en parte del conjunto de capacitación pública. Ese es el valor. Puede imaginar un escenario en el que hay una búsqueda de temas. para un centro de llamadas. ¿Puedo obtener el beneficio de un LLM por el dominio del idioma, pero combinarlo con lo que sé sobre estos productos que a veces causan problemas a las personas?

 

Hay escasez de talento en torno a la creación de modelos de IA para la formación de LLM, ingeniería rápida y conocimientos generales de IA. ¿Cómo aborda la capacitación de la fuerza laboral de Cisco?

Todos deben recibir nuestra capacitación responsable en IA. Es nuevo, por lo que no encontrarás muchas personas en la fuerza laboral que tengan todas estas habilidades que se están perfeccionando. Por lo tanto, simplemente tendrás que hacerlo. desarrollar mucho este talento y, para ello, la mejor manera de aprender es a través de la experiencia.

Es muy valioso poner estas herramientas a disposición de las personas de forma segura y proporcionar un entorno donde las personas puedan experimentar. Eso incluye tanto lo físico como el software. Necesitamos construir estos entornos para que los ingenieros puedan tener en sus manos y pies en los centros de datos para comprender cómo funciona realmente esta tecnología y luego poner esos clústeres y los LLM que se ejecutarán en ellos a disposición de nuestros equipos de desarrollo de productos, nuestros desarrolladores de software y otros en la empresa para que puedan acceder al mundo real. experiencia con ingeniería rápida, pero también desarrollo de software e incorporación de funciones de IA en los productos. Es nuevo, por lo que hay una curva de aprendizaje para todos.

Probablemente sea la regla de los tercios, donde un tercio de las personas tendrá dificultades, un tercio sobresaldrá y un tercio necesitará capacitación y ayuda para llegar allí.

 

Entonces, ¿cómo ha abordado Cisco la formación interna? ¿Has creado sandboxes y videoclases?

Sí y sí. Hemos creado entornos sandbox donde las personas pueden experimentar y aprender en el trabajo. Creo que la mejor manera de aprender algo es resolviendo un problema difícil, tener un problema real que estás tratando de resolver. Es una gran función forzada a enfocar y limitar el esfuerzo para obtener una experiencia real.

Resolver un problema real y un resultado comercial. También trabajamos con equipos de productos en Cisco, personas que han tenido años de experiencia trabajando con IA. Nuestros productos de colaboración utilizan mucha IA para hacer cosas como la cancelación del ruido de fondo y determinar quién es el cuál es el orador activo en una sala y cuál es el mejor ángulo de cámara en una sala de conferencias para una reunión y resumir las reuniones.

Entonces, aprendemos unos de otros. Luego, hay ciertos trabajos en los que siempre necesitamos más: datos, diseño, experiencia de usuario, inteligencia artificial, arquitectura empresarial. Esas disciplinas siempre tienen una gran demanda y ahora más que nunca a medida que todos avanzan hacia TI basada en la experiencia, productos basados en la experiencia y tener una experiencia de usuario única en todos nuestros productos.

La IA existe desde hace un tiempo. ¿Por qué ChatGPT se popularizó tan rápido? Es porque crearon una interfaz muy simple en lugar de una API. Puedes ir a un sitio web y chatear con esta cosa.