¿Está su centro de datos preparado para la IA generativa?

La adopción empresarial de inteligencia artificial generativa (IA), que es capaz de generar texto, imágenes u otros medios en respuesta a indicaciones, se encuentra en sus primeras etapas, pero se espera que aumente rápidamente a medida que las organizaciones encuentren nuevos usos para la tecnología.

“El frenesí de la IA generativa no muestra signos de disminuir”, dice la analista de Gartner Frances Karamouzis. “Las organizaciones se esfuerzan por determinar cuánto dinero invertir en soluciones de IA generativa, en qué productos vale la pena invertir, cuándo comenzar y cómo mitigar los riesgos que conlleva esta tecnología emergente”.

Bloomberg Intelligence predice que el mercado de IA generativa crecerá a un asombroso 42% anual durante la próxima década, de 40.000 millones de dólares en 2022 a 1,3 billones.

La IA generativa puede ayudar a los equipos de TI de varias maneras: puede escribir código de software y scripts de red, proporcionar solución de problemas y resolución de problemas, automatizar procesos, brindar capacitación e incorporación, crear documentación y sistemas de gestión del conocimiento, y ayudar con la gestión y planificación de proyectos.

También puede transformar otras partes del negocio, incluidos los centros de llamadas, el servicio al cliente, los asistentes virtuales, el análisis de datos, la creación, el diseño y el desarrollo de contenido y el mantenimiento predictivo, por nombrar algunos.

Pero, ¿podrán las infraestructuras de los centros de datos manejar la creciente carga de trabajo generada por la IA generativa?

 

Impacto de la IA generativa en los requisitos informáticos

No hay duda de que la IA generativa será parte de las estrategias de datos de la mayoría de las organizaciones en el futuro. Lo que los líderes de redes y TI deben hacer hoy es asegurarse de que sus infraestructuras de TI, así como sus equipos, estén preparados para los cambios que se avecinan.

A medida que construyen e implementan aplicaciones que incorporan IA generativa, ¿cómo afectará eso la demanda de poder de cómputo y otros recursos? 

“La demanda de centros de datos tal como los conocemos hoy aumentará y cambiará drásticamente el aspecto de los centros de datos y su tecnología asociada en el futuro”, dice Brian Lewis, director general de asesoría de la firma consultora KPMG.

Las aplicaciones de IA generativa crean una demanda significativa de poder de cómputo en dos fases: entrenar los modelos de lenguaje grande (LLM) que forman el núcleo de los sistemas de IA generados y luego operar la aplicación con estos LLM capacitados, dice Raul Martynek, director ejecutivo del operador del centro de datos DataBank. .

"Entrenar a los LLM requiere computación densa en forma de redes neuronales, donde miles de millones de ejemplos de lenguaje o imágenes se introducen en un sistema de redes neuronales y se refinan repetidamente hasta que el sistema los 'reconoce' tan bien como lo haría un ser humano", dice Martynek. .

Las redes neuronales requieren clústeres de computación de alto rendimiento (HPC) tremendamente densos de procesadores GPU que se ejecutan continuamente durante meses, o incluso años, dice Martynek. “Se ejecutan de manera más eficiente en una infraestructura dedicada que se puede ubicar cerca de los conjuntos de datos patentados que se utilizan para la capacitación”, dice.

La segunda fase es el "proceso de inferencia" o el uso de estas aplicaciones para realizar consultas y devolver resultados de datos. “En esta fase operativa, se requiere una infraestructura más dispersa geográficamente que pueda escalar rápidamente y brindar acceso a las aplicaciones con menor latencia, ya que los usuarios que consultan la información querrán una respuesta rápida para los casos de uso imaginados”.

Eso requerirá centros de datos en muchas ubicaciones en lugar del modelo de nube pública centralizada que actualmente es compatible con la mayoría de las aplicaciones, dice Martynek. En esta fase, la demanda de potencia informática del centro de datos seguirá siendo elevada, dice, "pero en relación con la primera fase, dicha demanda se distribuye entre más centros de datos".

 

La IA generativa impulsa la demanda de refrigeración líquida

Los líderes de redes y TI deben ser conscientes del impacto que tendrá la IA generativa en la densidad del servidor y lo que eso hace a los requisitos de refrigeración, demandas de energía, iniciativas de sostenibilidad, etc.

“No se trata solo de la densidad, sino del ciclo de trabajo de la frecuencia y la cantidad de esos servidores que se utilizan en la carga máxima”, dice Francis Sideco, analista principal de Tirias Research. “Estamos viendo compañías como NVIDIA, AMD e Intel con cada generación de silicio de IA tratando de aumentar el rendimiento mientras mantienen la potencia y la temperatura bajo control”.

Incluso con estos esfuerzos, los presupuestos de energía siguen aumentando, dice Sideco. “Con la rapidez con la que aumentan las cargas de trabajo, especialmente con GenAI, en algún momento estaremos chocando contra un muro”.

La densidad del servidor “no tiene que aumentar como vimos con la tecnología blade y los hosts virtuales”, agrega Lewis. “Las innovaciones técnicas como los chips que no son de silicio, las unidades de procesamiento de gráficos (GPU), la computación cuántica y el desarrollo de software basado en modelos y con reconocimiento de hardware podrán sacar más provecho del hardware existente”.

La industria ya ha estado experimentando con técnicas innovadoras de refrigeración líquida que son más eficientes que el aire, así como con la sostenibilidad en diversos lugares, como Project Natick de Microsoft, un centro de datos submarino, dice Lewis.

“Las técnicas tradicionales de refrigeración por aire, como el uso de ventiladores, conductos, rejillas de ventilación y sistemas de aire acondicionado, no son suficientes para satisfacer las demandas de refrigeración del hardware informático de alto rendimiento, como las GPU”, dice Lewis. “Por lo tanto, las tecnologías de refrigeración alternativas, como la refrigeración líquida, están ganando terreno”.

La refrigeración líquida implica la circulación de refrigerantes, como agua u otros fluidos, a través de intercambiadores de calor para absorber el calor generado por los componentes de la computadora, dice Lewis. “La refrigeración líquida es más eficiente energéticamente que la refrigeración por aire tradicional, ya que los líquidos tienen una conductividad térmica más alta que el aire, lo que permite una transferencia de calor mejor y más eficiente”.

Los nuevos diseños de centros de datos deberán satisfacer mayores requisitos de refrigeración y demandas de energía, dice Martynek, lo que significa que los futuros centros de datos tendrán que depender de nuevos métodos de refrigeración, como puertas traseras refrigeradas, agua al chip o tecnologías de inmersión para proporcionar la combinación correcta de energía. , refrigeración y sostenibilidad.

Los operadores de centros de datos ya están implementando avances en refrigeración líquida, dice Martynek. Por ejemplo, DataBank utiliza una nueva solución de enfriamiento de puerta trasera ColdLogik Dx de QCooling en sus instalaciones en Atlanta que albergan la supercomputadora Georgia Tech.

“Esperamos un aumento significativo en las tecnologías de enfriamiento de agua a la puerta y agua al chip, especialmente porque las futuras generaciones de GPU consumirán aún más energía”, dice Martynek. “La demanda de más espacio de cómputo y potencia derivada de la adopción de IA generativa sin duda impulsará la búsqueda de más eficiencias en el consumo de energía y refrigeración”.

 

Cómo Gen AI afecta los requisitos de energía

Podría volverse más frecuente que los operadores de centros de datos construyan sus propias subestaciones de energía, dice Martynek. “Las tensiones en la red eléctrica debido a la demanda y la transición a fuentes de energía renovable están creando más incertidumbre en torno al suministro de energía, y los cronogramas de proyectos de nuevos centros de datos están fuertemente influenciados por la carga de trabajo de la empresa de servicios públicos y su capacidad para manejar las necesidades de energía de las nuevas instalaciones. " él dice.

Tener una fuente de energía confiable y escalable será cada vez más una prioridad para los operadores de centros de datos, tanto para mantenerse al día con la demanda de energía generada por los clústeres de HPC como para sortear los plazos y las limitaciones de los servicios públicos, dice Martynek.

DataBank está implementando un nuevo estándar de diseño de centro de datos llamado Universal Data Hall Design (UDHD), que presenta un piso de losa con enfriamiento de aire perimetral y mayor espacio entre gabinetes que es ideal para implementaciones en la nube a hiperescala y se puede implementar rápidamente, dice Martynek.

“Este enfoque también nos permite agregar fácilmente pisos elevados y gabinetes más pequeños para cargas de trabajo empresariales más tradicionales”, dice Martynek. “Y podemos agregar tecnologías de enfriamiento de última generación, como intercambiadores de calor de puertas traseras, configuraciones de puertas enfriadas por agua o infraestructura de enfriamiento directo de chips con un esfuerzo mínimo”, dice.

En el futuro, el diseño de tecnología para los centros de datos “tendrá que adaptarse a demandas informáticas más altas, como memoria de acceso rápido, redes robustas de almacenamiento/área de almacenamiento, redes de alto rendimiento tolerantes a retrasos/interrupciones y tecnologías de bases de datos de big data”, dice Lewis.

 

Los equipos de TI deben prepararse

Los equipos de redes y centros de datos deberían estar preparándose ahora. “Estos cambios están ocurriendo demasiado rápido para que alguien esté completamente preparado”, dice Sideco. “No son solo los equipos de redes/centros de datos, sino todo el ecosistema el que debe abordar todos los cambios necesarios”.

Eso incluye a los proveedores de silicio para manejar las mayores cargas de trabajo y las necesidades de energía. “Proporcionan las diferentes opciones que los equipos de redes/centros de datos utilizan para tratar de [abordar] los requisitos cambiantes”, dice Sideco. “La colaboración entre todos estos será importante para tratar de mantener el ritmo de la demanda”.

Otros tienen más confianza en los preparativos. “Nosotros en TI siempre estamos listos para la próxima interrupción”, dice Lewis. “La verdadera pregunta es: ¿invertirá la empresa en lo que se necesita para cambiar? El ahorro de costes sigue estando a la vanguardia de la subcontratación de centros de datos. Sin embargo, la empresa aún no ha adoptado marcos modernos de coste total de propiedad y realización de valor de TI para medir la capacidad de TI para responder y adaptarse a la velocidad que tecnologías como la IA están impulsando el negocio”.

“Para prepararse para la adopción de IA, los centros de datos deben identificar la estrategia comercial y de capital adecuada para poder invertir en la infraestructura y las herramientas necesarias y desarrollar una fuerza laboral debidamente capacitada”, dice Martynek. “Contar con las personas adecuadas para ejecutar la estrategia es tan importante como tener la estrategia correcta”.