Abordando los problemas del trabajo con HPC
Un nuevo consorcio creará middleware con el que resolver las dificultades del movimiento de datos en aplicaciones y flujos de trabajo en entornos de HPC.
La computación de alto rendimiento es uno de los terrenos que más atención están suscitando dentro de las nuevas tendencias tecnológicas. Con un importante potencial estratégico, son muchas las empresas que destinan activos a su desarrollo y los organismos interesados en sacar el máximo partido de su aplicación. Entre ellas está la Unión Europea, que ve en la HPC un recurso clave para el futuro de la región, dado su doble empleo en investigación, para abordar problemas complejos, como a nivel de política, en la toma de decisiones que permitan innovar.
Entre las últimas decisiones del organismo sobre HPC está la de financiar un proyecto para construir un marco de middleware compatible con datos y con memoria, que organice de forma eficiente el movimiento de datos a través de distintos niveles de memoria y almacenamiento. La iniciativa, que se ha presentado bajo el nombre de consorcio Maestro, permitirá la optimización del flujo de estos datos para aplicaciones y analítica de computación de alto rendimiento.
En el consorcio colaboran siete socios expertos: la spin-off de la Universidad de A Coruña Appentra, el instituto de investigación ECMWF, el Centro de Supercomputación Nacional Suízo de ETH Zurich y el Julich Supercomputing Center, el CEA y las empresas Cray y Seagate Technologies. Por la parte de la financiación, Maestro contará con el apoyo de una subvención de tres años del programa H2020 Future Enabling Technologies for HPC (FETHPC) de la Comisión Europea.
La organización de datos en múltiples niveles de memoria y hardware de almacenamiento, así como la pila de software, es uno de los problemas principales del trabajo con HPC, explican desde Maestro. Aunque ahora se reconoce que el movimiento de datos es el principal obstáculo para la eficiencia del rendimiento, gran parte de la pila de software no es adecuada para optimizar este movimiento. Antiguamente, cuando se comenzaban a diseñar estas pilas, la prioridad era la mejora en operaciones de punto flotantes, y se descuidaban en consecuencia las tareas de gestión de la información. Esta nueva iniciativa quiere cambiar la arquitectura, centrando en una nueva capa de middleware los aspectos de las aplicaciones y la pila de software que tienen en cuenta los datos y la memoria. Esta será la encargada de realizar el movimiento y la optimización de los datos básicos en nombre de la aplicación, haciendo uso de los sistemas de memoria modernos y aislando el software de otras tareas subyacentes.
Para el coordinador del proyecto, el profesor Dirk Pleiter, este supondrá "una oportunidad única para desafiar los enfoques tradicionales para el manejo de objetos de datos y movimientos de datos en aplicaciones y flujos de trabajo de HPC complejos". Esto, a su vez, tendrá importantes implicaciones en el escenario general de la computación de alto rendimiento, especialmente en "la explotación eficiente de los futuros supercomputadores a exascala".
