Cómo Spotify migró a Google Cloud Platform

Spotify anunció que estaba trasladando todo a Google Cloud Platform (GCP) en 2016 por un importe de 450 millones de dólares. Desde entonces, Spotify cerró sus dos centros de datos en los EE. UU. Y estará libre de infraestructura local antes de fin de año tras una migración compleja.

¿Por qué migrar?

El director de ingeniería de Spotify, Ramon van Alteren, explica por qué Spotify decidió entrar en la infraestructura de la nube "Si se piensa en la cantidad de esfuerzo que se requiere para mantener la capacidad de computación, almacenamiento y red para una empresa global que atiende a más de 170 millones de usuarios, resulta fácil de entender" y añade " queremos ser el mejor servicio de música del mundo y los centro de datos no contribuyen a ello".

Además de liberar a los desarrolladores de preocuparse por aprovisionar y mantener la infraestructura, la compañía también quería comenzar a aprovechar parte de la innovación que proviene de Google Cloud, específicamente del almacén de datos en la nube BigQuery, Pub / Sub para mensajería y DataFlow. para procesamiento por lotes y transmisión.

Migración de servicios

El plan de migración real se formuló en 2015 y se dividió ampliamente en dos partes: servicios y datos. La migración de servicios se centró en mover casi 1.200 microservicios de centros de datos locales a Google Cloud Platform.

Los tres objetivos principales durante la migración fueron minimizar las interrupciones en el desarrollo del producto, terminar lo más rápido posible para evitar el coste y la complejidad de funcionar en un entorno híbrido y la limpieza, asegurando que Spotify no tuviera servicios persistentes corriendo en sus centros de datos.

Una de las primeras cosas que hicieron Google y Spotify fue crear un pequeño equipo de migración de ingenieros de ambos capaces de tener una visualización en vivo de todo el estado de migración para que los ingenieros pudieran autoevaluarse y ver el progreso del proyecto.

La migración de los servicios comenzó con la asignación de dependencias, ya que la arquitectura de Spotify significa que cada microservicio depende de entre 10 y 15 personas más para atender la solicitud de un cliente. Esto significa que una migración de 'big bang', donde todo se detiene, no era una opción, ya que los clientes esperan un tiempo de actividad constante del servicio.

En cambio, los equipos de ingeniería de Spotify se encargaron de trasladar sus servicios a la nube en un sprint de dos semanas, donde pausaron eficazmente cualquier desarrollo de productos. Esto también permitió que esos equipos comenzaran a evaluar su arquitectura y a desmantelar cualquier cosa innecesaria.

El segundo bloqueador fue latencia causada por la red privada virtual (VPN). Spotify descubrió que el cambio de unos 1.200 microservicios ocupaba mucho ancho de banda VPN. Amboas compañías colaborarón para lograr que funcionase de manera sólida y rápida. Así que construimos varios gigabytes de tuberías de red entre nuestros centros de datos y Google Cloud para acabar con ese problema. Una vez que estos bloqueadores se habían eliminado, Spotify pudo comenzar a mover el tráfico de usuarios a la nube. Una vez que la migración estaba en marcha el equipo de migración comenzó a inducir secretamente fallos en esos sistemas en la nube, registrando cómo los equipos reaccionaron y se recuperaron en la nueva arquitectura.

En mayo de 2017, se completó el recorrido de migración y se enrutaba el tráfico hacia Google Cloud, en diciembre de 2017, Spotify alcanzó al 100% de los usuarios y ya había cerrado su primero de cuatro centros de datos en las instalaciones. Desde entonces, el segundo centro de datos se ha cerrado y los dos últimos, ambos en Europa, se cerrarán a finales de este año.