Comunicaciones | Noticias | 11 SEP 2018

Tras diez años, Netflix termina su migración a la nube con AWS

Dave Hahn, ingeniero sénior de Neflix, explica cómo la empresa escalará para ofrecer transmisión de video a 130 millones de suscriptores.
Netflix
Tom Macaulay

En sus 20 años de historia, Netflix ha pasado de ser un sitio web de alquiler de DVD con 30 empleados a ser un servicio global de transmisión con más de 5.000 títulos, 130 millones de suscriptores y 1.100 millones de dólares anuales que han transformado drásticamente la industria del entretenimiento.

En el Consumer Electronics Show en enero de 2016, el CEO de Netflix Reed Hastings lanzó el servicio en más de 130 países. Todo esto fue posible gracias a una transformación radical de una operación de TI tradicional, como explicó recientemente Dave Hahn, ingeniero senior en el equipo de fiabilidad y operaciones en la nube de Netflix, en Service Desk y IT Support Show en Londres. "Conectamos el servicio para otros 130 países y millones de clientes nuevos a los que no habíamos prestado servicio anteriormente", dijo Hahn y añadió "creo que se pueden imaginar la cantidad de trabajo, pensamiento y diseño de arquitectura que tuvimos que hacer para abrir hasta 130 países, y millones de nuevos clientes justo en ese momento: la arquitectura técnica, la investigación, los sistemas de facturación, el tipo de las personas que necesitábamos y la forma de pensar sobre este tipo de problemas para que eso ocurra ".

El viaje comenzó cuando Netflix decidió pasar de sus propios centros de datos a la nube pública.

Migrando con microservicios
En 2008, Netflix ejecutaba bases de datos relacionales en sus propios centros de datos cuando ocurrió un desastre. Un fallo del centro de datos cerró todo el servicio y detuvo los envíos de DVD durante tres días.

Los propietarios de la compañía tuvieron que elegir: convertir Netflix en una empresa de operaciones de centro de datos de clase mundial o trasladar el servicio a la nube pública.

Netflix estaba creciendo rápidamente. Los miles de videos y decenas de millones de clientes ya generaban una enorme cantidad de datos. La compañía tendría problemas para instalar los servidores en sus propios centros de datos lo suficientemente rápido como para manejar los volúmenes en constante crecimiento, pero la nube les permitiría agregar miles de servidores virtuales y petabytes de almacenamiento en cuestión de minutos.

Una migración a la nube fue la elección clara. Pronto se convirtieron en clientes secundarios de Amazon Web Services (AWS), por su escala y su amplio conjunto de servicios y características.

Sin embargo, la medida requeriría una reorganización completa de la infraestructura tradicional de la compañía. Optaron por reconstruir la tecnología de Netflix en AWS y fundamentalmente cambiar la forma en que operaba la empresa.

Esto hizo que la infraestructura fuera mucho más ágil al dividir aspectos del servicio en múltiples microservicios, administrados por sus propios equipos pequeños que entendían cómo funcionaba su servicio e interactuaban con otros sistemas. 

Esto proporciona información clara y específica que facilita el cambio del servicio, lo que lleva a implementaciones más pequeñas y más rápidas. También les permite aislar los servicios para comprender los diversos perfiles de rendimiento, patrones y seguridades en cada microservicio, y alejarse de cualquier pieza individual que esté causando un problema.

Beneficios de la nube
Netflix tardó siete años en completar la migración a la nube. En 2016, se cerraron los últimos centros de datos restantes utilizados por el servicio de transmisión. En su lugar, había una nueva infraestructura en la nube que ejecutaba todas las necesidades de computación y almacenamiento de Netflix, desde la información del cliente hasta los algoritmos de recomendación.

La migración mejoró la escalabilidad y la disponibilidad del servicio y la velocidad con la que la compañía podría lanzar nuevo contenido, características, interfaces e interacciones. También liberó la capacidad de los ingenieros, redujo los costos de transmisión, mejoró drásticamente la disponibilidad y agregó la experiencia y la experiencia de AWS.

Otra cosa muy importante para la compañía es el modelo de pago por uso, lo que les permite hacer muchas pruebas.

Entrega de contenido

La nube es solo una parte de la experiencia de usuario de Netflix. Todo lo que ocurre antes de que accedan tiene lugar en AWS, pero el contenido de video que sigue proviene de un sistema separado: Netflix OpenConnect, la red de entrega de contenido (CDN) propiedad de la compañía. Los dispositivos OpenConnect almacenan el contenido de video y lo entregan a los dispositivos del cliente. Los CDN están diseñados para ofrecer contenido basado en Internet a los espectadores al acercarlo a donde estén. Netflix externalizó originalmente la entrega de video en tiempo real a proveedores de CDN de terceros, pero a medida que la empresa creció, estos proveedores tuvieron dificultades para soportar el tráfico. Netflix necesitaba más control sobre el servicio y la experiencia del usuario. La compañía decidió diseñar un CDN adaptado a sus necesidades. Ahora instala dispositivos OpenConnect que almacenan y entregan contenido dentro de los centros de datos del proveedor de servicios de Internet (ISP), lo que aísla el servicio Netflix de la internet más amplia.

Los algoritmos de popularidad y las técnicas de almacenamiento ayudan a distribuir el contenido de manera que maximizan la eficiencia de la descarga. El sistema reduce la demanda en la capacidad de la red ascendente y ayuda a Netflix a trabajar más de cerca con las redes ISP que alojan su tráfico. También permitió a Netflix hacer el software CDN más inteligente. Ahora, cada vez que un cliente presiona jugar, su dispositivo puede obtener su contenido de numerosos lugares en Internet. 

Una herramienta de ingeniería de caos de autoservicio llamada Chaos Automation Platform fue pionera para probar problemas en sus entornos de producción para que puedan estar seguros de que su software se comportará como lo deseen durante un fallo. Utilizan el método de ingeniería del caos para garantizar que Netflix pueda sobrevivir a un fallo en una de las tres regiones de AWS que utiliza. Cada mes, desactivan una de las regiones y prueban que pueden mover todas los clientes que estaba sirviendo a otro en seis minutos. Para abrazar el caos sin causar destrucción, Netflix tuvo que crear una cultura corporativa que respaldara tales ideas.

Un principio central de la política es equilibrar la libertad con la responsabilidad. A los equipos se les otorga la propiedad de su microservicio y se los alienta a actuar de forma independiente pero no imprudentemente. Su trabajo es darles el contexto apropiado para que puedan tomar las decisiones, contratar a un excelentes compañeros para que trabajen con ellos. La empresa evita hacer demasiadas reglas más allá de un conjunto de principios fundamentales, tales como no tocar nunca los datos de los clientes.

Comentar
Para comentar, es necesario iniciar sesión
Se muestran 0 comentarios