Facebook бросил вызов самому себе, занявшись обработкой 720 миллионов видео-роликов для пользователей

facebook-hacking-1040cs051612

Известнейшей социальной сети Facebook исполняется 10 лет. В связи с этим корпорация решила отметить юбилей «с шиком» и создала интересное решение «Look Back» (Взгляд назад), которое бросает настоящий вызов своей же инфраструктуре. Сервис Look Back предоставляет пользователям возможность создавать одноминутные видеоролики в автоматическом режиме, причем это видео способно объединять сообщения, фотографии и другие файлы, которые вы размещали в Facebook.

Однако данный проект вызвал некоторые проблемы у инженеров и даже у всей структуры ЦОД корпорации. Фирме Facebook потребовалось более 25 Петабайт памяти для хранения и более чем 190 Гбит/с дополнительной пропускной мощности. Этот прогноз составлялся на основе потенциально генерируемых 25 млн видеороликов, которые, ко всему прочему, будут просматривать 5 и более отдельных пользователей.

Вычислительные мощности корпорации, которые предоставляют ЦОД Facebook, довольно просто справились бы с данной задачей и рендерингом для подобного проекта. Однако главной целью остается сохранение в целостности облачных функций Facebook. При этом корпорация собиралась в то же время запускать софт Paper. А уже через неделю ресурс должен был быть просто переполнен информацией и различным контентом, на тему зимней сочинской Олимпиады 2014.

В официальном блоге компании Facebook указано:

«У нас имеется более 10 000 свободных серверов, которые практически всегда доступны для вычислений. Однако на тот период в планах не значился проект, по которому мы должны были задействовать на полную все мощности в один момент. Поэтому мы постоянно мониторим энергопотребление во время работы и все время меняем, а также улучшаем программное обеспечение, чтобы при необходимом случае замедлиться».

Разработчики выполнили проверку конфигурации на серверах Haystack. При этом пристальное внимание было уделено всему, что связано с определением географического положения сервера, чтобы заранее предотвратить всевозможные сбои и неполадки во время работы официального ресурса.

Инструмент Look Back был очень быстро протестирован и стал доступен еще несколько недель назад. Во время запуска программы команда разработчиков смогла отметить стремительный рост в Haystack с 0 до 11 петабайт, демонстрируя более 9 млн видео/час в самые пиковые моменты. Официальный запуск сервиса произошел 4 февраля. После этого пользователи сразу же начали активно применять новую услугу. Аналитики из Facebook предполагали, что сервис будут использовать для обмена видеороликов с друзьями около 10% всех зарегистрированных пользователей, однако этот показатель уже превышает 40%.

look-back-500x261

Ниже мы хотели бы привести впечатляющие данные, касательно нового проекта Look Back:

– Всего было отрендерено более 720 млн видеороликов;

– Около 11 петабайт в системах хранения данных (однако, это несколько меньше, чем прогнозировалось, из-за уменьшения фактора репликации и оптимизации размеров роликов);

– Более 450 Гбит/с пропускной способности исходящего трафика в самые «горячие» моменты;

– За 4 и 5 февраля около 200 млн пользователей просмотрели официальный ролик Look Back, а 50% из них поделились им со своими друзьями.

Даже для мега социальной сети Facebook показатель в 450 Гбит/c является более чем впечатляющим. Подобный успех стал возможен благодаря работе профессиональной команды разработчиков, инженеров и других специалистов, а также огромной и надежной инфраструктуры Facebook.

«Новый проект Look Back является тем, что мы очень любим, и что выражается в культуре Facebook. Мы придумываем смелые идеи, стараемся быстро принимать важные решения и воплощаем грандиозные проекты в реальность. Так мы помогаем сотням и тысячам пользователям, которые хотят ежедневно общаться с теми людьми, которые действительно для них важны», — указано в официальном блоге корпорации.

Читайте также: