Способен ли только лишь Хакатон модернизировать методику оптимизации кластеров Hadoop для контроля «Big-Data»? В саммите Open Compute (январь) приводится пример формирования инновационной идеи, которая называется Adaptive Storage и где все вычислительные мощности и ресурсы хранения информации связываются по сети и масштабируются в независимости друг от друга, дабы провести оптимизацию системы «Больших данных».
Adaptive Storage — это победитель в Open Compute Hackathon (конкурс новых концепций). Данная система была создана командой разработчиков, в которую входили специалисты из Adapteva, Facebook, I/O Switch Technologies и еще другие инженеры.
«Adaptive Storage рассматривает первичные проблемы о связи методик хранения информации с вычислениями и используемыми ресурсами для «Big-data», — рассказывает участник группы Рон Херардиан в официальном блоге Open Compute. — Менее чем за 24 часа, без значительного финансирования, всего с парой-тройкой ПК, печатными платами и сетевыми устройствами, мы сумели сформировать принципиально новый метод создания узлов информации Hadoop, а также спроектировать и показать функционирующий прототип на основе микросерверов, которые функционируют на процессорах ARM и применяют ПО с открытым исходным кодом. Более того, мы готовы продемонстрировать завершенные CAD-чертежи, которые помогут в кратчайший срок реализовать данный продукт».
Hadoop является программой, которая вычисляет распределенные программы, активно применяющие «Big-data». Это ПО стало крайне значительной методикой для контроля за Big Data, и сформировало новую развивающуюся структуру инструментов и программ, которые способны хранить и анализировать Big-data.
В Adaptive Storage все дисковые накопители подсоединяются к сетевым коммутаторам без применения стандартных массивов хранения. Кроме того, подсоединяются к коммутатору микро-серверы Parallella с приложением Hadoop. Таким образом, данные могут обрабатываться для одного или нескольких дисков одновременно. Так как все диски индивидуально подсоединяются к сети, то любой микро-сервер способен считывать данные с любого диска. А это позволяет микро-серверам объединять собственные ресурсы для обработки емких задач или Big-data.
«Adaptive Storage вместе с увеличенным энергосбережением, независимостью, гибким масштабированием вычислительных мощностей и ресурсами хранения является еще и довольно легким, комфортным методом избавления от вычислительных «горячих и холодных точек» в Hadoop, — рассказывает Херардиан. — Однако технологии адаптивного хранения не ограничиваются Hadoop. Данная методика может применяться на любой технологии передачи Big-data, к примеру, Cassandra или MongoDB, а также коренным образом сменить подход к хранению информации».
Читайте также:
- Google начал шифровать трафик Gmail между ЦОД, чтобы защитить их от прослушки
- Facebook бросил вызов самому себе, занявшись обработкой 720 миллионов видео-роликов для пользователей
- Перспективы перехода на IaaS
- LED-лампы вместо роутеров на скорости 10 Мбит/с: Франция начинает реализацию первых устройств Li-Fi
- Эффективность применения солнечных батарей для ЦОД
- Huawei показала новый оптический модуль 100G