Адаптивное хранение: переосмысление оптимизации кластеров Hadoop

 thumb13

Способен ли только лишь Хакатон модернизировать методику оптимизации кластеров Hadoop для контроля «Big-Data»? В саммите Open Compute (январь) приводится пример формирования инновационной идеи, которая называется Adaptive Storage и где все вычислительные мощности и ресурсы хранения информации связываются по сети и масштабируются в независимости друг от друга, дабы провести оптимизацию системы «Больших данных».

Adaptive Storage — это победитель в Open Compute Hackathon (конкурс новых концепций). Данная система была создана командой разработчиков, в которую входили специалисты из Adapteva, Facebook, I/O Switch Technologies и еще другие инженеры.

«Adaptive Storage рассматривает первичные проблемы о связи методик хранения информации с вычислениями и используемыми ресурсами для «Big-data», — рассказывает участник группы Рон Херардиан в официальном блоге Open Compute. — Менее чем за 24 часа, без значительного финансирования, всего с парой-тройкой ПК, печатными платами и сетевыми устройствами, мы сумели сформировать принципиально новый метод создания узлов информации Hadoop, а также спроектировать и показать функционирующий прототип на основе микросерверов, которые функционируют на процессорах ARM и применяют ПО с открытым исходным кодом. Более того, мы готовы продемонстрировать завершенные CAD-чертежи, которые помогут в кратчайший срок реализовать данный продукт».

Hadoop является программой, которая вычисляет распределенные программы, активно применяющие «Big-data». Это ПО стало крайне значительной методикой для контроля за Big Data, и сформировало новую развивающуюся структуру инструментов и программ, которые способны хранить и анализировать Big-data.

В Adaptive Storage все дисковые накопители подсоединяются к сетевым коммутаторам без применения стандартных массивов хранения. Кроме того, подсоединяются к коммутатору микро-серверы Parallella с приложением Hadoop. Таким образом, данные могут обрабатываться для одного или нескольких дисков одновременно. Так как все диски индивидуально подсоединяются к сети, то любой микро-сервер способен считывать данные с любого диска. А это позволяет микро-серверам объединять собственные ресурсы для обработки емких задач или Big-data.

«Adaptive Storage вместе с увеличенным энергосбережением, независимостью, гибким масштабированием вычислительных мощностей и ресурсами хранения является еще и довольно легким, комфортным методом избавления от вычислительных «горячих и холодных точек» в Hadoop, — рассказывает Херардиан. — Однако технологии адаптивного хранения не ограничиваются Hadoop. Данная методика может применяться на любой технологии передачи  Big-data, к примеру, Cassandra или MongoDB, а также коренным образом сменить подход к хранению информации».

Читайте также: