Кластер Айяра
Кластер Aiyara — это маломощный компьютерный кластер, специально разработанный для обработки больших данных . Модель кластера Aiyara можно рассматривать как специализацию кластера Beowulf в том смысле, что Aiyara также построен на основе товарного оборудования, а не недорогих персональных компьютеров , а системно-на-чипе. В отличие от Beowulf, приложения кластера Aiyara предназначены только для области больших данных, а не для научных высокопроизводительных вычислений . Еще одним важным свойством кластера Aiyara является его малое энергопотребление. Он должен быть построен с использованием класса процессорных блоков, которые выделяют меньше тепла.
Название Aiyara изначально относилось к первому кластеру на базе ARM , созданному Вичаем Шрисуруком и Чанвитом Каевкаси в Технологическом университете Суранари . Название «Aiyara» произошло от тайского слова, буквально означающего « слон» , чтобы отразить его базовый программный стек, который называется Apache Hadoop .
Как и Beowulf, кластер Aiyara не определяет конкретный программный стек для работы поверх него. Кластер обычно работает на варианте операционной системы Linux . Обычно используемые программные стеки Big Data — Apache Hadoop и Apache Spark .
Разработка
Отчет об оборудовании Aiyara, успешно обработавшем нетривиальный объем Больших Данных, был опубликован в Трудах ICSEC 2014. [1] Aiyara Mk-I , второй кластер Aiyara, состоит из 22 Cubieboards . Это первый известный кластер ARM на базе SoC , способный успешно обрабатывать Большие Данные с использованием стека Spark и HDFS . [2]
Модель кластера Aiyara, техническое описание, объясняющее, как построить кластер Aiyara, была позже опубликована Чанвитом Каевкаси в руководстве по большим данным DZone 2014 года. [3] Дальнейшие результаты и методы оптимизации кластера, которые увеличивают скорость обработки кластера до 0,9 ГБ/мин, сохраняя при этом низкое энергопотребление, были представлены в Трудах IEEE TENCON 2014. [4]
Вся архитектура программного стека, включая среду выполнения, проверку целостности данных и сжатие данных, изучается и улучшается. Работа, представленная в этой статье, достигла скорости обработки почти 0,9 ГБ/мин, успешно обработала те же бенчмарки из предыдущей работы примерно за 38 минут.
Смотрите также
Ссылки
- ^ C. Kaewkasi и W. Srisuruk. Исследование ограничений обработки больших данных на кластере Hadoop с низким энергопотреблением . Труды 18-го ICSEC, 2014, стр. 308-313
- ↑ Первый кластер Spark/Hadoop ARM работает на Cubieboards 8 апреля 2014 г. на Cubieboard.org
- ^ Чанвит Каевкаси. Кластер больших данных своими руками . DZone Big Data Guide 2014. 22 сентября 2014 г., стр. 20-21
- ^ C. Kaewkasi и W. Srisuruk. Оптимизация производительности и энергопотребления для кластера больших данных на базе ARM . Труды конференции IEEE Region 10 2014, 2014, стр. 1-6
