Есть ли ограничение размера кластера Apache Storm?

Question

Я предполагаю, что наличие большего количества узлов в грозовом кластере увеличивает внутрикластерное взаимодействие "keep-topology-alive".

Учитывая, что топология отлично работает с 10 узлами (2 или 4 ЦП, 4 ГБ ОЗУ) для небольших данных, можем ли мы масштабировать топологию до 1000 или 10000 узлов и при этом оставаться конкурентоспособными для (очень) больших данных? Есть ли какой-либо известный практический предел?

Спасибо

Answer 1

Масштабирование кластера Storm ограничено скоростью хранения состояний в Zookeeper, большая часть которой - "сердцебиение" от работников. Теоретический предел составляет более или менее 1200 узлов (зависит от скорости диска, рассматриваемой здесь скорости записи 80 МБ / с). Очевидно, что использование более быстрого жесткого диска увеличит масштаб.

Тем не менее, люди в Yahoo работают над хранением оперативной памяти в оперативной памяти. Их решение увеличит лимит примерно до 6250 узлов, используя соединения GigabitE. 10-гигабитные соединения увеличат этот теоретический предел до 62 500 узлов. Вы можете посмотреть на эту презентацию Hadoop Summit 2015 от Бобби Эванса для получения более подробной информации.