Hadoop CDH5 Максимальная производительность сети на 10 узлах при использовании 1 MapReduce TaskTracker

Я пытаюсь добиться максимальной производительности сети с CDH5 Cloudera с 10 узлами с 1 MapReduce TaskTracker, но, похоже, не могу получить трафик для получения трафика, который мне нужен. У меня есть карты с номиналом 40G, и в настоящее время я получаю максимум 10G, что очень мало.

При использовании 1 MapReduce TaskTracker, как я могу повысить производительность и пропускную способность сети?

Работает - 10 узлов RedHat 6.6 Текущий драйвер Nic CDH5 Ядро: 3.18.1

Я списал 9 узлов MapReduce TaskTracker, но все еще не получил хороших результатов.

Источник

1 ответ

Решение

Я наконец-то понял, что вам действительно не нужен трекер задач на узлах данных для сетевого теста dfsio, поэтому я списал все "трекеры задач" с датододами и установил трекер задач на узле имен, и теперь у меня есть и write/tx, и read/ RX-трафик, что я и хотел для пропускной способности сети.

Источник
Другие вопросы по тегам