Снятие узла CDH HDFS никогда не заканчивается
У нас есть 12 серверов Hadoop Cluster(CDH). Последние, мы хотим вывести из эксплуатации три из них, но этот процесс уже выполняется там более 2 дней. Но это никогда не заканчивается, особенно за последние 24 часа, я видел, что на трех узлах данных было доступно только 94G данных, но размер, кажется, не изменился за последние 24 часа. даже через недостаточно реплицированные блоки число уже было равно нулю. Коэффициент репликации равен 3 для всех данных в формате hdf.
Ниже приведен результат для команды hadoop fsck:
Общий размер: 5789534135468 B (Общий размер открытых файлов: 94222879072 B) Всего папок: 42458 Всего файлов: 5494378 Всего символических ссылок: 0 (Количество файлов в данный момент: 133) Всего блоков (проверено): 5506578 (средний размер блока 1051385 B) (Общее количество открытых файловых блоков (не подтверждено): 822) Минимально реплицированных блоков: 5506578 (100,0 %). Слишком реплицированных блоков: 0 (0,0 %). Сло -реплицированных блоков: 0 (0,0 %). Не реплицированных блоков: 0 (0,0 %). Коэффициент репликации по умолчанию: 3 Средняя репликация блоков: 2.999584 Поврежденные блоки: 0 Отсутствующие реплики: 0 (0.0 %) Количество узлов данных: 13 Количество стоек: 1 FSCK завершился в понедельник 17 октября 16:36:09 KST 2016 за 781094 миллисекунд
1 ответ
Вы можете попытаться остановить агента Cloudera на датоде.
sudo service cloudera-scm-agent hard_stop_confirmed
После того, как агент остановлен, вы можете просто удалить этот узел данных со страницы экземпляра hdfs.
Надеюсь, это работает