Скопируйте большое количество массивных файлов с локального файлового сервера в HDFS
Нужны ваши советы по этому вопросу.
У нас есть случай использования, когда почти 50 ТБ файлов необходимо переместить с локального файлового сервера на HDFS. Файлы хранятся в нескольких папках в локальной файловой системе, и нам необходимо поддерживать аналогичную структуру папок HDFS. Ищем предложения, любые утилиты, с помощью которых мы можем достичь этой цели в минимально возможное время.
Кластер Hadoop имеет 10 DN и 1 NN.
Дайте мне знать, если вам понадобится дополнительная информация.