Архивирование входящих небольших файлов hdfs
У меня есть небольшие файлы, поступающие в hdfs каждый день. Я планирую использовать архив hasoop (HAR), но как мне архивировать эти небольшие файлы, которые поступают в hdfs каждый день? Например, я могу получить 5 файлов сегодня, мне нужно их заархивировать, а завтра, если я получу еще 5 файлов, мне нужно добавить это в архив предыдущих дней.
1 ответ
Решение
Вы не можете добавлять файлы в существующие файлы HAR. Вам необходимо разархивировать и повторно заархивировать или объединить файлы в течение нескольких дней и создать архивные файлы в будущем.