Если вы дадите права на запись для переименования ваших файлов в каталоге спула в flume
У меня есть Flume Agent, который читает из каталогов источника и после некоторых преобразований пишет в hdfs. Так как flume пытается переименовать обработанные файлы в ".COMPLETED", я получаю исключение об отказе в разрешении для записи в каталог спула.
Мне было интересно, насколько безопасно было бы дать разрешение на запись конфиденциальных данных.
Есть ли решение для Flume для идентификации обработанных файлов в каталоге спула
1 ответ
Для работы источника каталога спула требуется переименование файлов.
В качестве обходного пути безопаснее иметь копию файлов "только для чтения" и создать некоторый механизм (например, задание cron), который копирует файлы в каталог спулинга, к которому Flume имеет доступ для записи. (И, возможно, установить deletePolicy опция конфигурации для immediate, чтобы не заполнять диск.)
Если вы хотите запросить такую функцию, я рекомендую создать новый тикет на https://issues.apache.org/