Как автоматизировать очистку мусора Hadoop

Question

Я могу очистить корзину под моей пользовательской папкой, запустив hadoop fs -expungeЭто избавляет от файлов, которые старше, чем fs.trash.interval значение. Существует ли исключение для автоматического восстановления дискового пространства?

Также я вижу следующий вывод при запуске expunge

[cloudera@localhost conf]$ hadoop fs -expunge 14/07/17 15:43:54 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1 minutes, Emptier interval = 0 minutes.

Интервал опустошения равен 0, что говорит о том, что автоматическая очистка отключена. Где это значение настроено?

Answer 1

Код предполагает, что это называется fs.trash.interval,

РЕДАКТИРОВАТЬ: Извините, неправильно понял вопрос.

Самая пустая реализация здесь, где мы можем видеть, что соответствующая константа, кажется, FS_TRASH_CHECKPOINT_INTERVAL_KEY,

Глядя здесь, вы обнаружите, что ключ к fs.trash.checkpoint.interval,

РЕДАКТИРОВАТЬ: Наконец-то нашел здесь запись xml conf.