Scala-скрипт для удаления всех файлов в папке Hadoop
У меня есть папка hadoop, которая может содержать тысячи файлов следующим образом:
/data/file1.dat
/data/file2.dat
/data/file3.dat
/data/file4.dat
/data/file5.dat
...... так далее
В то же время эта папка записывается другими процессами, имя записываемых файлов начинается с точки:
/data/.file6.dat
/data/.file7.dat
после завершения записи в эти файлы точка удаляется. Я использую скрипт Scala, который читает первый набор имен файлов и сохраняет их в списке, затем повторяет и удаляет эти файлы, но этот процесс занимает много времени для удаления каждого файла по отдельности, я пытался удалить все файлы одновременно, но получил ошибку что список аргументов слишком длинный, поэтому я пытаюсь удалить первый набор, сохранив все файлы, которые были записаны после прочтения исходного набора.
Спасибо