Logstash - Не удалось открыть <file_path> Отказано в доступе

Question

Я использую logstash, чтобы переместить все текстовые журналы из хранилища в эластичный поиск. Мой объем хранения составляет около 1 ТБ. Начнем с того, что я начал отправлять 368 ГБ данных (может быть, несколько сотен тысяч файлов) в эластичный поиск, но logstash не работает со следующей ошибкой.

{:timestamp=>"2014-05-15T00:41:12.436000-0700", :message=>"/root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: file grew, old size 0, new size 1557420", :level=>:debug, :file=>"filewatch/watch.rb", :line=>"81"}
{:timestamp=>"2014-05-15T00:41:12.437000-0700", :message=>":modify for /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt, does not exist in @files", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"77"}
{:timestamp=>"2014-05-15T00:41:12.441000-0700", :message=>"_open_file: /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: opening", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"98"}
{:timestamp=>"2014-05-15T00:41:12.441000-0700", :message=>"(warn supressed) failed to open /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: Permission denied - /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"110"}

общий ресурс установлен в сети. Я использую пользователя root для запуска logstash. Пользователь должен иметь все права доступа, необходимые для монтирования. Каталог общего доступа имеет следующий доступ drwxr-xr-x 44 root root 0 13 мая 08:36 share

Теперь мои лог-файлы статичны и не меняются.

Итак, мой вопрос - есть ли в любом случае, чтобы logstash знал, что не хранит файловые дескрипторы, как только он обрабатывает один файл журнала. Я думаю, что выше ошибка произошла, потому что количество файлов журнала огромно.

Я уже подал ошибку, и в logstash есть ошибка, которая говорит о том, что logstash плохо работает, когда число файлов журнала больше.

Я вижу некоторые повторяющиеся проблемы здесь, но я хотел бы знать, есть ли у кого-нибудь опыт с такого рода проблемами?

Answer 1

Я думаю, для logstash 1.4.2 единственный ответ:

• переместить или удалить файлы из контролируемого каталога
• перезапустить logstash

Я не думаю, что есть какой-либо другой способ получить дескриптор файла релиза logstash для журналов, которые были обработаны и больше не будут добавляться.