Проблемы с файлом реестра в filebeat

Question

Я использую filebeat для отправки данных в asticsearch,

filebeat.prospectors:
- input_type: log
   paths:
     - /var/log/nginx/kibana_access.log

   document_type: nginx

- input_type: log
   paths:
     - /var/log/redis/redis-server.log

   document_type: redis


output.elasticsearch:
# Array of hosts to connect to.
  hosts: ["localhost:9200"]
  index: '%{[type]}-log'
  versions.2x.enabled: false

Конфигурация правильная, и она отлично пишет. Но, проблема в том, что он посылает старые линии в эластичный также, тогда как, он не должен этого делать.

Новые журналы не пишутся, но в кибане я вижу, что количество журналов будет таким же, как и в предыдущем случае, когда filebeata снова отправляет данные.

Я пытался проверить файл реестра, /var/lib/filebeat/registryи он имел информацию о файлах, которые я использовал ранее, но не использовал сейчас.

{"source":"/var/log/filebeat/filebeat","offset":2514,"FileStateOS":{"inode":4591858,"device":2058},"timestamp":"2017-04-21T17:33:11.913352399+05:30","ttl":-2},{"source":"/var/log/postgresql/postgresql-2017-04-21_120121.log","offset":4485506,"FileStateOS":{"inode":3932558,"device":2058},"timestamp":"2017-04-21T18:11:56.65579033+05:30","ttl":-2}

это файл реестра.

Я установил задание cron, которое перезапускает filebeat каждую минуту и ​​отправляет данные в astic. Я использую Ubuntu 16.04 и установил filebeat в качестве пакета deb.

Это путь к файлу реестра в filebeat.full.yml -> ${path.data}/registry,

Пожалуйста, объясните это поведение, а также решение этой проблемы.

Answer 1

я просто удалил эту папку

rm -rf /var/lib/filebeat/

это было решено.