Logstash не производит вывод

Question

Я следовал описанному здесь руководству по настройке стека ELK, и в конце концов мне удалось заставить все работать. Однако когда я попытался изменить систему для чтения в файлах CSV, она перестала работать полностью. Файл conf выглядит так:

input {
  file {
    path => "/home/user/remaining/path/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

filter {
    if [type] == "transaction" {
      csv {
            columns => ["@timestamp", "ip address", "domain", "user", "demo", "id", "activity", "detail"]
            separator => ","
          }
    }

}

output {
    stdout {
        codec => rubydebug
    }
  elasticsearch {
    hosts => ["localhost:9200"]
    action => "index"    
    index => "logstash-test"
    workers => 1
  }
}

Я попытался выполнить ряд учебников и руководств по настройке этого, и, насколько я могу судить, logstash все еще подключен к asticsearch. Я просто не вижу никакого выхода. Я подозреваю, что он вообще не читает файлы. Часть проблемы в том, что я не уверен, как проверить каждый компонент logstash. Есть ли что-то, что я, вероятно, пропустил?

Редактировать: CSV-файлы выглядят в основном так:

2016-02-29T22:26:39.319700,22.111.11.11,place.domain.ca,bob,DEMO,95081299250aa8,TI_START,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"
2016-02-29T22:27:00.098426,24.111.11.11,otherplace.domain.ca,bob,DEMO,390s8clearlyfake,TI_END,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"

Я также заметил, что когда я захожу на localhost:9200/logstash-test/ я получаю 404. Я не уверен, что это потому, что нет передачи данных или это другая проблема с соединением.

Answer 1

В рамках обсуждения здесь: https://discuss.elastic.co/t/logstash-not-showing-any-output-solved/28636/16

Моим файлам было более 24 часов, что является временем истечения по умолчанию для ввода файла. Это было исправлено путем изменения следующего, где ignore_older был 86400 по умолчанию:

input {
  file {
    ignore_older => 864000
    path => "/home/sean/cost-logs/transaction/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}