Журналы появляются не в порядке, когда ведется пакетная регистрация

Если журналы имеют одинаковые временные метки, некоторые из них отображаются не по порядку. Читая некоторые темы, я не смог найти подходящего решения. Но я считаю, что с этим нужно что-то делать, поскольку об этой проблеме сообщалось уже в Logstash 1.

По сути, я использую logstash для прослушивания определенного порта для входящего tcp с использованием кодека линий json [здесь используется https://github.com/logstash/logstash-logback-encoder ]. На данный момент фильтр пуст, и я вывожу данные в asticsearch и stdout (кодек rubydebug).

Вход в консоль в моей IDE:

2017-Aug-30 15:15:30.191 [main] INFO  com.sbsatter.logbackLogstash.App - Testing LOG Order;
Expected Order: 1 => 10 
2017-Aug-30 15:15:30.193 [main] INFO  com.sbsatter.logbackLogstash.App - 1 
2017-Aug-30 15:15:30.194 [main] INFO  com.sbsatter.logbackLogstash.App - 2 
...
2017-Aug-30 15:15:30.195 [main] INFO  com.sbsatter.logbackLogstash.App - 9 
2017-Aug-30 15:15:30.195 [main] INFO  com.sbsatter.logbackLogstash.App - 10 

Терминал, который запустил logstash, читает соответственно:

{
    "@timestamp" => 2017-08-30T09:15:30.197Z,
          "port" => 47820,
      "@version" => "1",
          "host" => "127.0.0.1",
          "time" => "2017-08-30 15:15:30.191+0600",
       "message" => "Testing LOG Order;\nExpected Order: 1 => 10"
}
{
    "@timestamp" => 2017-08-30T09:15:30.198Z,
          "port" => 47820,
      "@version" => "1",
          "host" => "127.0.0.1",
          "time" => "2017-08-30 15:15:30.193+0600",
       "message" => "1"
}
{
    "@timestamp" => 2017-08-30T09:15:30.198Z,
          "port" => 47820,
      "@version" => "1",
          "host" => "127.0.0.1",
          "time" => "2017-08-30 15:15:30.194+0600",
       "message" => "2"
}
.....
{
    "@timestamp" => 2017-08-30T09:15:30.216Z,
          "port" => 47820,
      "@version" => "1",
          "host" => "127.0.0.1",
          "time" => "2017-08-30 15:15:30.195+0600",
       "message" => "9"
}
{
    "@timestamp" => 2017-08-30T09:15:30.224Z,
          "port" => 47820,
      "@version" => "1",
          "host" => "127.0.0.1",
          "time" => "2017-08-30 15:15:30.195+0600",
       "message" => "10"
}

НО, кибана показывает следующее: хмуриться:: результат в кибане

Хотя здесь разница невелика, однако при использовании с журналами в реальном времени измененный порядок делает журнал бессмысленным. Как я могу исправить эту проблему?

Обратите внимание, я задавал этот вопрос и на форуме asticsearch. Я пролистал документацию, чтобы найти что-то близкое к этому, но безрезультатно.

0 ответов

Другие вопросы по тегам