Многострочная агрегация logstash?
Я смотрю на получение журнала из почтовой системы, где каждая транзакция состоит из нескольких строк.
Каждая строка будет иметь различные части транзакции, и они могут быть переплетены с другими сообщениями транзакции, так что могут быть задействованы несколько потоков.
Каждая транзакция имеет уникальный идентификатор в качестве первого поля после отметки времени.
Я ищу помощи в определении лучшего способа справиться с этой ситуацией. Это тот случай, когда нужен один logstash для агрегации, а другой logstash для перфомации извлечения полей -? Любой указатель на лучший процесс здесь с благодарностью получен. В выводе я бы идеально хотел видеть Время, Уникальный Идентификатор Источник, Назначение, Предмет
Пример журналов ниже:
2016-10-26 20:00:57 xxxxxx-xxxxxx-x1 <= <> H=smtp.org.com (mailrouter.org.com) [10.10.10.10] P=esmtp S=2597 id=201610260900.u9Q90tsK008439@sendingserver.org.com T="Email Subject"
2016-10-26 20:00:57 xxxxxx-xxxxxx-x1 => /dev/null (bounces@destination.com) <provision@destinationaddress.com> R=user_alias T=**bypassed**
2016-10-26 20:00:57 xxxxxx-xxxxxx-x1 Completed
2016-10-26 20:00:57 xxxxxx-xxxxxx-x4 <= <> H=smtp.com (mailrouter.org.com) [10.10.10.10] P=esmtp S=2620 id=201610260900.u9Q90tii008449@sendingserver.org.com T="other email subject"
2016-10-26 20:00:58 xxxxxx-xxxxxx-x6 <= <> H=Othermail.org.com (mailrouter.org.com) [10.10.10.10] P=esmtp S=2621 id=201610260900.u9Q90tvc008455@sendingserver.org.com T="another email subject"
2016-10-26 20:00:58 xxxxxx-xxxxxx-x6 => /dev/null (bounces@destination.com) <provision@destinationaddress.com> R=user_alias T=**bypassed**
2016-10-26 20:00:58 xxxxxx-xxxxxx-x6 Completed
2016-10-26 20:00:58 xxxxxx-xxxxxx-x9 DKIM: d=customer2.com.au s=cm c=relaxed/relaxed a=rsa-sha1 i=info@customer2.com.au [verification succeeded]
2016-10-26 20:00:58 xxxxxx-xxxxxx-x9 <= Wanted-yhqbhk1didkkhtklr1r@oddmail.com H=mailraouter4.org.com [10.20.20.40] P=esmtp S=29325 id=cm.2000327259153.yhqbhk.didkkhtklr.r@oddmail.com T="Yet another email subject"
2016-10-26 20:00:58 xxxxxx-xxxxxx-x9 => diane <diane@client.com> R=mysql_localuser T=mysql_delivery
2016-10-26 20:00:58 xxxxxx-xxxxxx-x9 Completed
2016-10-26 20:00:59 xxxxxx-xxxxxx-x4 => /dev/null (bounces@destination.com) <provision@destinationaddress.com> R=user_alias T=**bypassed**
2016-10-26 20:00:59 xxxxxx-xxxxxx-x4 Completed