AWS Kinesis Analytics - проблема со схемой журнала доступа Apache

Question

Я пытаюсь использовать Kinesis Analytics поверх журнала доступа Apache. Я использую пользовательский формат, который имеет код графства (используя модуль Geoip).

Но это не обнаружение схемы должным образом.

Формат журнала:

LogFormat "%{GEOIP_COUNTRY_CODE}e %a %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined

Обнаружение схемы кинезиса:

Answer 1

Неважно, я нашел решение.

Как правило, Kinesis достаточно зрел для схемы из какого-либо стандартного формата. Даже в файле агента, если мы упомянем logformat:COMBINEDAPACHELOG тогда он обнаружит схему.

Но я использовал собственный формат журнала. Поэтому нам нужно вручную отредактировать схему и добавить недостающее поле. Также space не является хорошим выбором для разделителя. Поэтому я изменил разделитель как pipe в формате журнала apache.

Затем вручную отредактировал схему и упомянул трубу в качестве разделителя. После этого я получаю точные отформатированные данные.