Отправлено APACHEERRORLOG в Elasticsearch через агент амазон-кинезис
Мне удалось отправить свой Apache access_log (httpd / amazon-linux-ami 2016.09 / php5.6) на asticsearch через kinesis-agent и firehose.
Сейчас я изо всех сил пытаюсь переслать error_log.
мой agent.json
:
{
"cloudwatch.emitMetrics": true,
"kinesis.endpoint": "",
"firehose.endpoint": "firehose.eu-west-1.amazonaws.com",
"flows": [{
"filePattern": "/var/log/httpd/error_log*",
"deliveryStream": "xxxx",
"dataProcessingOptions": [{
"optionName": "LOGTOJSON",
"logFormat": "APACHEERRORLOG"
}]
}, {
"filePattern": "/var/log/httpd/access_log*",
"deliveryStream": "xxxx",
"dataProcessingOptions": [{
"optionName": "LOGTOJSON",
"logFormat": "COMMONAPACHELOG"
}]
}]
}
Образец линии от /var/log/httpd/error_log
:
[Thu Feb 16 16:56:19.240650 2017] [:error] [pid 10719] [client 1.1.1.1:60890] PHP Notice: Undefined variable: env in /var/www/html/development/index.php on line 34
Как я уже сказал, все access_logs пересылаются правильно. Но журналы ошибок не отправляются по назначению. Смотрите ниже от /var/log/aws-kinesis-agent/aws-kinesis-agent.log
:
2017-02-17 06:32:05.486+0000 ip-172-31-7-92 (FileTailer[fh:xxx:/var/log/httpd/error_log*].MetricsEmitter RUNNING) com.amazon.kinesis.streaming.agent.tailing.FileTailer [INFO] FileTailer[fh:xxx:/var/log/httpd/error_log*]: Tailer Progress: Tailer has parsed 414 records (116864 bytes), transformed 0 records, skipped 414 records, and has successfully sent 0 records to destination.
xxx
мой пожарный пункт назначения (то же самое для обоих).
Мне кажется, что мои журналы ошибок apache (формат по умолчанию, я ничего не менял) соответствуют формату, ожидаемому APACHEERRORLOG.
Что мне здесь не хватает? Я был бы очень признателен за некоторые советы, большое спасибо!