Может ли накопительное задание Elasticsearch динамически создавать индексы, как это делает Logstash?
В настоящее время я тестирую новые API накопления в Elasticsearch 6.3 и задаюсь вопросом, есть ли способ настроить задание накопления для динамического создания индекса на основе метки времени, как это делает Logstash при приеме данных? Вариант использования состоит в том, чтобы попытаться собрать большие объемы данных отчетов о производительности сети временных рядов, и я обеспокоен тем, что даже ежечасный сводный отчет приведет к созданию огромного индекса для управления, поэтому я собираюсь разделить его на один индекс для ежечасного сводного анализа.,
Текущая конфигурация накопительного задания:
{
"index_pattern": "dxs-raw-*",
"rollup_index": "dxs-hourly-%{+YYYY.MM.dd}",
"cron": "* */15 * * * ?",
"page_size": 1000,
"groups": {
"date_histogram": {
"field": "@timestamp",
"interval": "1h",
"delay": "12h"
},
"terms": {
"fields": ["ci_id.keyword", "client_id.keyword", "element_name.keyword", "measurement.keyword", "source_management_platform.keyword", "unit.keyword"]
}
},
"metrics": [
{
"field": "value",
"metrics": ["min", "max", "avg"]
}
]
}
Ошибка при установке задания через консоль Kibana DevTools:
{
"error": {
"root_cause": [
{
"type": "invalid_index_name_exception",
"reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
"index_uuid": "_na_",
"index": "dxs-hourly-%{+YYYY.MM.dd}"
}
],
"type": "runtime_exception",
"reason": "runtime_exception: Could not create index for rollup job [dxs-hourly]",
"caused_by": {
"type": "invalid_index_name_exception",
"reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
"index_uuid": "_na_",
"index": "dxs-hourly-%{+YYYY.MM.dd}"
}
},
"status": 500
}
1 ответ
Начиная с версии 6.4 это невозможно, но здесь появилось новое усовершенствование. Когда будет выпущено окончательное решение, я дополню этот ответ реализацией, которая у нас есть.