Может ли накопительное задание Elasticsearch динамически создавать индексы, как это делает Logstash?

В настоящее время я тестирую новые API накопления в Elasticsearch 6.3 и задаюсь вопросом, есть ли способ настроить задание накопления для динамического создания индекса на основе метки времени, как это делает Logstash при приеме данных? Вариант использования состоит в том, чтобы попытаться собрать большие объемы данных отчетов о производительности сети временных рядов, и я обеспокоен тем, что даже ежечасный сводный отчет приведет к созданию огромного индекса для управления, поэтому я собираюсь разделить его на один индекс для ежечасного сводного анализа.,

Текущая конфигурация накопительного задания:

{
    "index_pattern": "dxs-raw-*",
    "rollup_index": "dxs-hourly-%{+YYYY.MM.dd}",
    "cron": "* */15 * * * ?",
    "page_size": 1000,
    "groups": {
        "date_histogram": {
            "field": "@timestamp",
            "interval": "1h",
            "delay": "12h"
        },
        "terms": {
            "fields": ["ci_id.keyword", "client_id.keyword", "element_name.keyword", "measurement.keyword", "source_management_platform.keyword", "unit.keyword"]
        }
    },
    "metrics": [
        {
            "field": "value",
            "metrics": ["min", "max", "avg"]
        }
    ]
}

Ошибка при установке задания через консоль Kibana DevTools:

    {
    "error": {
        "root_cause": [
        {
            "type": "invalid_index_name_exception",
            "reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
            "index_uuid": "_na_",
            "index": "dxs-hourly-%{+YYYY.MM.dd}"
        }
        ],
        "type": "runtime_exception",
        "reason": "runtime_exception: Could not create index for rollup job [dxs-hourly]",
        "caused_by": {
        "type": "invalid_index_name_exception",
        "reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
        "index_uuid": "_na_",
        "index": "dxs-hourly-%{+YYYY.MM.dd}"
        }
    },
    "status": 500
}

1 ответ

Начиная с версии 6.4 это невозможно, но здесь появилось новое усовершенствование. Когда будет выпущено окончательное решение, я дополню этот ответ реализацией, которая у нас есть.

Другие вопросы по тегам