Терминология и концепции Elasticsearch ILM

Question

Я начал читать управление жизненным циклом elasticsearch и пытался понять, как работает ILM. Я понял некоторые термины, как показано ниже

• Индексы - Фактические данные хранятся в нем как "индекс".
• Шаблон индекса - для выбора нескольких индексов
• Шаблон индекса - это шаблон для применения некоторого набора "настроек" и "сопоставления". Также используется для выбора политики индексации
• Псевдоним индекса - отсюда я понял, что "псевдонимы похожи на программные ссылки или ярлыки для реальных индексов"

Ниже приведено что-то непонятное, или я не понимаю

• Ролловер индекса - псевдоним индекса указывает на новый индекс, например

Перед ролловером (предположим, что настроена политика)

       +--------------+
       |              |
       | metricbeat   |   +----------------+
+------>  (Aliase)    +--->metricbeat7.1   |
       |              |   |                |
       +--------------+   +----------------+

После ролловера индексы выглядят так, как показано ниже (отключите текущий индекс и укажите на новый индекс)

                                 +--------------------+
                                 | metricbeat7.1      |
                                 | (read only)        |
       +--------------------+    +--------------------+
       |                    |
       |                    |
+----->+  meatricbeat       |     +---------------------+
       |   (Aliase)         |     | metricbeat-0001     |
       |                    +----->  (write index)      |
       +--------------------+     +---------------------+

Правильно ли я говорю о концепции опрокидывания? В экране продувки из кибаны есть опция "Перейти в теплую фазу при опрокидывании" означает, что переместитьmetricbeat7.1индекс (из примера выше) в теплой фазе? потому что "произошел опрокидывание"? верный?

Но что, если я сниму флажок "Перейти к теплой фазе при опрокидывании", то есть индекс все равно перейдет в теплую фазу? право? зачем мне эта опция?

И наконец, что есть

• индекс лидера
• индекс последователя
• индекс "отписаться"
• обычный индекс?

Answer 1

Вы правильно понимаете концепцию опрокидывания. Основная идея заключается в том, что клиент продолжает индексировать данные, не зная:

• если / когда индекс становится слишком большим
• если / когда создавать новый индекс и при каких условиях
• как назвать эти индексы

Так что на самом деле клиент пишет псевдоним, указывающий на единственный индекс. Функция ILM знает, когда пришло время пролонгировать, т. Е. Когда существующий индекс достиг условий, требующих создания нового индекса. В этом случае ILM создает новый индекс и переключает псевдоним на новый индекс. Все это время клиент пишет и ничего не замечает.

Важно знать, что такое горячая / теплая архитектура. Как правило, последние данные хранятся на (быстрых, мощных) горячих узлах, а менее свежие данные перемещаются на (более медленные) теплые узлы.

Итак, когда индекс переносится, есть два варианта: 1. либо индекс хранится на горячих узлах еще несколько дней (в пользовательском интерфейсе вы можете выбрать продолжительность перед перемещением индекса на теплые узлы) 2. или индекс перемещается в горячие узлы сразу при ролловере, чтобы освободить место для последнего индекса с самыми последними данными (это то, что означает переход в горячую фазу при ролловере)

Наконец, индексы лидер / последователь - это другая концепция, более связанная с кросс-кластерной репликацией (CCR), чем ILM. Хорошее объяснение того, что такое CCR, можно найти в этой статье блога.