Управление осколками в Lucene и Elasticsearch

Я сталкиваюсь с проблемой создания готового производственного кластера эластичного поиска. На данный момент я храню только лог-файлы в asticsearch. Пока все хорошо, но поскольку у нас есть производственные журналы по 1 ТБ в день, мне было интересно, как правильно настроить индекс эластичного поиска для этого варианта использования.

Мы хотим сохранить эти журналы на 30 дней. Настройка кластера имеет 100 ТБ дискового пространства. Я хотел бы выбрать количество реплик 3, поэтому используемое дисковое пространство должно быть около 90 ТБ.

Но сколько осколков я должен выделить?

Есть ли разница между осколками в упругом и осколками Lucene?

Источник

1 ответ

Решение

Вам следует прочитать статью, которую прислал Val. Но в случае журналов вы можете создавать один индекс в день, эта стратегия может дать вам возможность попробовать разные конфигурации.

Количество реплик должно зависеть от количества ваших узлов эластичного поиска.

Вы также можете прочитать эту короткую статью: https://www.elastic.co/guide/en/elasticsearch/guide/current/_how_primary_and_replica_shards_interact.html

И если у вас есть сомнения по поводу количества реплик, этот также может помочь вам: https://codingexplained.com/coding/elasticsearch/understanding-replication-in-elasticsearch

Источник
Другие вопросы по тегам