Почему бы не повысить производительность, установив интервал обновления в asticsearch

Question

Я смотрел памятку сайта о повышении производительности индексации. это ссылка на сайт

Эта ссылка научит меня, как увеличить производительность. но это не улучшило скорость индексации в asticsearch, когда я использовал для заполнения Python API с помощьюластиком поиска по py.

даже все изменения конфигурации не влияют на производительность массового индексирования.

Я использовал параллельный процесс или поток. максимальная средняя 30000 индексации в секунду.

в чем я виноват?

главный узел: 1 узел данных: 5 включают главный узел ЦП: процессор Intel(R) Xeon(R) E5645 @ 2,40 ГГц ОЗУ: 32 ГБ

ES_HEAPSIZE: 10G

Спасибо

Answer 1

Это на самом деле резко повышает производительность (более 50% с моей стороны). Вам просто нужно отключить refresh_interval (включите его снова, когда закончите индексировать данные)

curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "-1"  }}'

#index data......

curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "1s"  }}'