Как рассчитать оптимальный размер кортежа в массовой вставке Elastic Search
Я вставляю данные в Elasticsearch из Python. Данные анализируются и хранятся в кадре данных Pandas. Кадр данных преобразуется в dict, а затем в кортеж для вставки данных. Это работает, но иногда дает ошибку времени ожидания. Я искал способы избежать тайм-аута.
es = Elasticsearch([target_elasticSearchUrl])
j = helpers.bulk(es,tuple(insert_df.to_dict(orient='records')), index = target_index,doc_type='doc')
Итак, я попытался ограничить размер кортежа до 500, что сократило время ожидания, но сильно повлияло на производительность. Поскольку у меня есть более 1 миллиона записей для загрузки.
Я ищу способы избежать влияния на производительность или другой способ вставки данных в Elasticsearch, кроме массовой вставки.