Индексирование 7 ТБ данных с помощью elasticsearch. FScrawler останавливается через некоторое время
Я использую fscrawler для создания индекса данных выше 7 ТБ. Индексация начинается нормально, но затем останавливается, когда размер индекса достигает 2,6 ГБ. Я считаю, что это проблема с памятью, как мне настроить память?
Моя машинная память составляет 40 ГБ, и я назначил 12 ГБ для elasticsearch.
1 ответ
Возможно, вам придется выделить достаточно памяти для FSCrawler, используя FS_JAVA_OPTS. Подобно:
FS_JAVA_OPTS="-Xmx4g -Xms4g" bin/fscrawler