Как масштабировать индексирование SOLR без использования DIH?

У меня есть около 20 миллионов документов в моем SOLR. Я использую DIH для индексации дельта-обновлений в SOLR. Индексирование дельта-импорта занимает около 2-3 часов за последний час, а полный импорт занимает около 5-6 часов. Есть ли способ ускорить этот процесс, кроме DIH?

Источник

1 ответ

Вы можете думать о

  1. распределение индекса по нескольким серверам
  2. репликация индекса на нескольких серверах

Распределите индекс: разделите индекс на части (осколки), каждый из которых выполняется на отдельном компьютере. Затем Solr разбивает поиски на подиски, которые выполняются на отдельных осколках, сообщая результаты вместе. Таким образом, вы будете быстрее выполнять запросы к очень большим индексам.

Здесь хорошо читать для масштабирования на Solr

http://www.hathitrust.org/blogs/large-scale-search/scaling-large-scale-search-from-500000-volumes-5-million-volumes-and-beyond

Источник
Другие вопросы по тегам