AWS OpenSearch + searchkick приводит к увеличению количества документов
У меня есть приложение ruby/rails, которое позволяет пользователям искать данные о собственности по всей стране (103 миллиона записей). Мы используем драгоценный камень searchkick , чтобы взять нашу модель собственности и сохранить ее с возможностью поиска в AWS OpenSearch. Когда я звоню
Property.reindexвсе работает корректно и все 103 млн записей добавляются в индекс.
Тем не менее, у нас есть ежемесячный импорт для обновления данных о свойствах (есть некоторые новые записи, но в основном это обновления). Во время импорта нам нужно обновить индекс каждого обновляемого свойства. Для этого мы вызываем
property.reindexво время импорта. Единственная проблема заключается в том, что во время каждого импорта количество доступных для поиска документов продолжает увеличиваться на ту же величину, что и количество добавляемых + обновляемых свойств (см. диаграмму).
У меня сложилось впечатление, что обновление индекса для одного свойства фактически обновит индекс в OpenSearch, а не добавит новую запись. Если это продолжится, нашему кластеру OpenSearch не хватит места. Что я могу сделать, чтобы избежать дополнительных документов для поиска? Я бы даже согласился на способ очистить их постфактум (желательно без необходимости перестраивать весь индекс).
Любая помощь приветствуется. Спасибо!