Получение данных из середины большого стека с помощью searchAfter(переход на определенную страницу)

Question

У меня есть большой набор данных, около 25 миллионов записей. Я использую searchAfter с PointInTime для просмотра данных. Мой вопрос: есть ли способ пропустить записи, превышающие предел в 10000?

index.max_result_window

и начните выбирать записи, например, от 100 000 до 105000

прямо сейчас я отправляю несколько запросов в Elasticsearch, пока не достигну желаемой точки, но это неэффективно и занимает много времени

Answer 1

Я думаю, что лучший способ сделать это, как я это сделал

продолжая прокрутку через Точку во времени и загружая результат только тогда, когда желаемая страница достигается с помощью .source(bool)

Answer 2

Проверьте здесь: Методы разбивки на страницы Elasticsearch