Перемещение документов из SOLR в asticsearch

Question

Я работаю над перемещением всех документов в SOLR в asticsearch с использованием кода Python с Pysolr.

С помощью pysolr я могу получить доступ только к 499 документам, это позволяет получить доступ ко всему набору документов.

Answer 1

Доступ к документам можно получить в наборах по 499, используя параметр смещения и размера в API pysolr, я обнаружил это после более детальной проверки API Pysolr. Пример кода прилагается ниже:

limit = 499
offset = 0
while True:
    kwargs = {'sort':'id DESC'}
    response = source.search(q='projectid:774 AND source:FACEBOOK', start=offset, rows=limit, **kwargs  )
    print(len(response.docs))

    offset = offset + limit

    if len(response.docs) == 0:
        break

    # Do neccessary Operations
    pass