Как прокручивать с помощью библиотеки python requests-html? до конца страницы

Question

Проблема в том, что мне нужно очистить данные, но все данные создаются только при прокрутке.

если я очищаю перед прокруткой, удаляются не все данные.

from requests_html import AsyncHTMLSession

link="https://www.daraz.com.np/catalog/?q={}"
asession = AsyncHTMLSession()
async def get_daraz():
    r = await asession.get(link.format("mouse"))
    await r.html.arender()
    return r.html
results = asession.run(get_daraz)


items_div=results[0].xpath('//*[@id="root"]/div/div[2]/div[1]/div/div[1]/div[2]/div')

for item in items_div:
    print(item.xpath('//div/div/div[1]/div/a/img',first=True))

выше приведены изображения только первых трех.

Answer 1

Вы можете проверить библиотеку pyautogui для прокрутки веб-страницы. Селен тоже работает, но заблокирован многими веб-сайтами.

pyautogui.moveTo(200,200) # move mouse to a blank spot on the screen. (x, y) coordinates.
pyautogui.click(200,200) # click spot on screen at the coordinates of your choice.
pyautogui.scroll(100) # you could use a higher number to scroll more to load the whole page.