Прокрутите страницу вниз, используя пакет crrri и безголовый хром

Я пытаюсь очистить веб-сайт, на котором выполняется javascript, добавляя новую информацию, когда пользователь прокручивает страницу вниз. Я использую эту функцию для получения DOM:

      library(crrri)
dump_DOM <- function(url) {
    perform_with_chrome(function(client) {
        Network <- client$Network
        Page <- client$Page
        Runtime <- client$Runtime
        Network$enable() %...>% {
            Page$enable()
        } %...>% {
            Network$setCacheDisabled(cacheDisabled = TRUE)
        } %...>% {
            Page$navigate(url = url)
        } %...>% {
            Page$loadEventFired()
        } %...>% {
            Runtime$evaluate(
                expression = 'document.documentElement.outerHTML'
            )
        } %...>% (function(result) {
            html <- result$result$value
            return(html)
        })
    },
    extra_args = '--no-sandbox')
}
website <- dump_DOM(url)

Я не мог найти, как прокручивать страницу в безголовом хроме, поэтому я безрезультатно пытался изменить размер окна, добавив эти строки внутри функции:

      Emulation <- client$Emulation

Network$enable() %...>% { 
    Page$enable()
} %...>% {
    Emulation$setDeviceMetricsOverride(
        width = 1080,
        height = 10000,
        deviceScaleFactor = 0,
        mobile = FALSE,
        dontSetVisibleSize = FALSE
    )
} %...>% {
....

Итак, вопрос - как мне прокрутить страницу вниз? В качестве альтернативы, как сделать «размер окна» достаточно большим, чтобы он загружал всю страницу без необходимости прокрутки вниз?

0 ответов

Другие вопросы по тегам