Как правильно пролистать веб-страницу с бесконечной прокруткой?

Question

Как бы я начал собирать данные с сайта с бесконечной прокруткой?

Я пытаюсь получить все данные из Google Play Store ( https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en).

Я использую Apify ( https://www.apify.com/) для сканирования в Google Play Store; Я хочу получить все ссылки в разделе "Лучшие бесплатные игры", а затем получить все заголовки и информацию о лучших играх.

К сожалению, страница загружает новые данные, когда пользователь прокручивает страницу до конца, и я не могу понять, как получить новые данные.

Это моя функция страницы:

function pageFunction(context) {
var $ = context.jQuery;
if (context.request.label === "DETAIL") {
    context.skipLinks();
    if($('.details-info .info-container .info-box-top .document-title .id-app-title').length >= 1) {
        return {
            title: $('.details-info .info-container .info-box-top .document-title .id-app-title').text(),
            publisher: $('.details-info .info-container .info-box-top .document-subtitles .primary').text(),
            genre: $('.details-info .info-container .info-box-top .document-subtitles .category').text(),
            rating: $('.details-wrapper .details-section .rating-box .score').text()
        };
    }
} else {
    context.skipOutput();
    $.post("https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en&authuser=0");
}

}

Как я могу загрузить дополнительные игры и получить их ссылки, чтобы я мог получить их данные на странице игры?

Пример или пример кода будет принята с благодарностью.

Answer 1

В дополнительных настройках есть опция "Бесконечная высота прокрутки", позволяющая сканировать контент из бесконечной прокрутки. Проверьте Apify документацию