Apify crawler с более чем 2 активируемыми элементами

Question

Я пытаюсь создать сканер apify, в котором есть несколько кликабельных элементов. Первый щелчок - это разбиение на страницы, второй щелчок - просмотр каждого результата, третий - посещение раздела каждого результата для получения дополнительной информации.

function pageFunction(context) {
    var $ = context.jQuery;
    if (context.request.label === 'category'|| context.request.label === 'detail') {
        context.skipLinks();

        var result = {
            item_name: $('name').text(),
            categories: $('.categories').text(),
            email: $('email').text(),
            kvk: $('kvk').text()
        };
        return result;
    } else {
        context.skipOutput();
    }
}

Первые 2 щелчка происходят, он разбивает на страницы и посещает результаты и извлекает первые 3 значения: item_name, categories and email

Четвертое значение: kvk не возвращается. Я думаю, что или третий щелчок не происходит, или код, который я использовал, имеет некоторые ошибки. Может кто-нибудь, пожалуйста, помогите мне исправить это?

Answer 1

Одна из проблем может context.skipLinks() функция, которая предотвращает любые новые страницы в очереди. Кроме того, вы проверили все селекторы в консоли разработчика? Для отладки я бы посоветовал вам зарегистрировать содержимое страницы, чтобы вы знали, что она загружена. Во-первых, вам нужно найти источник проблемы.

С одной стороны, я бы посоветовал вам начать разработку - наш современный веб-скребок. Платформа Crawler больше не поддерживается и в некоторых случаях может работать хуже.