Норка и Сахи выходят на getContent

Я написал скребок для веб-сайта для использования в проекте.

Я контролирую Firefox через Sahi, используя Mink для посещения каждого сайта и взаимодействия с любыми элементами, где это необходимо. Мне удалось сделать это отлично работает на всех сайтах, которые я пробовал, кроме одного...

Я пытаюсь получить разметку с https://www.o2.co.uk/shop/phones/

Я использую точно такой же код для этой страницы, как и для всех остальных:

// Configure driver
$this->driver = new \Behat\Mink\Driver\SahiDriver('firefox',
    new \Behat\SahiClient\Client(
        new \Behat\SahiClient\Connection(null, CRAWL_SERVER, 9999)
    )
);

// Init session:
$this->session = new \Behat\Mink\Session($this->driver);

// Start session:
$this->session->start();

// Open the url
$this->session->visit($config['url']);

// Get the markup from the page
$markup = $this->session->getPage()->getContent();

Когда я использую этот код, чтобы попытаться получить разметку с https://www.o2.co.uk/shop/phones/ кажется, что Минк зависает, ожидая, что что-то произойдет.

Может показаться, что что-то на этой странице мешает Sahi или Mink вернуть разметку. Я также попытался запустить другие функции вместо getContent(), такие как $this->session->wait(2000); и пытается искать через getPage с использованием find команда.

Если у кого-то есть идеи относительно того, почему это происходит, мне было бы очень интересно узнать, почему и как я могу сделать эту работу.

tl; dr Почему Mink / Sahi задерживается на этом сайте?

0 ответов

Другие вопросы по тегам