Норка и Сахи выходят на getContent
Я написал скребок для веб-сайта для использования в проекте.
Я контролирую Firefox через Sahi, используя Mink для посещения каждого сайта и взаимодействия с любыми элементами, где это необходимо. Мне удалось сделать это отлично работает на всех сайтах, которые я пробовал, кроме одного...
Я пытаюсь получить разметку с https://www.o2.co.uk/shop/phones/
Я использую точно такой же код для этой страницы, как и для всех остальных:
// Configure driver
$this->driver = new \Behat\Mink\Driver\SahiDriver('firefox',
new \Behat\SahiClient\Client(
new \Behat\SahiClient\Connection(null, CRAWL_SERVER, 9999)
)
);
// Init session:
$this->session = new \Behat\Mink\Session($this->driver);
// Start session:
$this->session->start();
// Open the url
$this->session->visit($config['url']);
// Get the markup from the page
$markup = $this->session->getPage()->getContent();
Когда я использую этот код, чтобы попытаться получить разметку с https://www.o2.co.uk/shop/phones/ кажется, что Минк зависает, ожидая, что что-то произойдет.
Может показаться, что что-то на этой странице мешает Sahi или Mink вернуть разметку. Я также попытался запустить другие функции вместо getContent()
, такие как $this->session->wait(2000);
и пытается искать через getPage
с использованием find
команда.
Если у кого-то есть идеи относительно того, почему это происходит, мне было бы очень интересно узнать, почему и как я могу сделать эту работу.
tl; dr Почему Mink / Sahi задерживается на этом сайте?