Страница не загружается (без html тела) для извлечения данных в Scapy
Я использовал Scrapy 1.5.0 для сканирования продуктов на веб-сайте во время сканирования, оно показало мне проблему перенаправления 302, но не сканирует данные для некоторых страниц.
Redirecting (302) to <GET www.xyz.com>
Итак, я использовал scrapy-splash, и он решил проблему "перенаправления 302". Но теперь те же страницы не загружаются, и ответ, который я получаю для этой страницы:
<Selector xpath=None data='<html class="a-no-js" lang="en-us"><!--<'>
Если страница загружена правильно, то это ответ для этой страницы
<Selector xpath=None data='<html class=" a-js a-audio a-video a-can'>
И если я подождал 10 секунд, то все страницы сканируются. Так есть ли способ решить эту проблему без использования ожидания. Это синтаксис для запроса
yield SplashRequest(response.urljoin(result), callback=self.parse_page, args={'wait': 10}, endpoint = 'render.html',)