Scrapy сайт перенаправляет на 404 после загрузки

Question

Я пытаюсь сканировать сайт моды, однако, когда я пытаюсь отобразить страницу, которую я хочу сканировать, из оболочки scrapy, я увижу, что она сначала загружает страницу, а затем перенаправляет ее на страницу 404. Это команда, которую я выполнил

scrapy shell -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' 'http://www.asos.com/search/circle%20skirt?currentpricerange=10-95&q=circle%20skirt&refine=attribute_900:1573'

Я также попытался добавить заголовки и файлы cookie, но ничего не работает, страница продолжает перенаправлять на 404. Что мне делать?

Answer 1

Получил решение, как прокомментировал furas, в response.body были все, что мне было нужно, единственная причина (ответ) не работала, потому что сайт требовал загрузки JS, и это вызвало 404. Спасибо за помощь furas.