Response.css() не дает результатов для разбиения на страницы в сканере scrapy после входа в систему
Я хочу прочитать "название" списка проектов, которые находятся на нумерации страниц и почти 335 записей. То, что я пытаюсь сделать, это: 1) Сначала я получаю ответ браузера с помощью этой команды в Windows CMD:
scrapy shell https://www.slingshotinsights.com/projects
2) Это показывает HTML, представленный в cmd, и очень скоро я пишу
reponse.css('a.grey-link').extract()
и нажмите Enter, это даст мне [] "пустой массив".
Вопрос в том, как получить данные из сценария scrapy для URL, которые появляются после входа в систему? Потому что https://www.slingshotinsights.com/projects - это ссылка, которая появляется, когда пользователь успешно заходит на страницу.
И может быть, скрапа не может найти, что
reponse.css('a.grey-link').extract()
Селектор css, потому что он не может быть загружен в виде выхода из системы.