Описание тега scrapy-shell
Оболочка Scrapy - это интерактивная оболочка, в которой вы можете очень быстро попытаться отладить код очистки без необходимости запускать паук.
2
ответа
Я получил TypeError при использовании Scrapy View
Я пытаюсь использовать scrapy view https://www.example.com (не настоящая ссылка, так как мне не разрешено раскрывать ее по моей работе. Извините.) для отладки ссылки, но затем я получил эту ошибку. 2018-11-01 20:49:29 [twisted] CRITICAL: Unhandled e…
01 ноя '18 в 13:50
1
ответ
Как вычеркнуть названия продуктов с веб-сайта, используя оболочку Scrapy
Пожалуйста, помогите мне найти названия продуктов по этой ссылке: http://www.gap.com/browse/category.do?cid=5168&scrollTo;=product353401012&scrollTo;=product353401012 Имена продуктов содержатся в class="product-card- name", который находится в div. …
05 дек '16 в 14:46
2
ответа
Как выбрать все атрибуты href в теге html содержат общий класс. в скрапе
Я хочу выбрать все href, содержащиеся в теге... вот мой HTML-код <a href="/gp/product/0545935172 ...." class="aok-block aok-nowrap" title="Dog Man: Lord of the Fleas: From the Creator of Captain Underpants (Dog Man #5)"> я использовал response…
27 ноя '18 в 01:34
1
ответ
Не могу войти используя Scrapy
<div class="col small-w100 tiny-w100 col1"> <div class="box_already_member"> <h2 class="fs22 fwn foro black">Already member ?</h2> <p>Please enter your account details : </p> <div class="box_form"> <label…
04 июн '18 в 10:23
1
ответ
Как извлечь раздел через xpath из исходного кода в scrapy?
Я пытаюсь извлечь текст из исходного кода сайта в разделе. Исходный код сайта, который я пытаюсь извлечь, выглядит следующим образом: if ('function' === typeof window.ToggleFilters) { window.ToggleFilters(); } </script> <main id="main" data…
09 фев '19 в 21:35
1
ответ
Почему это противоречивое поведение при использовании результатов печати с использованием шелухи?
Загрузите скорлупу scrapy shell "http://www.worldfootball.net/all_matches/eng-premier-league-2015-2016/" Попробуйте селектор: response.xpath('(//table[@class="standard_tabelle"])[1]/tr[not(th)]') Примечание: он печатает результаты. Но теперь использ…
04 мар '16 в 07:19
2
ответа
Как использовать оболочку Scrapy с URL-адресом и базовыми учетными данными?
Я хочу использовать scrapy shell и проверьте данные ответа для URL, который требует базовых учетных данных. Я попытался проверить документацию оболочки Scrapy, но я не смог найти ее там. Я пробовал с scrapy shell 'http://user:pwd@abc.com' но это не …
16 мар '17 в 02:26
0
ответов
"Пауза / возобновление" Scrapy стала "пауза / перезапуск"
Вот вещьВот большой список слов. Я хочу сканировать некоторые данные по этим словам. Это отнимает много времени, поэтому я хотел бы разбить его на куски. Сначала я загружаю список слов в список в __init__ моего паука. def __init__(self, category=Non…
02 авг '17 в 17:56
1
ответ
Scrapy - другой контент страницы при загрузке response.body
Я пытаюсь разобрать страницу, например www.page.com/results?sort=price, Я анализирую это с этим кодом: def start_requests(self): start_urls = [ "www.page.com/results?sort=price", ] for url in start_urls: yield scrapy.Request(url=url, callback=self.p…
05 май '18 в 23:08
0
ответов
Response.css() не дает результатов для разбиения на страницы в сканере scrapy после входа в систему
Я хочу прочитать "название" списка проектов, которые находятся на нумерации страниц и почти 335 записей. То, что я пытаюсь сделать, это: 1) Сначала я получаю ответ браузера с помощью этой команды в Windows CMD: scrapy shell https://www.slingshotinsi…
02 ноя '17 в 11:07
1
ответ
scrapy1.1 просканировал 0 страниц, но я могу получить данные с помощью команды scrapy shell
Я пытался изучить учебник Scrapy, и после запуска команды на верхнем уровне проекта я получил следующий вывод: 2016-07-05 21:06:01 [scrapy] INFO: Scrapy 1.1.0 started (bot: tutorial) 2016-07-05 21:06:01 [scrapy] INFO: Overridden settings: {'NEWSPIDE…
05 июл '16 в 13:39
1
ответ
Вызвать пользовательский экспортер scrapy из командной строки
Пытаясь решить мою проблему (вывести упорядоченный массив Json по полю определенного элемента), я получил ответ, в котором предлагается создать собственный экспортер для работы. Я создаю один, но... все примеры, которые я нашел, предлагают вызывать …
22 фев '18 в 14:02
0
ответов
Разве мы не можем использовать скорлупу в клетке ноутбука Юпитера?
(система win10) Как я пытался выполнить эти коды в ячейке ноутбука jupyter:! Scrapy shell ' http://www.baidu.com/' это приходит с ： ValueError: неверное имя хоста: 'http Таким образом, я попытался выполнить: !scrapy shell “http://www.baidu.com” (дво…
24 авг '18 в 02:11
1
ответ
Как извлечь текст с помощью Xpath в Scrapy?
Хорошо, похоже, что я все перепробовал и просто не могу понять, что здесь происходит. Прямая ссылка на сайт, который я пытаюсь почистить, находится по http://www.ammofast.com/collections/pistol/products/aguila-25-auto-acp-full-metal-jacket-50-gr-100…
02 июн '16 в 18:37
0
ответов
Ошибка scrapy key: z (freebsd)
Я пытаюсь установить scrapy 0.24 в системе freebsd (MariaDB), но когда я пытаюсь запустить его, у меня появляется "keyError: 'z'", который я не знаю, что это значит... Я пытался отладить его безуспешно, File "/usr/local/bin/scrapy", line 9, in <m…
24 янв '15 в 19:51
1
ответ
Scrapy Amazon абсолютный путь, но без возврата стоимости
Я пытаюсь использовать Scrapy некоторую информацию с amazon.co.uk, используя абсолютный путь, как показано ниже. но, как ни странно, значение не возвращается. Я совершенно новичок в Scrapy: scrapy shell http://www.amazon.co.uk/product-reviews/B0042E…
28 апр '15 в 22:54
1
ответ
Почему скрап-печать \t\n\n там, где я ожидаю, что там будет текст?
Я новичок в области скрапа, но учусь. Я анализировал эту страницу. и пытаюсь соскрести адрес со страницы. Я сделал это в оболочке Scrapy, поэтому я начну с: scrapy shell https://www.marksandspencer.com/MSStoreDetailsView?storeId=10151&langId=-24…
17 дек '17 в 19:15
0
ответов
Scrapy Shell имеет правильный вывод, но скрипт не
Так что я очень смущен здесь. Когда я использую оболочку scrapy и ввожу xpath, возвращаются правильные данные, но когда я устанавливаю тот же самый xpath равным переменной в скрипте, он выводит пробел. Я действительно не уверен, что происходит. impo…
07 июл '17 в 21:05
2
ответа
Не удается получить ссылку на изображение с помощью XPath
Я использую Scrapy для сканирования ссылки на изображение продукта на этом сайте: http://eshop.tesco.com.my/en-GB/Promotion/List?SortBy=Default По некоторым причинам Xpath не захватывает ссылки src изображения продукта. Я попытался отсканировать все…
11 дек '15 в 12:19
1
ответ
scrapy xpath выбрать элементы по имени класса
Я следил Как я могу найти элемент по классу CSS с XPath? который дает селектор для выбора элементов по имени класса. Проблема в том, что когда я его использую, он получает пустой результат "[]", и я знаю, что в URL-адресе, передаваемом в оболочку sc…
27 янв '15 в 15:53