Порция паука не ползает предметы
Я создал паука с помощью пользовательского интерфейса Portia, и я развернул и запланировал на одной из моих виртуальных машин с использованием scrapyd. Паук побежал нормально и поцарапал содержимое сайта.
Но когда я пытаюсь развернуть и запланировать одного и того же паука на другой аналогичной виртуальной машине с использованием scrapyd, паук работает нормально, но не сканирует какой-либо контент.
Обе машины имеют одинаковую конфигурацию, настройки, пакеты и версии.
В чем может быть возможная проблема?
редактировать
Я сделал следующее
- Установил все пакеты Portia на мою машину, используя докер
- Создан паук (скажем, myspider)
- Развернул и запланировал, что паук использует scrapyd
- Получил извлеченное содержание от бега паука
- клонировали машину и добавили в другую сеть с другим провайдером
- Развернут тот же паук (myspider)
- Spider работал нормально, но содержимое сайта не извлекалось
- Я создал нового паука с другим URL-адресом, и этот паук прекрасно сканирует содержимое веб-сайта.