Описание тега pyspider
Система Powerful Spider(веб-сканер) на основе Python
Используется для
- Напишите скрипт на Python с мощным API
- Мощный веб-интерфейс с редактором сценариев, монитором задач, менеджером проектов и средством просмотра результатов
- MySQL, MongoDB, SQLite как серверная часть базы данных
- Поддерживаются страницы Javascript!
- Приоритет задачи, повторная попытка, периодичность и повторное сканирование по возрасту или отметкам на странице индекса (например, по времени обновления)
- Распределенная архитектура