Как скрыть непрерывный рейтинг попаданий (Обновить) на веб-сайт
Я разработал код Python (Запросы) и Java для сбора данных с веб-сайта. И он будет работать, постоянно обновляя сайт для новых данных.
Но сайт недавно идентифицировал мой скребок как автоматизированный сервис, и моя учетная запись была заблокирована. Есть ли способ скрыть это обновление, чтобы получить новые данные без блокировки учетной записи?
1 ответ
Зависит от того, на каком сайте он, в любом случае, скребок имитирует поведение пользователя, которое все равно будет заблокировано.
Если веб-сайт обнаруживает синхронизированные задачи, решение может состоять в том, чтобы рандомизировать время обновления вашего приложения.
Если на сайте будет указан код с картинки, у вас нет простого решения
Если веб-сайт просто считает посещение с определенного IP-адреса, вы можете настроить динамический прокси-сервер для имитации запросов с других IP-адресов.