urllib: при открытии URL всегда получается 429: слишком много запросов

Question

Я только начал с urllib модуль. Я пытаюсь вычистить продукты из супермаркетов, и есть сайт, который, кажется, всегда отвечает HTTP Error 429: Too many requests, Я уже провел небольшое исследование переполнения стека, и, похоже, никто не сталкивался с такой же проблемой. Мой код настолько прост, насколько это возможно:

>>> import urllib.request
>>> resp = urllib.request.urlopen("https://shop.coles.com.au/a/a-national/product/head-shoulders-shampoo-conditioner-2in1-deep-clean")
Traceback (most recent call last):
  File "<pyshell#1>", line 1, in <module>
    resp = urllib.request.urlopen("https://shop.coles.com.au/a/a-national/product/head-shoulders-shampoo-conditioner-2in1-deep-clean")
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 222, in urlopen
return opener.open(url, data, timeout)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 531, in open
response = meth(req, response)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 640, in http_response
'http', request, response, code, msg, hdrs)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 568, in error
return self._call_chain(*args)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 503, in _call_chain
result = func(*args)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 648, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 429: Too Many Requests

Я также пытался изменить пользовательский агент, как предполагает этот ответ, но результат все тот же

Может кто-нибудь объяснить, какие настройки по умолчанию внутри модуля urllib могут вызвать проблему? Или это потому, что сайт блокирует ботов? Другие страницы продукта сайта также не работают.

Answer 1

429 сервер просит вас остановиться. По сути, веб-сервер думает, что вы пытаетесь спамить или царапать, и ему это не нравится. Как правило, вы должны уважать сервер, и если через некоторое время попытка с ответом 429, вы должны следовать ему.

Если вы чувствуете, что сервер неправильно спросил вас, либо вы можете убедиться, что ваш пользовательский запрос ** аналогичен "пользовательскому запросу, сгенерированному пользователем из браузера, который будет включать в себя user-agent и всю другую информацию обычный браузер будет отправлять с запросом. Если сервер отправляет вам 429. Несмотря на это, наиболее вероятно, что он заблокировал ваш ip временно или постоянно. В этом вы должны посмотреть, как просматривать несколько ips.