Как подойти к ошибке HTTP 429 (слишком много запросов) python
Я пытаюсь удалить данные из VGchart. Я использовал Beautifulsoup для загрузки в URL. Я уже смог получить данные из общего графика, но я хочу получить данные жанра, которые доступны только при загрузке в каждом из URL игровых сайтов. Общий график занял всего около 16 страниц каждая с 1000 игр на них. Итак, около 16 000 игр. Я легко столкнулся с ошибкой HTTP 429, а также со многими другими веб-скребками.
Я уже пытался загрузить список IP-адресов и изменить мой IP-адрес после загрузки страницы приводит к этой ошибке. А также заставляет мой код спать в течение некоторого времени, если это приводит к ошибке и после каждого URL.
Ничего из этого не сработало.
Не уверен, что у кого-то был опыт уничтожения 1000+ сайтов и возможности обойти ошибку 429. Я также пытаюсь сделать это с метакритическими игровыми данными, с такими же ошибками.