Ошибка 503 при загрузке данных из imdb api

Question

Я пытаюсь скачать сюжет для почти 25 000 фильмов с использованием модуля imdbpy для Python. Для ускорения я использую функцию Pool из модуля Multiprocessing. Однако после почти 100 запросов возникает ошибка 503 со следующим сообщением: Сервис временно недоступен. Через 10-15 минут я могу снова обработать, но после примерно 20 запросов снова возникает та же ошибка.

Я знаю, что это может быть простой блок из API, чтобы предотвратить слишком много вызовов, однако я не могу найти информацию о максимальном количестве запросов на единицу времени в Интернете.

У вас есть идеи, как обрабатывать так много звонков, не выключаясь? Кроме того, вы знаете, где я могу найти документацию по imdb api?

Лучший

Answer 1

Пожалуйста, не делай этого.

Очистка запрещена условиями обслуживания IMDb, и IMDbPY никогда не предназначался для массовой очистки веб-сайта: фактически он явно предназначен для загрузки одного фильма за раз.

Теоретически IMDbPY может управлять файлами данных в виде простого текста, которые они распространяют, но, к сожалению, недавно они изменили как формат, так и содержание данных.

У IMDb нет API, о которых я знаю; если вам приходится управлять такой огромной частью своих данных, вам необходимо получить лицензию.

Пожалуйста, рассмотрите использование http://www.omdbapi.com/