Динамический скребок IMDb, чтобы увидеть ранжированных личностей
Я хочу создать онлайновый динамический список актеров / режиссеров на основе их данных IMDb. Я использовал BeautifulSoup ранее, чтобы создать автономную версию для фильмов. Но поскольку ему уже более 2 лет, рейтинг 250 лучших изменился.
Есть ли конкретный рекомендуемый метод для создания онлайн-рейтинга? Я слышал о Scrapy+Flask, но понятия не имею о них.
1 ответ
IMDB выпускает данные в виде простого текста, и вам не нужно их очищать - http://www.imdb.com/interfaces. Диффы выпускаются еженедельно. (Так что целое не нужно скачивать снова и снова)