Многопоточная загрузка через прокси в Python
Какова будет лучшая библиотека для многопоточного сбора / загрузки с поддержкой нескольких прокси? Я смотрел на Tkinter, он выглядит хорошо, но их так много, у кого-нибудь есть конкретные рекомендации? Большое спасибо!
3 ответа
Также взгляните на http://scrapy.org/, который представляет собой скребковый фреймворк, построенный поверх витой.
Это то, что вы не можете просто сделать, передав URL новым порожденным потокам и вызывая urllib2.urlopen в каждом из них, или существует более конкретное требование?