Самый быстрый способ чтения исходного кода в Python
Я пытаюсь создать приложение в Django, которое принимает пользовательский ввод и извлекает список номеров, просматривая сайт. Теперь для каждого полученного числа в списке очищается еще 5 сайтов, чтобы получить больше данных.
Прямо сейчас я использую комбинацию BeautifulSoup и urllib2 для манипулирования источником страницы. Но urllib2.urlopen() занимает значительное количество времени, и так как мое приложение использует выборку страниц из большого количества ссылок, процесс в целом задерживается даже после многопоточности (с использованием ThreadPool). Есть ли способ сделать мое приложение более эффективным? или любая другая альтернатива urllib2, которая может сократить время обработки? Пожалуйста, помогите мне! Заранее спасибо.