Использование PyQuery для запроса веб-страницы о результатах поиска по почтовому индексу

Question

Я новее для сканирования данных.

Теперь я должен использовать Pyquery для сканирования информации о школах в США по почтовому индексу на веб-сайте http://www.greatschools.org/find-schools

Каждый раз, когда я набираю почтовый индекс, URL страницы поиска очень сложен. Я думаю, что сложно запрограммировать этот тип URL с помощью Pyquery.

Например, когда я ввожу почтовый индекс 95113, URL-адрес страницы результатов будет http://www.greatschools.org/search/search.page?lat=37.3326639&lon=-121.89183639999999&state=CA&locationType=postal_code&sortBy=DISTANCE&normalizedAddress=San+Jose%2C+CA+95113&totalResults=1&city=San+Jose&zipCode=95113&locationSearchString=95113&distance=5 - Хосе +% 2C + СА + 95113 & totalResults = 1 & = город, Сан - Хосе + & ZipCode = 95113 & locationSearchString = 95113 & расстояние = 5

Мой вопрос: если я хочу сканировать данные со страниц результатов, как я могу использовать Pyquery для получения страниц результатов? Кажется, что я могу составить URL-адрес результата поиска, программируя, но это слишком долго для создания, и есть тысячи почтовых индексов для поиска.

Есть ли лучшее решение?

Answer 1

Ты можешь использовать:

PyQuery(url='http://')

Затем лом с:

for a in doc('a').items():
    PyQuery(url=a.attr.href)