Очистка второй страницы сайта в Python не работает

Question

Допустим, я хочу очистить данные здесь.

Я могу сделать это красиво, используя urlopen а также BeautifulSoup в Python 2.7.

Теперь, если я хочу, чтобы очистить данные со второй страницы с этим адресом.

То, что я получаю, это данные с первой страницы! Я посмотрел на исходную страницу второй страницы, используя "просмотр исходной страницы" Chrome, и содержимое принадлежит первой странице!

Как я могу соскрести данные со второй страницы?

Answer 1

Страница имеет довольно асинхронный характер, есть XHR-запросы, формирующие результаты поиска, смоделируйте их в своем коде, используя requests, Пример кода в качестве отправной точки для вас:

from bs4 import BeautifulSoup
import requests

url = 'http://www.amazon.com/Best-Sellers-Books-Architecture/zgbs/books/173508/#2'
ajax_url = "http://www.amazon.com/Best-Sellers-Books-Architecture/zgbs/books/173508/ref=zg_bs_173508_pg_2"

def get_books(data):
    soup = BeautifulSoup(data)

    for title in soup.select("div.zg_itemImmersion div.zg_title a"):
        print title.get_text(strip=True)


with requests.Session() as session:
    session.get(url)

    session.headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; U; Android 4.0.3; ko-kr; LG-L160L Build/IML74K) AppleWebkit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
        'X-Requested-With': 'XMLHttpRequest'
    }

    for page in range(1, 10):
        print "Page #%d" % page

        params = {
            "_encoding": "UTF8",
            "pg": str(page),
            "ajax": "1"
        }
        response = session.get(ajax_url, params=params)
        get_books(response.content)

        params["isAboveTheFold"] = "0"
        response = session.get(ajax_url, params=params)
        get_books(response.content)

И не забывайте быть хорошим читателем веб-страниц и соблюдать Условия использования.