Как использовать Pyquery со скрапом?

Question

Моя цель - использовать pyquery со scrapy, как видно из scrapy.selector import PyQuerySelector возвращает ImportError: невозможно импортировать имя PyQuerySelector при сканировании паука.

Я следовал этой конкретной идее https://gist.github.com/joehillen/795180 для реализации pyquery.

Любые предложения или учебники, которые могут помочь мне сделать эту работу?

Answer 1

Вы объявляете класс и создаете свои правила, а в атрибуте обратного вызова экстрактора правил по умолчанию присваиваете parse_item, чтобы функция scrapy go parse()

def parse_item(self, response):
pyquery_obj = PyQuery(response.body)

header = self.get_header(pyquery_obj)
return {'header': header,
}


def get_header(self, pyquery_obj):
return pyquery_obj('#page_head').text()