Безголовый браузер для Python (ТРЕБУЕТСЯ поддержка Javascript!)
Мне нужен безголовый браузер, который довольно прост в использовании (я все еще довольно плохо знаком с Python и программированием в целом), который позволит мне перейти на страницу, войти в форму, требующую Javascript, а затем очистить полученную веб-страницу с помощью поиск результатов, соответствующих определенным критериям, установка флажков и загрузка файлов. Все это требует Javascript.
Я слышал, что безголовый браузер - это то, что я хочу - требования / предпочтения состоят в том, чтобы я мог запускать его из Python, и желательно, чтобы результирующий скрипт был компилируемым с помощью py2exe (я пишу эту программу для других пользователей).
Пока что Мельница выглядит так, как будто МОЖЕТ быть тем, что я хочу, но я не уверен.
Любые идеи приветствуются!
6 ответов
Я использую webkit как безголовый браузер в Python через pyqt / pyside:
http://www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category%3ALanguageBindings%3A%3APySide%3A%3ADownloads
Мне особенно нравится webkit, потому что он прост в настройке. Для Ubuntu вы просто используете: sudo apt-get install python-qt4
Вот пример сценария:
http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/
Я нахожусь в процессе написания Python-драйвера для Zombie.js, "облегченного фреймворка для тестирования клиентского JavaScript-кода в моделируемой среде".
В настоящее время я нахожусь в тупике по устранению ошибки в Node.js (до того, как я напишу больше тестов и больше кода), но не стесняйтесь следить за моим проектом по мере его продвижения:
Попробуйте использовать phantomjs, он имеет отличную поддержку JavaScript. Тогда вы можете запустить его как подпроцесс скрипта Python
http://docs.python.org/library/subprocess.html
это могло бы возглавить это вокруг.
Вы можете использовать HTQL в сочетании с веб-мастером IRobotSoft. Проверьте здесь для примеров: http://htql.net/