Описание тега mechanize
Библиотека для автоматического просмотра веб-страниц, изначально разработанная для Perl, сейчас есть также реализации Python и Ruby.
2
ответа
Нокогири и механизировать проблему
Я делаю один из примеров на сайте механизированных документов, и я хочу проанализировать результаты, используя nokogiri. Моя проблема в том, что когда следующая строка выполняется: doc = Nokogiri::HTML(search_results, 'UTF-8' ) возникает следующая о…
04 мар '11 в 09:52
1
ответ
Как получить как можно больше отладочной информации о трафике при использовании модуля WWW::Scripter в Perl?
Я использую WWW::Scripter модуль в моем приложении Perl, и я пытаюсь выяснить, что именно делает код, какие страницы / изображения / и т. д. он загружает, какие заголовки и содержимое он получает и в каком порядке. Код выглядит примерно так: #!/usr/…
07 мар '12 в 01:02
1
ответ
Работа с phpsessid с использованием механизировать
Я пытаюсь сканировать веб-сайт, но каждый раз, когда мне нужно получить phpsessid из cookie request_headers с помощью firebug или он вернет 500, я пытался сгенерировать phpsessid с помощью SecureRandom.hex(13), но это не сработает, любое решение, чт…
28 авг '13 в 10:11
1
ответ
Попытка войти на авторизованный сайт
Я пытаюсь войти на веб-страницу и получить доступ к аутентифицированной странице. Это не работает from __future__ import division from __future__ import unicode_literals from __future__ import print_function import re import mechanize br = mechanize…
08 май '11 в 19:26
1
ответ
Как сохранить текст с сайта, используя beautifulsoup в файл.txt?
Я новичок в Python и веб-соскоб. Я столкнулся с проблемой, и я не могу понять, как ее исправить. Я пытаюсь скопировать текст с веб-сайта, и когда я распечатываю все в терминал, он появляется нормально. Проблема в том, когда я пытаюсь сохранить его в…
05 авг '14 в 07:46
2
ответа
BeautifulSoup HTML разбора таблицы
Я пытаюсь проанализировать информацию (HTML-таблицы) с этого сайта: http://www.511virginia.org/RoadConditions.aspx?j=All&r;=1 В настоящее время я использую BeautifulSoup, и код у меня выглядит следующим образом from mechanize import Browser from Bea…
13 янв '10 в 18:50
1
ответ
Механизировать проблемы с fileserve.com/login.php
Я пытаюсь получить механизму для входа на fileserve.com. Я попробовал код ниже require 'rubygems' require 'mechanize' a = Mechanize.new { |agent| agent.user_agent_alias = 'Mac Safari' } a.get('http://fileserve.com/') do |home_page| signin_page = a.c…
08 май '11 в 16:16
2
ответа
Базовая аутентификация и аутентификация с помощью Mechanize (Ruby)
Я пытаюсь зайти на сайт в корпоративной сети, в котором есть всплывающее диалоговое окно базовой аутентификации и аутентификация на основе форм. Это код, который я использую (что приводит к ошибке 401 => Net::HTTPUnauthorized): require 'rubygems' re…
13 мар '11 в 18:54
2
ответа
Отправка http-запроса с METHOD=HEAD
Я хотел бы отправить HTTP-запрос с METHOD=HEAD, используя python 2. В mechanize есть хорошая функция mechanize.Request. К сожалению, я могу только установить МЕТОД или GET или POST, но ничего больше. Вы знаете, есть ли способ сделать это?
07 окт '11 в 20:48
1
ответ
Как вызвать событие, используя pyquery python
Я пытаюсь автоматизировать безголовый веб-браузер, используя python и такие пакеты, как pyquery, красивый суп, запросы, механизировать. Но до сих пор я не нашел правильного способа вызвать событие нажатия на кнопку. Например, чтобы заполнить онлайн-…
04 сен '16 в 07:38
0
ответов
Выполните вход с использованием результатов Python-Mechanize в UnicodeEncodeError
Я пытаюсь авторизоваться на partnernet.amazon.de (немецкая партнерская программа amazon). Это мой код до сих пор: import cookielib import mechanize # Browser br = mechanize.Browser() # Enable cookie support for urllib2 cookiejar = cookielib.LWPCooki…
05 апр '17 в 13:50
1
ответ
Загрузка всех доступных файлов CSV и KML с определенного веб-сайта
Я пытаюсь использовать python для автоматизации процесса загрузки всех доступных файлов CSV и KML с data.gov.sg. Однако мы получили сообщение об ошибке "Ошибка HTTP 403: запрещено". Мы привыкли получать ошибку robots.txt, которая была решена. Что-то…
24 ноя '15 в 02:09
0
ответов
Механизм Python - заполнение формы без имени и "нет формы, соответствующей номеру 0"
Я пытаюсь использовать механизацию, чтобы заполнить очень простую форму без имени. Мне нужно скормить несколько чисел в три поля и получить вывод. На вопрос о том, как заполнить форму без определенного имени, отвечали несколько раз (например, здесь …
08 дек '16 в 18:38
1
ответ
AttributeError: объект list не имеет атрибута replace во время изменения массива
У меня нет большого опыта работы с Python, и у меня проблема с созданием веб-сканера. Я пытаюсь изменить элемент в массиве, он дает эту ошибку AttributeError: у объекта 'list' нет атрибута 'replace' import urllib import mechanize import requests imp…
08 окт '15 в 18:02
2
ответа
Сканирование тяжелого сайта на Javascript с помощью Ruby
Я хочу отсканировать / очистить несколько веб-сайтов, которые в значительной степени зависят от Javascript, который не может обработать мой Механизирующий агент (тот, который я обычно использую), поскольку он не может отобразить html. Хорошим пример…
23 ноя '13 в 22:38
0
ответов
Скачать файл онлайн используя lxml
Я пытаюсь загрузить файл из интернета с помощью скрипта Python. Я использую модуль "механизировать" для доступа к сети, но затем, когда я пытаюсь перейти по ссылкам, это дает ошибку чтения html, так как веб-страница имеет формат lxml. Мой код ниже: …
30 май '17 в 15:43
1
ответ
С помощью mechanize нажмите кнопку с помощью onclick="return somejsfunction()"
Вот javascript для кнопки, которую я хотел бы нажать, используя mechanize: <form id="fLogin" method="post"> <input type="button" id="qLogin" name="qLogin" value="Login" onclick="return submitfunction();" class="qloginb" /> Механизм не ра…
10 апр '14 в 17:23
3
ответа
Не получается получить правильные ссылки из результатов поиска Google с помощью mechanize и Beautifulsoup
Я использую следующий фрагмент, чтобы получить ссылки из результатов поиска Google для "ключевого слова", которое я даю. import mechanize from bs4 import BeautifulSoup import re def googlesearch(): br = mechanize.Browser() br.set_handle_robots(False…
21 фев '14 в 12:03
1
ответ
Соскоб с помощью схемы
Есть ли хорошая библиотека / пакет для веб-скребка с использованием Scheme (желательно Racket)? например, схема эквивалентна механизировать?
05 апр '13 в 16:16
2
ответа
Переменные среды
Я использую модуль mechanize для того, чтобы войти на сайт. Когда я import twill.commands без какого-либо другого видимого использования отображаются некоторые сообщения отладки [0] [1]. Когда я его удаляю, эти сообщения исчезают. Как я могу увидеть…
14 июн '10 в 15:27