Программно войти на форум, а затем ScreenScrape

Question

Я хотел бы войти в раздел Форумы сообщества-сервера (например, http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx), а затем загрузить определенную страницу и выполнить регулярное выражение (чтобы увидеть, есть ли сообщения, ожидающие модерации). Если есть, я хотел бы отправить по электронной почте.

Я хотел бы сделать это с сервера Linux.

В настоящее время я знаю, как загрузить страницу (например, с помощью wget), но у меня возникли проблемы при входе в систему. Любая яркая идея, как это работает?

Answer 1

Глядя на источник страницы входа в систему, она выглядит как приложение asp.net, поэтому вам, вероятно, нужно сделать пару вещей, чтобы добиться этого -

Управляйте скрытым полем __viewstate формы и публикуйте его обратно при отправке данных для входа.

Как только вы поймете, что, я полагаю, вы можете ссылаться на конкретную страницу, о которой идет речь, просто используя абсолютный URL, но вам нужно будет обработать файл cookie аутентификации ASP.NET Forms и отправить его как часть запроса GET.

Answer 2

Возможно, вам повезет больше с Selenium или посмотрите этот вопрос для получения дополнительных предложений:

Скрипт для регистрации в колледже

Answer 3

Лично я написал бы это на Perl, используя WWW:: Mechanize, и сделал бы что-то вроде:

my $login_url = 'login url here';
my $username = 'username';
my $password = 'password';
my $mech = new WWW::Mechanize;
$mech->get($login_url)
    or die "Failed to fetch login page";
$mech->set_visible($username, $password)
    or die "Failed to find fields to complete";
$mech->submit
    or die "Failed to submit form";

if ($mech->content() =~ /posts awaiting moderation/i) {
    # Do something here
}

Я не знаю, сработает ли вышеперечисленное, так как у меня нет данных для входа на Сервер совместной работы (независимо от того, что это такое), чтобы проверить его, но он должен дать вам то, с чем вы могли бы работать достаточно легко, и показывает мощь WWW:: Механизация.

Answer 4

Вы можете сделать все это с помощью wget. Вам необходимо отправить форму с помощью POST и хранить куки. Соответствующий материал со страницы руководства wget:

--post-data=string
--post-file=file

Use POST as the method for all HTTP requests and send the specified data in the request body.
"--post-data" sends string as data, whereas "--post-file" sends the contents of file.  Other than
that, they work in exactly the same way.

This example shows how to log to a server using POST and then proceed to download the desired pages,
presumably only accessible to authorized users:

       # Log in to the server.  This can be done only once.
       wget --save-cookies cookies.txt \
            --post-data 'user=foo&password=bar' \
            http://server.com/auth.php

       # Now grab the page or pages we care about.
       wget --load-cookies cookies.txt \
            -p http://server.com/interesting/article.php