Невозможно войти на сайт используя Python

Question

Я пытался использовать запросы Python и BeautifulSoup, чтобы попытаться написать веб-скребок. Я пытался зайти на этот сайт, используя несколько решений онлайн, но не смог этого сделать.

Одна из причин этого заключается в том, что элементы формы не используют обычные схемы. Ниже приведен фрагмент кода сайта. Любая помощь будет оценена.

Это изображение содержит код элемента формы

Редактировать 1: Я довольно новичок в этом и, следовательно, застрял на довольно элементарный шаг. Я пытался изменить значения ключей моих учетных данных, но это не помогло.

Мой код на данный момент

Answer 1

У вас может быть какая-то причина, почему это может работать. Ваш код будет также оценен. Первая причина, почему это "не может работать", на мой взгляд, заключается в том, что вам нужно эмулировать настоящий браузер, такой как Google Chrome или Firefox.

На самом деле вам нужен пользовательский агент. По умолчанию запрос пользовательского агента Python не похож на настоящий пользовательский агент.

После вы должны поймать cookie-файл сайта пользователя и использовать его для входа.

У вас есть много решений для этого, я могу объяснить два, когда я использую: - Selenium генерирует поведение браузера. - Используйте запрос, но используйте все параметры, такие как браузер: создайте пользовательский агент, а также используйте куки (сервер должен думать, что вы настоящий пользователь).

Answer 2

Дейл, вы должны опубликовать свой подход к вопросу.

Я сделал гусеничным способом,

response = urlopen(page_url)
    if 'text/html' in response.getheader('Content-Type'):
        print("hello 123")
        html_bytes = response.read()
        html_string = html_bytes.decode("utf-8")

и передал эту html_string в BeautifulSoup.

soup = BeautifulSoup(html_string, 'html.parser')
html_string = soup.prettify()

Я думаю, что это делает это намного проще.