Какие дополнительные данные отправлять в URL-запросе?

Краткая версия: Как мне узнать, как сформулировать дополнительные данные (например, определенные параметры на странице, которые отображают разные HTML-файлы, но принадлежат одному и тому же URL) при получении URL-адреса с помощью urllib?

Длинная версия. У меня проблемы с выяснением того, как обрабатывать свойства URL-запроса, которые определяются не ссылкой URL, а, вероятно, другой информацией, которую обычно отправляет ваш браузер. Чтобы быть более точным: эта страница содержит таблицу, которую я хочу прочитать с помощью Python, но длина таблицы зависит от количества элементов на страницу, которые вы выбираете в левом нижнем углу (т.е. количество элементов в коде, который я получаю из urllib.request.urlopen - это стандарт 50 или около того, а не полная таблица). Нажатие на кнопки, например, на 400 элементов на странице, не меняет URL, поэтому я ожидаю, что некоторая информация будет отправлена ​​куда-то еще. Я понимаю, что использование urllib может отправлять дополнительные данные помимо URL, но мне неясно, как определить, как мне следует сформулировать в этих данных фразу "дай мне всю таблицу" (или "дай мне 400 элементов на страницу").

Изучение файла.html, полученного при сохранении веб-страницы в моем браузере, не дало мне никаких намеков, и я упустил словарный запас для поиска ответов в Интернете (т. Е. Поиск в Google "параметр запроса urllib" слишком расплывчатый). Следовательно, я был бы полностью удовлетворен, если бы кто-то указал мне на дубликат этого вопроса.

Заранее спасибо:)

Источник

1 ответ

Для всех остальных, кто найдет этот вопрос, я уточню ответ, который @deceze дал в комментариях:

  • Откройте веб-страницу, которую вы хотите прочитать в вашем браузере
  • Откройте сетевую панель браузера (в Chromium это [Strg+Shift+I] или щелкните правой кнопкой мыши> Inspect).
  • Перейдите на вкладку "Сеть" (хотя бы в хром)
  • Делайте все, что хотите, чтобы ваша программа делала, и пустой список сетевых панелей будет заполнен большим количеством данных
  • Найдите свой запрос в списке событий (одно из самых первых, я бы подумал), щелкните по нему и выберите "Заголовки".
Источник
Другие вопросы по тегам