Используя заголовки HTTP

Question

На веб-сайте я ввожу некоторые параметры в форму, нажимаю на поиск и затем получаю страницу с сообщением "получение ваших результатов". После завершения поиска я получаю другую страницу с моими результатами.

Я пытаюсь воссоздать это программно, и я использовал заголовки Live HTTP, чтобы получить представление о том, что происходит позади, то есть URL, переменные формы и т. Д. Тем не менее, я получаю информацию только о том, что происходит, до страницы, которая показывает "получение ваших результатов". Live HTTP Header не дает мне информацию до страницы, которая содержит окончательные результаты.

Что я могу сделать, чтобы получить этот последний бит информации (т.е. URL, переменные формы и т. Д.)

Answer 1

Я использую Charles HTTP Proxy для всех своих задач по устранению неполадок HTTP. Он имеет множество опций и работает с любым браузером.

Answer 2

"Веб-разработчик" делает это:

https://addons.mozilla.org/en-US/firefox/addon/60

Answer 3

Это звучит странно? Я уверен, что LiveHttpHeaders должен показать это. Можете ли вы проверить, что вы что-то не упустили? В противном случае попробуйте с Firebug. Имеется вкладка "Сеть", в которой отображаются все сделанные запросы.

Answer 4

Я использую Fiddler2, который является бесплатным (как в пиве), настраиваемым прокси; работает со всеми браузерами, позволяет проверять / редактировать / автомодифицировать заголовок по запросу / ответу.

Отказ от ответственности: я никоим образом не связан с Fiddler, просто (очень счастлив) пользователь.

Answer 5

Я для таких проблем всегда запускаю Ethereal или подобный инструмент сетевого шпионажа, чтобы точно видеть, что происходит.

Answer 6

В документе создается компонент браузера с именем XMLHTTPRequest, при отправке события вызывается метод объекта send(), в течение времени ожидания ответа сервера элемент html заменяется на "сообщение ожидания", при успешном ответе вызывается обратный вызов с новым HTML-элементы, а затем вставляются в выбранный HTML-элемент. (Это называется AJAX).

Если вы хотите следовать этому процессу, вы можете использовать Firefox Live HTTP Headers Extension или Wireshark для просмотра полных HTTP-заголовков и действий (get/post/).

Answer 7

@ Марк Харрисон

У меня установлен веб-разработчик. Первоначально я использовал его, чтобы отключить мета-перенаправления и источники ссылок, чтобы получить более четкое представление о http-взаимодействии. Но когда я делаю это, веб-сайт не работает (т.е. он не может завершить процесс получения результатов поиска), поэтому я снова включил его.

Мне интересно, приходилось ли кому-либо собирать информацию http для сайта, на котором страница обработки находится между страницей ввода пользователя и страницей результатов