Как я могу контролировать трафик HTTP и получить список URL-адресов в C#?

Question

По сути, то, что мы сейчас делаем в компании, - это использование HttpFox в Firefox для ручного получения тегов и значений веб-трендов, которые добавляются в виде строки запроса в URL -адрес типа изображения / gif, который указывается при каждом вводе определенного URL -адреса в браузере. после запуска надстройки и перехода к определенному URL -адресу список URL -адресов появляется в списке URL HttpFox. один из URL -адресов содержит нужную нам строку запроса, и мы впоследствии копируем этот список в файл excel. Таким образом, если нужно получить 2000 страниц, мы открываем эти 2000 страниц и делаем копирование и вставку одну за другой.

Это приводит к моей задаче автоматизации "коллекции тегов" путем создания программы на C#, которая выполняет анализ / мониторинг после ввода определенного URL -адреса. Я предоставлю список URL для чтения, и программа будет осуществлять мониторинг и выборку данных, а также записывать данные в базу данных.

Моя проблема заключается в том, как получить этот список URL -адресов, используя C#, после того, как я наберу конкретный URL -адрес, как это делают fiddler и httpfox, но не должны зависеть от браузера.

Кстати, и Fiddler, и HttpFox выполняют работу, в которой я нуждаюсь, но я не думаю, что мы можем кормить fiddler списком URL -адресов, которые нужно понюхать. HttpFox хорош, но он запускается только через Firefox, поэтому импорт и импорт выполняются вручную.

HttpFox не имеет названия для этого "списка" URL -адресов, но в Fiddler он называется "Web Sessions". Надеюсь, что это поможет вам понять мою проблему.

Я уже посмотрел на HttpListener и HttpWebRequest, но, похоже, не могу получить результат, который я ищу.

Любая помощь будет оценена.:)

Answer 1

Вы можете встроить Fiddler в библиотеку.NET и запустить его как часть своего приложения: http://fiddler.wikidot.com/fiddlercore