Извлечение данных из Web Scraping C#

Question

Я разработчик MVC ASP.NET.

Я получил содержимое с любого URL, т.е. http, https и т. Д., Используя класс WebRequest.

Я получил все содержимое этого конкретного URL. (сейчас я взял http://google.com/)

Мой следующий шаг - извлечь кнопки, колонтитулы, цвета, текст и т. Д.

Вот мой код сейчас:

public ActionResult GetContent(UrlModel model) //model having a string URL
which is entered in a text box and method hits using submit button.
{
    //WebRequest request = WebRequest.Create(model.URL);

    WebRequest request = WebRequest.Create(model.URL);

    request.Credentials = CredentialCache.DefaultCredentials;

    WebResponse response = request.GetResponse();

    Stream dataStream = response.GetResponseStream();

    StreamReader reader = new StreamReader(dataStream);

    string responseFromServer = reader.ReadToEnd();
    ViewBag.Response = responseFromServer;

    reader.Close();
    response.Close();
    return View();
}

Может кто-нибудь помочь мне с написанием кода?

Также предложите мне некоторые методы извлечения данных в C#.

Answer 1

Это ваш путь, чтобы пойти http://htmlagilitypack.codeplex.com/

Об этом есть множество сообщений от stackru. Вы можете легко получить любые элементы из HTML.