Как динамически обновить источник просмотра веб-страницы в.net

Question

Есть один веб-сайт с именем "www.localbanya.com", я хотел получить информацию HTML с этого сайта, они перечисляют продукты, структура их отображения:

1. Сначала они отображают около 8-10 продуктов при загрузке страницы, и
2. позже, когда пользователь прокручивает страницу вниз, он генерирует больше товаров.

Теперь, когда это происходит на основе JavaScript, я не могу получить весь исходный код страницы с помощью WebClient.

Я хотел знать, есть ли способ обновить страницу-источник при использовании класса WebClient в.net для получения всей информации о странице или любой другой альтернативы, которую я могу использовать, чтобы получить всю информацию HTML всей страницы одновременно.

Вы можете сослаться на это для ссылки на страницу продукта localbanya

Любая помощь будет оценена.

Answer 1

WebClient, очевидно, не запускает JavaScript.

так что для этого вам понадобится какой-то браузер без головы.

Есть много вариантов для этого, хотя я не знаю никакой реализации C# или.NET..

Вы можете посмотреть на Phantom JS и другие безголовые браузеры, которые копируют то, что делает обычный браузер, и вы можете написать сценарии для него.

Также обратитесь к этому вопросу безголовый браузер для C# (.NET)?

Вы также можете запустить что-то наподобие Fiddler, чтобы увидеть, какие запросы были сделаны со страницы при прокрутке вниз, перепроектировать, как извлекаются данные, и скопировать их с помощью WebClient если возможно.

Надеюсь это поможет.