Отсутствие HTML-элементов при чтении URL из Java
Я использую этот код для извлечения HTML-кода из URL в Java
URL url = new URL("..");
URLConnection connection = url.openConnection();
InputStream inputStream = connection.getInputStream();
String html = IOUtils.toString(inputStream);
inputStream.close();
System.out.println(html);
Он работает нормально, я вижу, что он возвращает HTML-код.
Проблема в том, что когда я использую свой URL в Chrome и отображаю исходный код страницы, я обнаружил, что в HTML, возвращенном в моем коде Java, отсутствуют некоторые элементы HTML!!
Так я что-то упустил?
РЕШЕНИЕ
Мы уточняем user agent
и это работает
doc = Jsoup.connect("...")
.userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
.referrer("http://www.google.com")
.get();