Отсутствие HTML-элементов при чтении URL из Java

Я использую этот код для извлечения HTML-кода из URL в Java

        URL url = new URL("..");

        URLConnection connection = url.openConnection();

        InputStream inputStream = connection.getInputStream();

        String html = IOUtils.toString(inputStream);

        inputStream.close();

        System.out.println(html);

Он работает нормально, я вижу, что он возвращает HTML-код.

Проблема в том, что когда я использую свой URL в Chrome и отображаю исходный код страницы, я обнаружил, что в HTML, возвращенном в моем коде Java, отсутствуют некоторые элементы HTML!!

Так я что-то упустил?

РЕШЕНИЕ

Мы уточняем user agent и это работает

doc = Jsoup.connect("...")
      .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
      .referrer("http://www.google.com")
      .get();

0 ответов

Другие вопросы по тегам