Проблема с извлечением источника страницы YouTube с помощью Jsoup

Question

Используя Jsoup, я могу извлечь исходный код большинства страниц веб-сайтов (щелкните правой кнопкой мыши веб-страницу и выберите "Просмотреть исходный код страницы"). Но для любой страницы видео на YouTube я не могу извлечь исходный код страницы. Он не дает правильный исходный код страницы. Пробовали следующую студентку, но не смогли извлечь.

public class App {
  public static void main(String[] args) throws IOException {

    String webUrl = "https://www.youtube.com/watch?v=Zu6o23Pu0Do";
    Document doc = Jsoup.connect(webUrl)
            .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")
            .get();

    System.out.println(doc);

 }
}

Кто-нибудь может посоветовать это исправить???

Я получаю следующий результат:

Answer 1

Вы не устанавливаете пользовательский агент, который может запускать антискребковые меры на веб-сайте. Я собираюсь предположить, что проблема в том, что ваше соединение истекает, когда вы запускаете это. Попробуйте использовать следующий пользовательский агент и посмотрите, работает ли он для вас без подключения ().

.userAgent("Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome/71.0.3578.98 Safari/537.36")