Используйте Java для сканирования и загрузки всего веб-сайта, переопределяя HttpsURLConnection

Question

Я хочу сканировать весь веб-сайт и сохранять его локально в автономном режиме. Он должен иметь 2 части:

1. Аутентификация

Это должно быть реализовано с использованием Java, и мне нужно переопределить логику HttpsURLConnection, чтобы добавить пару строк аутентификации (Hadoop), чтобы получить ответ URL (keytabs). Что-то вроде ниже:

     AuthenticatedURL.Token token = new AuthenticatedURL.Token();

    URL ur = new URL(url);
    //HttpsURLConnection.setDefaultHostnameVerifier(new     HostnameVerifierSSL());
    HttpsURLConnection con = (HttpsURLConnection) new AuthenticatedURL().openConnection(ur, token);

2. После того, как все ссылки пройдут вышеупомянутую аутентификацию, нам нужно просканировать веб-сайт entre до глубины =3 и сохранить его локально в автономном режиме в виде почтового индекса.

Дайте мне знать возможные решения.