Не удается получить фактический контент при использовании HtmlUnit (Ответ в порядке, т. Е. 200, но данные, отображаемые на веб-странице, отсутствуют в загруженном контенте)
Я получаю правильный htmlContent при использовании этого кода для других сайтов, но на одном сайте это не работает (см. Ниже). Посоветуйте, пожалуйста, что еще я могу сделать?
public class Test3 {
public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
String url = "https : / / altera . wd1 . myworkdayjobs . com / Altera / jobs";
String content = HtmlPageFetcher.fetchPage(url, "firefox", 50000);
System.out.println(content);
}
public static String fetchPage(String url, String browser, long delayinmillis) {
WebClient webClient;
webClient = new WebClient(BrowserVersion.FIREFOX_17);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
String content="";
try {
HtmlPage page = webClient.getPage(url);
webClient.waitForBackgroundJavaScript(delayinmillis);
content = page.asXml();
webClient.closeAllWindows();
webClient = null;
} catch (Exception e) {
e.printStackTrace();
} finally {
if(webClient!=null)
webClient.closeAllWindows();
}
return content;
}
Я пробовал ХРОМ И ЕЕ. Данные заполняются на веб-странице в формате JSON (как я вижу с помощью элемента проверки в Chrome)
1 ответ
Небольшое исправление было сделано.
Пожалуйста, получите последний снимок с Maven или с сервера сборки.