Selenium HtmlUnitDriver Войти на сайт

Question

Я пытаюсь использовать HtmlUnitDriver для входа на http://www.marketwatch.com/game/. Я не думаю, что программа когда-либо проходит приглашение на вход в систему, и я проверил, что у меня есть правильный адрес электронной почты и пароль...
Большое спасибо за попытку помочь мне!
Вот мой закомментированный код:

static Logger log = Logger.getLogger("com.gargoylesoftware");
    public static void main(String[] args) throws InterruptedException {
        log.setLevel(Level.OFF);
        // Create a new instance of the html unit driver
        WebDriver driver = new HtmlUnitDriver();
        // Go to marketwatch
        driver.get("http://www.marketwatch.com/game/");
        System.out.println(driver.getTitle()); // prints 'Virtual Stock Exchange Games (VSE) - MarketWatch.com'
        // Click on 'login'
        WebElement login = driver.findElement(By.id("profilelogin"));
        login.click();
        System.out.println(driver.getTitle()); // prints 'Log In'
        // Enter username and password
        WebElement email = driver.findElement(By.id("username"));
        email.sendKeys(Ref.EMAIL);
        WebElement pass = driver.findElement(By.id("password"));
        pass.sendKeys(Ref.PASSWORD);
        // Click submit button
        WebElement submit = driver.findElement(By.id("submitButton"));
        submit.click();
        System.out.println(driver.getTitle()); // prints 'Log In' (same title as before we tried to log in)
        // Try to find 
        WebElement game = driver.findElement(By.xpath("//*[@id='maincontent']/section[1]/table/tbody/tr[1]/td[1]/a"));
        // This gets printed to console:
        // Exception in thread "main" org.openqa.selenium.NoSuchElementException: Unable to locate a node using //*[@id='maincontent']/section[1]/table/tbody/tr[1]/td[1]/a
        // I don't think it's ever getting past the login screen...
        // You don't really have to read past this, unless you think I might've messed something else up and you want to fix it.
        game.click();
        WebElement trade = driver.findElement(By.xpath("//*[@id='vse-nav']/ul/li[2]/a"));
        trade.click();
        WebElement searchBar = driver.findElement(By.className("instrumentsearch ac_input unused"));
        searchBar.sendKeys("GOOG");
        searchBar.submit();
        System.out.println(driver.getTitle());

        driver.quit();
    }

Answer 1

Попробуйте включить javascript, веб-сайту это нужно:

    // Create a new instance of the html unit driver
    WebDriver driver = new HtmlUnitDriver(true);

Вы также можете включить JavaScript, выполнив следующие действия:

    driver.setJavascriptEnabled(true);

Answer 2

После вашего submit.click() вы можете сделать дамп текущего DOM браузера, подключенного к селену, который вы можете проверить, чтобы определить, с чем на самом деле сталкивается Selenium. Выполнение этого с помощью следующего кода может позволить вам просмотреть любые применимые сообщения об ошибках... возможно, есть ошибка, указывающая, что роботы не имеют доступа к сайту, например.

System.out.println(driver.getPageSource());