Selenium Webdriver: Firefox Javascript без заголовка для изменения свойства браузера
Я пытаюсь выяснить, как можно использовать селен вебдрайвер с Python или Java для внедрения JavaScript для изменения свойства / атрибута браузера. Моя последняя цель - получить что-то похожее с селеном и Firefox, поскольку это более открытый и гибкий выбор.
Пуппер и файл хрома test.js:
const puppeteer = require("puppeteer");
(async () => {
const browser = await puppeteer.launch({
args: ["--no-sandbox"],
headless: true,
});
const page = await browser.newPage();
const fs = require("fs");
// In your puppeteer script, assuming the javascriptChromium.js file is in same folder of our script
const preloadFile = fs.readFileSync("./javascriptChromium.js", "utf8");
await page.evaluateOnNewDocument(preloadFile);
const testUrl="https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html";
await page.goto(testUrl);
// save screenshot
await page.screenshot({path: "puppeteer-chromium-async-script-test.png"});
await browser.close()
})();
Javascript файл javascriptChromium.js
// overwrite the `languages` property to use a custom getter
Object.defineProperty(navigator, "languages", {
get: function() {
return ["en-US", "en", "es"];
}
});
// Overwrite the `plugins` property to use a custom getter.
Object.defineProperty(navigator, 'plugins', {
get: () => [1, 2, 3, 4, 5],
});
// Pass the Webdriver test
Object.defineProperty(navigator, 'webdriver', {
get: () => false,
});
Этот код работает хорошо, и я проверил, что свойство изменено через этот тестовый веб-сайт.
Теперь селен и Firefox:
import os
from selenium import webdriver
def readJSFile(scriptFile):
with open(scriptFile, 'r') as fileHandle:
script=fileHandle.read()
return script
injectedJavascript=readJSFile("./javascriptFirefox.js")
options=webdriver.FirefoxOptions()
options.set_headless(True)
driver=webdriver.Firefox(options=options)
driver.set_script_timeout(3)
# inject JavaScript
try:
driver.execute_async_script(injectedJavascript)
except:
print("Timeout")
# solution found here https://stackru.com/questions/17385779/how-do-i-load-a-javascript-file-into-the-dom-using-selenium
driver.execute_script("var s=window.document.createElement('script'); s.src='javascriptFirefox.js';window.document.head.appendChild(s);")
testUrl="https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html";
driver.get(testUrl)
# example sync script
time=driver.execute_script("return performance.timing.loadEventEnd - performance.timing.navigationStart;")
print(time)
# example async script
time=driver.execute_async_script("var callback = arguments[arguments.length-1]; const time = () => { total=performance.timing.loadEventEnd - performance.timing.navigationStart; callback(total); }; time();")
print(time)
file="selenium-firefox-async-script-test.png"
driver.save_screenshot(file)
driver.quit()
Javascript файл javascriptFirefox.js
// overwrite the `languages` property to use a custom getter
const setProperty = () => {
Object.defineProperty(navigator, "languages", {
get: function() {
return ["en-US", "en", "es"];
}
});
// Overwrite the `plugins` property to use a custom getter.
Object.defineProperty(navigator, 'plugins', {
get: () => [1, 2, 3, 4, 5],
});
// Pass the Webdriver test
Object.defineProperty(navigator, 'webdriver', {
get: () => false,
});
callback();
};
setProperty();
Я новичок в javascript, но то, что кажется разным между двумя подходами (кукловод и селен), заключается в том, как они управляют текущей вкладкой / страницей. Первый через класс страницы и метод page.evaluateOnNewDocument, а для второго я не нашел и эквивалентного способа. Я также попытался использовать greasemonkey или violentlmonkey для безуспешного внедрения javascript.
У вас есть какие-нибудь предложения?
Спасибо
1 ответ
Я нашел решение проблемы, следуя этому посту. В двух словах, используя расширения, можно вставлять код JavaScript в веб-страницу также с помощью Firefox. Чтобы не тратить время на других пользователей, основными файлами являются:
Файл Python: Селен + Firefox
import json
import os
import sys
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.firefox.firefox_profile import AddonFormatError
# Patch in support for WebExtensions in Firefox.
# See: https://intoli.com/blog/firefox-extensions-with-selenium/
class FirefoxProfileWithWebExtensionSupport(webdriver.FirefoxProfile):
def _addon_details(self, addon_path):
try:
return super()._addon_details(addon_path)
except AddonFormatError:
try:
with open(os.path.join(addon_path, "manifest.json"), "r") as f:
manifest = json.load(f)
return {
"id": manifest["applications"]["gecko"]["id"],
"version": manifest["version"],
"name": manifest["name"],
"unpack": False,
}
except (IOError, KeyError) as e:
raise AddonFormatError(str(e), sys.exc_info()[2])
profile_folder="profile_path"
profile=FirefoxProfileWithWebExtensionSupport(profile_folder)
extension_directory="extension"
profile.add_extension(extension_directory)
# firefox dev it is necessary for custom profile, not for standard one
firefox_binary="/usr/bin/firefox-dev"
options=webdriver.FirefoxOptions()
# firefox 56+ headless mode https://developer.mozilla.org/en-US/Firefox/Headless_mode
options.set_headless(True)
driver=webdriver.Firefox(options=options, firefox_profile=profile, firefox_binary=firefox_binary)
test_url="https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html";
driver.get(test_url)
file="selenium-firefox-extension-profile-script-second-test.png"
driver.save_screenshot(file)
test_url="https://intoli.com/blog/making-chrome-headless-undetectable/chrome-headless-test.html";
driver.get(test_url)
file="selenium-firefox-extension-profile-script-first-test.png"
driver.save_screenshot(file)
driver.quit()
Файлы расширений: manifest.js и content.js
{
"manifest_version": 2,
"name": "Smart Extension",
"version": "1.0.0",
"applications": {
"gecko": {
"id": "user@protonmail.com"
}
},
"content_scripts": [
{
"matches": ["*://*/*"],
"js": ["content.js"],
"run_at": "document_start"
}
]
}
var script=document.createElement("script");
script.src=browser.extension.getURL("myscript.js");
script.async=false;
document.documentElement.appendChild(script);
Файл Javascript: myscript.js
// overwrite the `languages` property to use a custom getter
Object.defineProperty(navigator, "languages", {
get: function() {
return ["en", "es"];
}
});
// Overwrite the `plugins` property to use a custom getter.
Object.defineProperty(navigator, "plugins", {
get: () => new Array(Math.floor(Math.random() * 6) + 1),
});
// Pass the Webdriver test
Object.defineProperty(navigator, "webdriver", {
get: () => false,
});
// hairline: store the existing descriptor
const elementDescriptor=Object.getOwnPropertyDescriptor(HTMLElement.prototype, "offsetHeight");
// redefine the property with a patched descriptor
Object.defineProperty(HTMLDivElement.prototype, "offsetHeight", {
...elementDescriptor,
get: function() {
if (this.id === "modernizr") {
return 1;
}
return elementDescriptor.get.apply(this);
},
});
["height", "width"].forEach(property => {
// store the existing descriptor
const imageDescriptor=Object.getOwnPropertyDescriptor(HTMLImageElement.prototype, property);
// redefine the property with a patched descriptor
Object.defineProperty(HTMLImageElement.prototype, property, {
...imageDescriptor,
get: function() {
// return an arbitrary non-zero dimension if the image failed to load
if (this.complete && this.naturalHeight == 0) {
return 24;
}
// otherwise, return the actual dimension
return imageDescriptor.get.apply(this);
},
});
});
const getParameter=WebGLRenderingContext.getParameter;
WebGLRenderingContext.prototype.getParameter=function(parameter) {
// UNMASKED_VENDOR_WEBGL WebGLRenderingContext.prototype.VENDOR
if (parameter === 37445) {
return "Intel Open Source Technology Center";
}
// UNMASKED_RENDERER_WEBGL WebGLRenderingContext.prototype.RENDERER
if (parameter === 37446) {
return "Mesa DRI Intel(R) Ivybridge Mobile";
}
return getParameter(parameter);
};
Это хорошо работает для всех тестов в графическом режиме, в то время как в безголовом режиме все тесты, кроме теста WebGL, который, похоже, влияет на ошибку