Как обойти механизм обнаружения ботов на некоторых сайтах?
В настоящее время я пытаюсь получить некоторую информацию с веб-сайта Alibaba, преодолевать такие вещи, как идти через ад.
Вот веб-страница: lazada.sg А вот сообщение о блокировке: https://pasteboard.co/J3MUL46.png Вы можете попробовать это, выполнив поиск по нескольким фразам, а затем удалите файлы cookie, затем перейдите на страницу 2. Я сейчас использовать Selenium для получения файлов cookie, чтобы дальнейший запрос мог использовать его для "легального" доступа к веб-странице.
Первый - это файлы cookie: эти вещи легко преодолеть с помощью Selenium.
Второй - как смоделировать человеческое скольжение этой "капчи": это чрезвычайно сложно, поскольку Selenium des не предоставляет никаких инструментов для моделирования маневров, подобных человеку.
А также попробуйте безголовый браузер: он не работает.
Вот мой пример кода, вы должны заблокировать себя перед его запуском: https://gist.github.com/taidinh-tiki/5f997b92431c0c1eaff1459f782ca55c