Селен Питон (3). Как обойти обнаружение Selenium с помощью Python: пользовательские агенты и фоновое выполнение

Парсинг веб-страниц и автоматизация браузеров стали интегральный для многих предприятий и разработчиков. Однако многие веб-сайты теперь обнаруживают и блокируют автоматический просмотр. В этой статье мы рассмотрим, как обойти Селен обнаружение с использованием Python путем манипулирования пользовательскими агентами и запуска Selenium в фоновом режиме. Мы подробно рассмотрим шаги, инструменты и лучшие практики для обеспечения успешного парсинга веб-страниц.

Понимание обнаружения селена

Прежде чем обойти обнаружение, давайте разберемся, как оно работает. Веб-сайты могут обнаружить Selenium, проверив наличие определенных флагов и свойств веб-драйвера. Когда сайт идентифицирует эти флаги, он может заблокировать доступ или представить вводящие в заблуждение данные. Например, когда вы открываете сайт с помощью стандартного браузера Chrome, он реагирует ожидаемым образом. Однако когда вы открываете тот же сайт с помощью Selenium, сайт может обнаружить автоматизацию и заблокировать ее. Такое обнаружение происходит потому, что Selenium устанавливает определенные флаги, которые могут искать веб-сайты.

Изменение флагов WebDriver

Чтобы обойти обнаружение Selenium, одним из эффективных способов является изменение флагов WebDriver.

1. Конфигурация Firefox: откройте страницу конфигурации Firefox, набрав about:config в адресной строке. Найдите флаг, связанный с WebDriver, и установите для него значение false.
2. Реализация кода:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Этот сценарий отключает флаг обнаружения WebDriver, благодаря чему браузер выглядит как обычный экземпляр, управляемый пользователем.

Пользовательские агенты

Пользовательский агент — это строка, которую браузер отправляет веб-серверу для идентификации. Изменение строки пользовательского агента может сделать запросы Selenium неотличимыми от обычных запросов браузера.

Действия по изменению пользовательского агента:

1. Определите общую строку пользовательского агента: Пример: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Внедрить изменения в Selenium:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Установив собственный пользовательский агент, мы можем обойти многие основные обнаружения.

Запуск Selenium в фоновом режиме

Запуск браузера в фоновом режиме — еще один важный аспект уклонения от обнаружения. Этого можно добиться, запустив браузер в безголовом режиме.

Реализация:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

Работа в автономном режиме означает, что графический интерфейс не отображается, что важно для выполнения автоматизированных задач на серверах.

Отключение уведомлений и звуков браузера

Автоматизированный просмотр часто предполагает обработку неожиданных всплывающих окон и уведомлений. Отключение их может упростить процесс.

Пример кода:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Этот скрипт отключает уведомления и отключает звук, обеспечивая бесперебойную автоматизацию.

Пример анализа данных

Рассмотрим практический пример парсинга ников сайта, генерирующего случайные имена пользователей.

Шаги:

1. Загружайте сайт и взаимодействуйте с элементами:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Заключение

Манипулируя флагами WebDriver, изменяя пользовательские агенты, запуская Selenium в фоновом режиме и отключая уведомления браузера, вы можете эффективно обойти обнаружение Selenium. Эти методы необходимы для беспрепятственного и незаметного парсинга и автоматизации веб-страниц. Внедрение этих методов гарантирует бесперебойность и эффективность ваших автоматизированных задач. Не забывайте всегда использовать веб-скрапинг и автоматизацию этично, соблюдая условия обслуживания веб-сайтов и законы о конфиденциальности данных. Чтобы узнать о более продвинутых методах и регулярных обновлениях, следите за обновлениями в нашем блоге на FineProxy.org. Не стесняйтесь поделиться своими идеями и отзывами в комментариях ниже. Если вам понравилась эта статья, не забудьте подписаться на наш канал и поставить лайк. Приятного скрежетания!

Выполняя эти шаги и при необходимости корректируя настройки, вы можете обеспечить бесперебойную и незамеченную работу ваших проектов автоматизации.