Python au sélénium (3). Comment contourner la détection de sélénium à l'aide de Python : agents utilisateurs et exécution en arrière-plan

Le web scraping et l'automatisation du navigateur sont devenus intégrale pour de nombreuses entreprises et développeurs. Cependant, de nombreux sites Web détectent et bloquent désormais la navigation automatisée. Cet article explorera comment contourner Sélénium détection à l'aide de Python en manipulant les agents utilisateurs et en exécutant Selenium en arrière-plan. Nous aborderons en détail les étapes, les outils et les meilleures pratiques pour garantir un web scraping réussi.

Comprendre la détection du sélénium

Avant de contourner la détection, comprenons comment cela fonctionne. Les sites Web peuvent détecter Selenium en vérifiant la présence de certains indicateurs et propriétés du pilote Web. Lorsqu'un site identifie ces indicateurs, il peut bloquer l'accès ou présenter des données trompeuses. Par exemple, lorsque vous ouvrez un site à l'aide d'un navigateur Chrome standard, celui-ci répond comme prévu. Cependant, lorsque vous ouvrez le même site avec Selenium, le site Web peut détecter l'automatisation et la bloquer. Cette détection se produit parce que Selenium définit des indicateurs spécifiques que les sites Web peuvent rechercher.

Modification des indicateurs WebDriver

Pour contourner la détection Selenium, une méthode efficace consiste à modifier les indicateurs WebDriver.

1. Configuration de Firefox: Ouvrez la page de configuration de Firefox en tapant about:config dans la barre d'adresse. Localisez le drapeau lié à WebDriver et définissez-le sur false.
2. Implémentation du code:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Ce script désactive l'indicateur de détection WebDriver, faisant apparaître le navigateur comme une instance régulière pilotée par l'utilisateur.

Agents utilisateurs

Un agent utilisateur est une chaîne qu'un navigateur envoie à un serveur Web pour s'identifier. La modification de la chaîne de l'agent utilisateur peut rendre les requêtes Selenium impossibles à distinguer des requêtes normales du navigateur.

Étapes pour changer d'agent utilisateur:

1. Identifier une chaîne d'agent utilisateur commune: Exemple: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Mettre en œuvre le changement dans le sélénium:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

En définissant un agent utilisateur personnalisé, nous pouvons contourner de nombreuses détections de base.

Exécuter Selenium en arrière-plan

L’exécution du navigateur en arrière-plan est un autre aspect crucial pour échapper à la détection. Ceci peut être réalisé en exécutant le navigateur en mode sans tête.

Mise en œuvre:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

L'exécution en mode sans tête signifie qu'aucune interface graphique n'est affichée, ce qui est essentiel pour exécuter des tâches automatisées sur les serveurs.

Désactivation des notifications et des sons du navigateur

La navigation automatisée implique souvent la gestion de fenêtres contextuelles et de notifications inattendues. Les désactiver peut rationaliser le processus.

Exemple de code:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Ce script désactive les notifications et coupe le son, garantissant une automatisation ininterrompue.

Exemple d'analyse de données

Considérons un exemple pratique d'analyse de surnoms d'un site qui génère des noms d'utilisateur aléatoires.

Étapes:

1. Charger le site et interagir avec les éléments:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Conclusion

En manipulant les indicateurs WebDriver, en modifiant les agents utilisateurs, en exécutant Selenium en arrière-plan et en désactivant les notifications du navigateur, vous pouvez contourner efficacement la détection de Selenium. Ces techniques sont essentielles pour un scraping et une automatisation fluides et non détectés. La mise en œuvre de ces méthodes garantit que vos tâches automatisées restent ininterrompues et efficaces. N'oubliez pas de toujours utiliser le web scraping et l'automatisation de manière éthique, en respectant les conditions d'utilisation des sites Web et les lois sur la confidentialité des données. Pour des techniques plus avancées et des mises à jour régulières, restez à l'écoute de notre blog sur FineProxy.org. N'hésitez pas à partager vos idées et vos commentaires dans les commentaires ci-dessous. Si vous avez aimé cet article, n'oubliez pas de vous abonner à notre chaîne et de laisser un like. Bon grattage !

En mettant en œuvre ces étapes et en ajustant les paramètres si nécessaire, vous pouvez garantir que vos projets d'automatisation se déroulent sans problème et sans être détectés.