Selenium Python (3). Wie man die Selenium-Erkennung mit Python umgeht: Benutzeragenten und Hintergrundausführung

Web Scraping und Browserautomatisierung sind für viele Unternehmen und Entwickler unverzichtbar geworden. Viele Websites erkennen und blockieren jedoch mittlerweile das automatisierte Browsen. In diesem Artikel erfahren Sie, wie Sie die Selenium-Erkennung mit Python umgehen können, indem Sie Benutzeragenten manipulieren und Selenium im Hintergrund ausführen. Wir werden uns ausführlich mit den Schritten, Tools und Best Practices befassen, um ein erfolgreiches Web Scraping sicherzustellen.

Grundlegendes zur Selenium-Erkennung

Bevor wir die Erkennung umgehen, wollen wir verstehen, wie sie funktioniert. Websites können Selenium erkennen, indem sie das Vorhandensein bestimmter Webtreiber-Flags und -Eigenschaften prüfen. Wenn eine Site diese Flags erkennt, kann sie den Zugriff blockieren oder irreführende Daten anzeigen. Wenn Sie beispielsweise eine Site mit einem Standard-Chrome-Browser öffnen, reagiert sie wie erwartet. Wenn Sie jedoch dieselbe Site mit Selenium öffnen, kann die Website die Automatisierung erkennen und blockieren. Diese Erkennung erfolgt, weil Selenium bestimmte Flags setzt, nach denen Websites suchen können.

Ändern der WebDriver-Flags

Eine effektive Methode zum Umgehen der Selenium-Erkennung besteht darin, die WebDriver-Flags zu ändern.

1. Firefox-Konfiguration: Öffnen Sie die Firefox-Konfigurationsseite, indem Sie Folgendes eingeben: about:config in der Adressleiste. Suchen Sie das Flag für WebDriver und setzen Sie es auf false.
2. Code-Implementierung:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Dieses Skript deaktiviert das WebDriver-Erkennungsflag, sodass der Browser als normale, benutzergesteuerte Instanz erscheint.

Benutzeragenten

Ein Benutzeragent ist eine Zeichenfolge, die ein Browser an einen Webserver sendet, um sich zu identifizieren. Durch Ändern der Benutzeragent-Zeichenfolge können Selenium-Anfragen von normalen Browser-Anfragen nicht mehr unterschieden werden.

Schritte zum Ändern des Benutzeragenten:

1. Identifizieren einer allgemeinen Benutzeragent-Zeichenfolge: Beispiel: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Implementieren Sie die Änderung in Selenium:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Durch das Einrichten eines benutzerdefinierten Benutzeragenten können wir viele grundlegende Erkennungen umgehen.

Selenium im Hintergrund ausführen

Ein weiterer wichtiger Aspekt, um einer Erkennung zu entgehen, ist die Ausführung des Browsers im Hintergrund. Dies kann erreicht werden, indem der Browser im Headless-Modus ausgeführt wird.

Durchführung:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

Beim Ausführen im Headless-Modus wird keine grafische Benutzeroberfläche angezeigt, was für die Ausführung automatisierter Aufgaben auf Servern unerlässlich ist.

Browserbenachrichtigungen und -töne deaktivieren

Beim automatisierten Surfen treten häufig unerwartete Popups und Benachrichtigungen auf. Durch die Deaktivierung dieser können Sie den Vorgang optimieren.

Codebeispiel:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Dieses Skript deaktiviert Benachrichtigungen und schaltet den Ton stumm, um eine unterbrechungsfreie Automatisierung sicherzustellen.

Beispiel für die Datenanalyse

Betrachten wir ein praktisches Beispiel für die Analyse von Spitznamen von einer Site, die zufällige Benutzernamen generiert.

Vorgehensweise:

1. Laden Sie die Site und interagieren Sie mit Elementen:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Abschluss

Indem Sie WebDriver-Flags manipulieren, Benutzeragenten ändern, Selenium im Hintergrund ausführen und Browserbenachrichtigungen deaktivieren, können Sie die Selenium-Erkennung effektiv umgehen. Diese Techniken sind für nahtloses und unentdecktes Web Scraping und Automatisierung unerlässlich. Die Implementierung dieser Methoden stellt sicher, dass Ihre automatisierten Aufgaben ohne Unterbrechungen und effizient ablaufen. Denken Sie daran, Web Scraping und Automatisierung immer ethisch zu verwenden und die Nutzungsbedingungen der Website sowie die Datenschutzgesetze zu beachten. Für fortgeschrittenere Techniken und regelmäßige Updates besuchen Sie unseren Blog auf FineProxy.org. Teilen Sie uns gerne Ihre Ideen und Ihr Feedback in den Kommentaren unten mit. Wenn Ihnen dieser Artikel gefallen hat, vergessen Sie nicht, unseren Kanal zu abonnieren und ein „Gefällt mir“ zu hinterlassen. Viel Spaß beim Scraping!

Indem Sie diese Schritte implementieren und die Einstellungen nach Bedarf anpassen, können Sie sicherstellen, dass Ihre Automatisierungsprojekte reibungslos und unentdeckt laufen.