Selenium Python (4). Wie man Selenium mit Python und Proxies verwendet

Wenn Sie mit Web Scraping oder Automatisierung mit Selenium und Python arbeiten, kann die Verwendung von Proxys unerlässlich sein, um IP-Sperren zu vermeiden und die Effizienz Ihrer Datenerfassung zu verbessern. Dieser Artikel führt Sie durch die Einrichtung und Verwendung von Proxys in Selenium mit Python.

Was ist Selenium und warum werden Proxys verwendet?

Selen ist ein leistungsstarkes Tool zur Automatisierung von Webbrowsern, das häufig zum Web Scraping und Testen von Webanwendungen verwendet wird. Proxys sind Zwischenserver, die Endbenutzer von den Websites trennen, die sie besuchen. Sie helfen dabei, IP-Adressen zu maskieren und die Anforderungslast zu verwalten.

Einrichten von Selenium mit Proxys

Bevor Sie mit dem Coden beginnen, stellen Sie sicher, dass Sie die erforderlichen Tools installiert haben:

• Python
• Selen (pip install selenium)
• Ein Webbrowser-Treiber (z. B. ChromeDriver für Chrome oder GeckoDriver für Firefox)

Schritt-für-Schritt-Anleitung zur Verwendung von Proxys in Selenium

1. Chrome mit einem Proxy einrichten

Um Chrome für die Verwendung eines Proxyservers zu konfigurieren, müssen Sie die gewünschten Funktionen in Selenium einrichten.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Proxy mit Authentifizierung

Wenn Ihr Proxy eine Authentifizierung erfordert, können Sie den Proxy Klasse ab selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Firefox mit einem Proxy verwenden

Um Firefox für die Verwendung eines Proxys zu konfigurieren, ändern Sie die Firefox-Profileinstellungen.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Fehlerbehebung bei allgemeinen Problemen

Proxy-Authentifizierung: Wenn Ihr Proxy eine Anmeldung erfordert, stellen Sie sicher, dass die Anmeldeinformationen richtig eingestellt sind.

IP-Sperre: Einige Websites blockieren möglicherweise immer noch Proxys. Verwenden Sie Residential- oder rotierende Proxys, um dieses Problem zu beheben.

Zusammenfassung

Die Verwendung von Proxys mit Selenium und Python kann Ihnen helfen, IP-Beschränkungen zu umgehen und Ihre Web-Scraping-Projekte zu verbessern. Unabhängig davon, ob Sie Chrome oder Firefox verwenden, umfasst das Einrichten von Proxys die Konfiguration der Browseroptionen und -funktionen, um den Datenverkehr über den Proxyserver zu leiten.

Wenn Sie diese Schritte befolgen, können Sie sicherstellen, dass Ihre Scraping-Aktivitäten ohne Unterbrechungen und effizient ablaufen. Wenn Sie Fragen oder Ideen für zukünftige Tutorials haben, hinterlassen Sie gerne einen Kommentar!