Seleniumpython (4). Selenium gebruiken met Python en proxy's

Wanneer u werkt met webscraping of automatisering met Selenium en Python, kan het gebruik van proxy's essentieel zijn om IP-verboden te voorkomen en de efficiëntie van uw gegevensverzameling te verbeteren. Dit artikel begeleidt u bij het instellen en gebruiken van proxy's in Selenium met Python.

Wat is Selenium en waarom proxy's gebruiken?

Selenium is een krachtig hulpmiddel voor het automatiseren van webbrowsers, vaak gebruikt voor webscrapen en het testen van webapplicaties. Volmachten zijn tussenliggende servers die eindgebruikers scheiden van de websites die zij bezoeken, waardoor IP-adressen worden gemaskeerd en de hoeveelheid verzoeken wordt beheerd.

Selenium instellen met proxy's

Voordat je in de code duikt, zorg ervoor dat je de benodigde tools hebt geïnstalleerd:

• Python
• Selenium (pip install selenium)
• Een webbrowserstuurprogramma (bijvoorbeeld ChromeDriver voor Chrome of GeckoDriver voor Firefox)

Stapsgewijze handleiding voor het gebruik van proxy's in Selenium

1. Chrome instellen met een proxy

Om Chrome te configureren om een proxyserver te gebruiken, moet u de gewenste mogelijkheden in Selenium instellen.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Proxy met authenticatie

Als uw proxy authenticatie vereist, kunt u de Proxy klasse uit selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Firefox gebruiken met een proxy

Om Firefox te configureren om een proxy te gebruiken, wijzigt u de Firefox-profielinstellingen.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Problemen oplossen

Proxy-authenticatie: Als uw proxy een login vereist, zorg er dan voor dat de inloggegevens correct zijn ingesteld.

IP-blokkering: Sommige websites blokkeren mogelijk nog steeds proxy's. Gebruik residentiële of roterende proxy's om dit probleem te verhelpen.

Samenvatting

Het gebruik van proxy's met Selenium en Python kan u helpen IP-beperkingen te omzeilen en uw webscraping-projecten te verbeteren. Of u nu Chrome of Firefox gebruikt, het instellen van proxy's omvat het configureren van de browseropties en -mogelijkheden om verkeer via de proxyserver te routeren.

Door deze stappen te volgen, kunt u ervoor zorgen dat uw schraapactiviteiten ononderbroken en efficiënt blijven. Als je vragen of ideeën hebt voor toekomstige tutorials, laat dan gerust een reactie achter!