Selen Pythona (4). Jak używać Selenium z Pythonem i proxy

Podczas pracy ze skrobaniem sieci lub automatyzacją przy użyciu Selenium i Pythona używanie serwerów proxy może być niezbędne, aby uniknąć blokad adresów IP i poprawić efektywność gromadzenia danych. Ten artykuł poprowadzi Cię przez konfigurację i używanie serwerów proxy w Selenium z Pythonem.

Co to jest Selen i dlaczego warto używać serwerów proxy?

Selen to potężne narzędzie do automatyzacji przeglądarek internetowych, często używane do przeglądania stron internetowych i testowania aplikacji internetowych. Pełnomocnicy to serwery pośredniczące oddzielające użytkowników końcowych od przeglądanych przez nich stron internetowych, pomagające maskować adresy IP i zarządzać ładowaniem żądań.

Konfigurowanie Selenium za pomocą serwerów proxy

Zanim zagłębisz się w kod, upewnij się, że masz zainstalowane niezbędne narzędzia:

• Python
• Selen (pip install selenium)
• Sterownik przeglądarki internetowej (np. ChromeDriver dla Chrome lub GeckoDriver dla Firefox)

Przewodnik krok po kroku dotyczący używania serwerów proxy w Selenium

1. Konfigurowanie przeglądarki Chrome za pomocą serwera proxy

Aby skonfigurować Chrome do korzystania z serwera proxy, musisz skonfigurować żądane możliwości w Selenium.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Serwer proxy z uwierzytelnianiem

Jeśli Twój serwer proxy wymaga uwierzytelnienia, możesz użyć Proxy klasa od selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Używanie przeglądarki Firefox z serwerem proxy

Aby skonfigurować przeglądarkę Firefox do korzystania z serwera proxy, zmodyfikuj ustawienia profilu przeglądarki Firefox.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Rozwiązywanie typowych problemów

Uwierzytelnianie proxy: Jeśli Twój serwer proxy wymaga logowania, upewnij się, że poświadczenia są prawidłowo ustawione.

Blokowanie adresów IP: Niektóre witryny mogą nadal blokować serwery proxy. Aby złagodzić ten problem, użyj serwerów proxy stacjonarnych lub rotacyjnych.

Podsumowanie

Używanie serwerów proxy w Selenium i Pythonie może pomóc w ominięciu ograniczeń IP i usprawnieniu projektów związanych z przeglądaniem stron internetowych. Niezależnie od tego, czy korzystasz z przeglądarki Chrome, czy Firefox, konfiguracja serwerów proxy obejmuje skonfigurowanie opcji i możliwości przeglądarki w celu kierowania ruchu przez serwer proxy.

Wykonując poniższe kroki, możesz mieć pewność, że skrobanie pozostanie nieprzerwane i wydajne. Jeśli masz jakieś pytania lub pomysły na przyszłe tutoriale, zostaw komentarz!