Selenium Python (4) : utiliser Selenium avec Python et des proxys

Lorsque vous travaillez avec du web scraping ou de l’automatisation à l’aide de Selenium et Python, l’utilisation de proxys peut être essentielle pour éviter les interdictions IP et améliorer l’efficacité de votre collecte de données. Cet article vous guidera dans la configuration et l’utilisation de proxys dans Selenium avec Python.

Qu’est-ce que Selenium et pourquoi utiliser des proxys ?#

Selenium est un outil puissant pour automatiser les navigateurs web, souvent utilisé pour le web scraping et les tests d’applications web. Proxies sont des serveurs intermédiaires qui séparent les utilisateurs finaux des sites web qu’ils parcourent, aidant à masquer les adresses IP et à gérer les charges de requêtes.

Configuration de Selenium avec des proxies#

Avant de vous lancer dans le code, assurez-vous que les outils nécessaires sont installés :

• Python
• Selenium (pip install selenium)
• Un pilote de navigateur web (par exemple, ChromeDriver pour Chrome ou GeckoDriver pour Firefox)

Guide Complet pour Utiliser des Proxies dans Selenium#

1. Configuration de Chrome avec un Proxy#

Pour configurer Chrome pour utiliser un serveur proxy, vous devez configurer les fonctionnalités souhaitées dans Selenium.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Proxy avec authentification#

Si votre proxy nécessite une authentification, vous pouvez utiliser la Proxy classe de selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Utiliser Firefox avec un Proxy#

Pour configurer Firefox afin d’utiliser un proxy, modifiez les paramètres du profil Firefox.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Dépannage des problèmes courants#

Authentification du Proxy : Si votre proxy nécessite une connexion, assurez-vous que les identifiants sont correctement définis.

Blocage de l’IP : Certains sites Web peuvent encore bloquer les proxys. Utilisez des proxys résidentiels ou rotatifs pour atténuer ce problème.

Résumé#

L’utilisation de proxies avec Selenium et Python peut vous aider à contourner les restrictions d’IP et à améliorer vos projets de web scraping. Que vous utilisiez Chrome ou Firefox, la configuration des proxies implique de paramétrer les options du navigateur et les capacités pour acheminer le trafic via le serveur proxy.

Navigateur	Méthode de Configuration	Authentification	Extrait de Code Disponible
Chrome	ChromeOptions	Oui	Oui
Firefox	Profil Firefox	Oui	Oui

En suivant ces étapes, vous pouvez assurer que vos activités de scraping restent ininterrompues et efficaces. Si vous avez des questions ou des idées pour de futurs tutoriels, n’hésitez pas à laisser un commentaire !