Selenium Python (4). Python ve Proxy'lerle Selenium Nasıl Kullanılır

Selenium ve Python kullanarak web scraping veya otomasyon ile çalışırken, proxy’leri kullanmak IP yasaklarını önlemek veri toplama verimliliğinizi artırmak için gerekli olabilir. Bu makale, Selenium’da Python ile proxy’leri ayarlama ve kullanma konusunda sizi rehberlik edecek.

Selenium Nedir ve Neden Proxy Kullanmalısınız?#

Selenium genellikle web kazıma ve web uygulamalarını test etmek için kullanılan, web tarayıcılarını otomatikleştirmek için güçlü bir araçtır. Proxyler Son kullanıcıları göz attıkları web sitelerinden ayıran, IP adreslerinin maskelenmesine ve istek yüklerinin yönetilmesine yardımcı olan aracı sunuculardır.

Proxy’lerle Selenyum Kurulumu#

Koda başlamadan önce gerekli araçların yüklü olduğundan emin olun:

• Python
• Selenyum (pip install selenium)
• Web tarayıcı sürücüsü (örneğin Chrome için ChromeDriver veya Firefox için GeckoDriver)

Selenyum’da Proxy Kullanmaya İlişkin Adım Adım Kılavuz#

1. Chrome’u Proxy ile Ayarlama#

Chrome’u bir proxy sunucusu kullanacak şekilde yapılandırmak için Selenium’da istenen özellikleri ayarlamanız gerekir.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Kimlik Doğrulamalı Proxy#

Proxy’niz kimlik doğrulama gerektiriyorsa, Proxy sınıfından selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Firefox ile Proxy Kullanımı#

Firefox’u proxy kullanacak şekilde yapılandırmak için Firefox profil ayarlarını değiştirin.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Sık Karşılaşılan Sorunların Giderilmesi#

Proxy Kimlik Doğrulaması: Proxy’niz giriş gerektiriyorsa, kimlik bilgilerinin doğru şekilde ayarlandığından emin olun.

IP Engelleme: Bazı web siteleri proxy’leri bloke edebilir. Bu sorunu hafifletmek için residential veya rotating proxy’ler kullanın.

Özet#

Selenium ve Python ile proxy’leri kullanmak, IP kısıtlamalarını aşmanıza ve web scraping projelerinizi geliştirmenize yardımcı olabilir. Chrome veya Firefox kullanıyor olsanız da, proxy’leri ayarlamak tarayıcı seçeneklerini ve özelliklerini yapılandırarak trafiği proxy sunucusu üzerinden yönlendirmeyi içerir.

Tarayıcı	Kurulum Yöntemi	Kimlik Doğrulama	Kod Parçacığı Mevcut
Chrome	ChromeSeçenekleri	Evet	Evet
Firefox	Firefox Profili	Evet	Evet

Bu adımları takip ederek kazıma faaliyetlerinizin kesintisiz ve verimli kalmasını sağlayabilirsiniz. Gelecekteki dersler için herhangi bir sorunuz veya fikriniz varsa, yorum bırakmaktan çekinmeyin!