Selenium Python (4). Cara Menggunakan Selenium dengan Python dan Proksi

Apabila bekerja dengan mengikis atau automasi web menggunakan Selenium dan Python, menggunakan proksi boleh menjadi penting untuk mengelakkan larangan IP dan meningkatkan kecekapan pengumpulan data anda. Artikel ini akan membimbing anda melalui penyediaan dan penggunaan proksi dalam Selenium dengan Python.

Apakah Selenium dan Mengapa Menggunakan Proksi?

Selenium ialah alat yang berkuasa untuk mengautomasikan penyemak imbas web, sering digunakan untuk mengikis web dan menguji aplikasi web. proksi ialah pelayan perantara yang memisahkan pengguna akhir daripada tapak web yang mereka semak imbas, membantu menutup alamat IP dan mengurus beban permintaan.

Menyediakan Selenium dengan Proksi

Sebelum menyelam ke dalam kod, pastikan anda memasang alat yang diperlukan:

• Ular sawa
• Selenium (pip install selenium)
• Pemacu penyemak imbas web (cth, ChromeDriver untuk Chrome atau GeckoDriver untuk Firefox)

Panduan Langkah demi Langkah untuk Menggunakan Proksi dalam Selenium

1. Menyediakan Chrome dengan Proksi

Untuk mengkonfigurasi Chrome menggunakan pelayan proksi, anda perlu menyediakan keupayaan yang diingini dalam Selenium.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Proksi dengan Pengesahan

Jika proksi anda memerlukan pengesahan, anda boleh menggunakan Proxy kelas dari selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Menggunakan Firefox dengan Proksi

Untuk mengkonfigurasi Firefox untuk menggunakan proksi, ubah suai tetapan profil Firefox.

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

Menyelesaikan Masalah Isu Biasa

Pengesahan Proksi: Jika proksi anda memerlukan log masuk, pastikan kelayakan ditetapkan dengan betul.

Penyekatan IP: Sesetengah tapak web mungkin masih menyekat proksi. Gunakan proksi kediaman atau berputar untuk mengurangkan isu ini.

Ringkasan

Menggunakan proksi dengan Selenium dan Python boleh membantu anda memintas sekatan IP dan meningkatkan projek mengikis web anda. Sama ada menggunakan Chrome atau Firefox, menyediakan proksi melibatkan konfigurasi pilihan dan keupayaan penyemak imbas untuk menghalakan trafik melalui pelayan proksi.

Dengan mengikuti langkah ini, anda boleh memastikan aktiviti mengikis anda kekal tidak terganggu dan cekap. Jika anda mempunyai sebarang soalan atau idea untuk tutorial masa hadapan, sila tinggalkan komen!