Bahasa Indonesia 
English 
Русский 
简体中文 
Português do Brasil 
Français 
Español 
Türkçe 
Polski 
Tiếng Việt 
한국어 
Nederlands 
Italiano 
日本語 
Eesti 
Čeština 
മലയാളം 
Bahasa Melayu 
हिन्दी 
اردو 
Web Aman
Saat bekerja dengan web scraping atau otomatisasi menggunakan Selenium dan Python, penggunaan proxy sangat penting untuk menghindari larangan IP dan meningkatkan efisiensi pengumpulan data Anda. Artikel ini akan memandu Anda dalam menyiapkan dan menggunakan proxy di Selenium dengan Python.
Apa itu Selenium dan Mengapa Menggunakan Proxy?
Selenium adalah alat yang ampuh untuk mengotomatisasi browser web, sering digunakan untuk web scraping dan pengujian aplikasi web. Proksi adalah server perantara yang memisahkan pengguna akhir dari situs web yang mereka jelajahi, membantu menutupi alamat IP dan mengelola beban permintaan.
Menyiapkan Selenium dengan Proxy
Sebelum mendalami kode, pastikan Anda telah menginstal alat yang diperlukan:
- ular piton
- Selenium (
pip install selenium) - Driver browser web (misalnya, ChromeDriver untuk Chrome atau GeckoDriver untuk Firefox)
Panduan Langkah demi Langkah untuk Menggunakan Proxy di Selenium
1. Menyiapkan Chrome dengan Proxy
Untuk mengonfigurasi Chrome agar menggunakan server proxy, Anda perlu menyiapkan kemampuan yang diinginkan di Selenium.
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
# Specify proxy details
proxy = "your_proxy_ip:port"
# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')
# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)
# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")
# Close the browser
driver.quit()Proksi dengan Otentikasi
Jika proxy Anda memerlukan otentikasi, Anda dapat menggunakan Proxy kelas dari selenium.webdriver.common.proxy.
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')
capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)
# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)
# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")
# Close the browser
driver.quit()Menggunakan Firefox dengan Proksi
Untuk mengonfigurasi Firefox agar menggunakan proxy, ubah pengaturan profil Firefox.
from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager
# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"
# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))
# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)
# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")
# Close the browser
driver.quit()Memecahkan Masalah Umum
Otentikasi Proksi: Jika proksi Anda memerlukan login, pastikan kredensial disetel dengan benar.
Pemblokiran IP: Beberapa situs web mungkin masih memblokir proxy. Gunakan proxy perumahan atau bergilir untuk mengurangi masalah ini.
Ringkasan
Menggunakan proxy dengan Selenium dan Python dapat membantu Anda melewati batasan IP dan meningkatkan proyek web scraping Anda. Baik menggunakan Chrome atau Firefox, menyiapkan proxy melibatkan konfigurasi opsi browser dan kemampuan untuk merutekan lalu lintas melalui server proxy.
| Peramban | Metode Pengaturan | Autentikasi | Cuplikan Kode Tersedia |
|---|---|---|---|
| krom | Opsi Chrome | Ya | Ya |
| Firefox | Profil Firefox | Ya | Ya |
Dengan mengikuti langkah-langkah berikut, Anda dapat memastikan aktivitas pengikisan Anda tetap tidak terganggu dan efisien. Jika Anda memiliki pertanyaan atau ide untuk tutorial selanjutnya, silakan tinggalkan komentar!
Komentar (0)
Belum ada komentar di sini, Anda bisa menjadi yang pertama!