सेलेनियम पायथन (4). पायथन और प्रॉक्सी के साथ सेलेनियम का उपयोग कैसे करें

सेलेनियम और पायथन का उपयोग करके वेब स्क्रैपिंग या ऑटोमेशन के साथ काम करते समय, आईपी प्रतिबंधों से बचने और अपने डेटा संग्रह दक्षता में सुधार करने के लिए प्रॉक्सी का उपयोग करना आवश्यक हो सकता है। यह लेख आपको पायथन के साथ सेलेनियम में प्रॉक्सी सेट अप करने और उपयोग करने के बारे में मार्गदर्शन करेगा।

सेलेनियम क्या है और प्रॉक्सी का उपयोग क्यों करें?

सेलेनियम वेब ब्राउज़रों को स्वचालित करने के लिए एक शक्तिशाली उपकरण है, जिसका उपयोग अक्सर वेब स्क्रैपिंग और वेब अनुप्रयोगों के परीक्षण के लिए किया जाता है। प्रॉक्सी ये मध्यस्थ सर्वर हैं जो अंतिम उपयोगकर्ताओं को उनके द्वारा ब्राउज़ की जाने वाली वेबसाइटों से अलग करते हैं, आईपी पते को छिपाने और अनुरोध भार को प्रबंधित करने में मदद करते हैं।

प्रॉक्सी के साथ सेलेनियम सेट अप करना

कोड में उतरने से पहले, सुनिश्चित करें कि आपके पास आवश्यक उपकरण स्थापित हैं:

• अजगर
• सेलेनियम (pip install selenium)
• एक वेब ब्राउज़र ड्राइवर (उदाहरण के लिए, क्रोम के लिए ChromeDriver या फ़ायरफ़ॉक्स के लिए GeckoDriver)

सेलेनियम में प्रॉक्सी का उपयोग करने के लिए चरण-दर-चरण मार्गदर्शिका

1. प्रॉक्सी के साथ क्रोम सेट अप करना

क्रोम को प्रॉक्सी सर्वर का उपयोग करने के लिए कॉन्फ़िगर करने हेतु, आपको सेलेनियम में वांछित क्षमताएं सेट अप करनी होंगी।

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Specify proxy details
proxy = "your_proxy_ip:port"

# Set up Chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

प्रमाणीकरण के साथ प्रॉक्सी

यदि आपके प्रॉक्सी को प्रमाणीकरण की आवश्यकता है, तो आप इसका उपयोग कर सकते हैं Proxy कक्षा से selenium.webdriver.common.proxy.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Proxy settings
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_ip:port"
proxy.ssl_proxy = "your_proxy_ip:port"
proxy.add_argument('--proxy-auth=user:password')

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

# Initialize WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), desired_capabilities=capabilities)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

प्रॉक्सी के साथ फ़ायरफ़ॉक्स का उपयोग करना

फ़ायरफ़ॉक्स को प्रॉक्सी का उपयोग करने के लिए कॉन्फ़िगर करने हेतु, फ़ायरफ़ॉक्स प्रोफ़ाइल सेटिंग्स को संशोधित करें।

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from webdriver_manager.firefox import GeckoDriverManager

# Proxy details
proxy_ip = "your_proxy_ip"
proxy_port = "port"

# Set up Firefox profile
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxy_ip)
profile.set_preference("network.proxy.http_port", int(proxy_port))
profile.set_preference("network.proxy.ssl", proxy_ip)
profile.set_preference("network.proxy.ssl_port", int(proxy_port))

# Initialize WebDriver
driver = webdriver.Firefox(service=Service(GeckoDriverManager().install()), firefox_profile=profile)

# Open a website to verify the proxy
driver.get("http://whatismyipaddress.com")

# Close the browser
driver.quit()

सामान्य समस्याओं का निवारण

प्रॉक्सी प्रमाणीकरण: यदि आपके प्रॉक्सी को लॉगिन की आवश्यकता है, तो सुनिश्चित करें कि क्रेडेंशियल सही ढंग से सेट किए गए हैं।

आईपी अवरोधन: कुछ वेबसाइट अभी भी प्रॉक्सी को ब्लॉक कर सकती हैं। इस समस्या को कम करने के लिए आवासीय या रोटेटिंग प्रॉक्सी का उपयोग करें।

सारांश

सेलेनियम और पायथन के साथ प्रॉक्सी का उपयोग करने से आपको आईपी प्रतिबंधों को बायपास करने और अपने वेब स्क्रैपिंग प्रोजेक्ट को बेहतर बनाने में मदद मिल सकती है। चाहे क्रोम या फ़ायरफ़ॉक्स का उपयोग करें, प्रॉक्सी सेट अप करने में प्रॉक्सी सर्वर के माध्यम से ट्रैफ़िक को रूट करने के लिए ब्राउज़र विकल्पों और क्षमताओं को कॉन्फ़िगर करना शामिल है।

इन चरणों का पालन करके, आप सुनिश्चित कर सकते हैं कि आपकी स्क्रैपिंग गतिविधियाँ निर्बाध और कुशल बनी रहें। यदि आपके पास भविष्य के ट्यूटोरियल के लिए कोई प्रश्न या विचार हैं, तो बेझिझक एक टिप्पणी छोड़ें!