سیلینیم ازگر (3)۔ ازگر کا استعمال کرتے ہوئے سیلینیم کی کھوج کو کیسے نظرانداز کیا جائے: صارف کے ایجنٹ اور پس منظر پر عملدرآمد

ویب سکریپنگ اور براؤزر آٹومیشن بن چکے ہیں۔ لازمی بہت سے کاروباروں اور ڈویلپرز کے لیے۔ تاہم، اب بہت سی ویب سائٹس خودکار براؤزنگ کا پتہ لگاتی ہیں اور اسے بلاک کرتی ہیں۔ یہ مضمون دریافت کرے گا کہ کس طرح نظرانداز کیا جائے۔ سیلینیم صارف کے ایجنٹوں کو ہیرا پھیری کرکے اور پس منظر میں سیلینیم چلا کر ازگر کا استعمال کرتے ہوئے پتہ لگانا۔ ہم کامیاب ویب سکریپنگ کو یقینی بنانے کے لیے تفصیلی اقدامات، ٹولز، اور بہترین طریقوں میں غوطہ لگائیں گے۔

سیلینیم کی کھوج کو سمجھنا

اس سے پہلے کہ ہم پتہ لگانے کو نظرانداز کریں، آئیے سمجھیں کہ یہ کیسے کام کرتا ہے۔ ویب سائٹس مخصوص ویب ڈرائیور کے جھنڈوں اور خصوصیات کی موجودگی کی جانچ کرکے سیلینیم کا پتہ لگاسکتی ہیں۔ جب کوئی سائٹ ان جھنڈوں کی شناخت کرتی ہے، تو وہ رسائی کو روک سکتی ہے یا گمراہ کن ڈیٹا پیش کر سکتی ہے۔ مثال کے طور پر، جب آپ معیاری کروم براؤزر کا استعمال کرتے ہوئے کوئی سائٹ کھولتے ہیں، تو یہ توقع کے مطابق جواب دیتا ہے۔ تاہم، جب آپ سیلینیم کا استعمال کرتے ہوئے اسی سائٹ کو کھولتے ہیں، تو ویب سائٹ آٹومیشن کا پتہ لگا سکتی ہے اور اسے بلاک کر سکتی ہے۔ یہ پتہ لگانا اس لیے ہوتا ہے کیونکہ سیلینیم مخصوص جھنڈے سیٹ کرتا ہے جسے ویب سائٹیں تلاش کر سکتی ہیں۔

WebDriver کے جھنڈوں کو تبدیل کرنا

سیلینیم کی کھوج کو نظرانداز کرنے کے لیے، ایک مؤثر طریقہ WebDriver کے جھنڈوں میں ترمیم کرنا ہے۔

1. فائر فاکس کنفیگریشن: ٹائپ کرکے فائر فاکس کنفیگریشن کا صفحہ کھولیں۔ about:config ایڈریس بار میں WebDriver سے متعلق جھنڈا تلاش کریں اور اسے سیٹ کریں۔ false.
2. کوڈ کا نفاذ:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

یہ اسکرپٹ WebDriver کا پتہ لگانے والے جھنڈے کو غیر فعال کر دیتا ہے، جس سے براؤزر ایک باقاعدہ صارف کے ذریعے چلنے والی مثال کے طور پر ظاہر ہوتا ہے۔

یوزر ایجنٹس

صارف ایجنٹ ایک تار ہے جسے براؤزر اپنی شناخت کے لیے ویب سرور کو بھیجتا ہے۔ صارف کے ایجنٹ کے اسٹرنگ کو تبدیل کرنے سے سیلینیم کی درخواستوں کو براؤزر کی باقاعدہ درخواستوں سے الگ نہیں کیا جا سکتا ہے۔

صارف ایجنٹ کو تبدیل کرنے کے اقدامات:

1. ایک عام صارف ایجنٹ سٹرنگ کی شناخت کریں۔: مثال: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. سیلینیم میں تبدیلی کو نافذ کریں۔:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

حسب ضرورت صارف ایجنٹ کو ترتیب دے کر، ہم بہت سی بنیادی کھوجوں کو نظرانداز کر سکتے ہیں۔

پس منظر میں سیلینیم چل رہا ہے۔

براؤزر کو پس منظر میں چلانا پتہ لگانے سے بچنے کا ایک اور اہم پہلو ہے۔ یہ براؤزر کو ہیڈ لیس موڈ میں چلا کر حاصل کیا جا سکتا ہے۔

عمل درآمد:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

ہیڈ لیس موڈ میں چلنے کا مطلب ہے کہ کوئی گرافیکل انٹرفیس ظاہر نہیں ہوتا، جو سرورز پر خودکار کاموں کو چلانے کے لیے ضروری ہے۔

براؤزر اطلاعات اور آوازوں کو غیر فعال کرنا

خودکار براؤزنگ میں اکثر غیر متوقع پاپ اپس اور اطلاعات کو سنبھالنا شامل ہوتا ہے۔ ان کو غیر فعال کرنے سے عمل کو ہموار کیا جا سکتا ہے۔

کوڈ کی مثال:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

یہ اسکرپٹ اطلاعات کو غیر فعال کرتا ہے اور آڈیو کو خاموش کرتا ہے، بلاتعطل آٹومیشن کو یقینی بناتا ہے۔

ڈیٹا پارس کرنے کی مثال

آئیے ایک ایسی سائٹ سے عرفی ناموں کو پارس کرنے کی ایک عملی مثال پر غور کریں جو بے ترتیب صارف نام تیار کرتی ہے۔

قدم:

1. سائٹ کو لوڈ کریں اور عناصر کے ساتھ تعامل کریں۔:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

نتیجہ

WebDriver کے جھنڈوں میں ہیرا پھیری کرکے، صارف کے ایجنٹوں کو تبدیل کرکے، پس منظر میں سیلینیم چلا کر، اور براؤزر کی اطلاعات کو غیر فعال کرکے، آپ سیلینیم کی کھوج کو مؤثر طریقے سے نظرانداز کرسکتے ہیں۔ یہ تکنیکیں ہموار اور ناقابل شناخت ویب سکریپنگ اور آٹومیشن کے لیے ضروری ہیں۔ ان طریقوں پر عمل درآمد یقینی بناتا ہے کہ آپ کے خودکار کام بلاتعطل اور موثر رہیں۔ ویب سائٹ کی سروس کی شرائط اور ڈیٹا کی رازداری کے قوانین کا احترام کرتے ہوئے ہمیشہ ویب سکریپنگ اور آٹومیشن کو اخلاقی طور پر استعمال کرنا یاد رکھیں۔ مزید جدید تکنیکوں اور باقاعدہ اپ ڈیٹس کے لیے، ہمارے بلاگ پر آتے رہیں فائن پراکسی.org ذیل میں تبصرے میں اپنے خیالات اور تاثرات کا اشتراک کرنے کے لئے آزاد محسوس کریں. اگر آپ کو یہ مضمون پسند آیا تو ہمارے چینل کو سبسکرائب کرنا اور لائک کرنا نہ بھولیں۔ مبارک سکریپنگ!

ان اقدامات کو نافذ کرکے اور ضرورت کے مطابق ترتیبات کو ایڈجسٹ کرکے، آپ یقینی بناسکتے ہیں کہ آپ کے آٹومیشن پروجیکٹس آسانی سے چل رہے ہیں اور ان کا پتہ نہیں چل رہا ہے۔