Selenium Python (3). Cara Memintas Pengesanan Selenium Menggunakan Python: Ejen Pengguna dan Pelaksanaan Latar Belakang

Pengikisan web dan automasi penyemak imbas telah menjadi integral untuk banyak perniagaan dan pemaju. Walau bagaimanapun, banyak tapak web kini mengesan dan menyekat penyemakan imbas automatik. Artikel ini akan meneroka cara memintas Selenium pengesanan menggunakan Python dengan memanipulasi ejen pengguna dan menjalankan Selenium di latar belakang. Kami akan menyelami langkah terperinci, alatan dan amalan terbaik untuk memastikan pengikisan web berjaya.

Memahami Pengesanan Selenium

Sebelum kita memintas pengesanan, mari kita fahami cara ia berfungsi. Tapak web boleh mengesan Selenium dengan menyemak kehadiran bendera dan sifat pemacu web tertentu. Apabila tapak mengenal pasti bendera ini, ia boleh menyekat akses atau mengemukakan data yang mengelirukan. Contohnya, apabila anda membuka tapak menggunakan penyemak imbas Chrome standard, ia bertindak balas seperti yang diharapkan. Walau bagaimanapun, apabila anda membuka tapak yang sama menggunakan Selenium, tapak web itu boleh mengesan automasi dan menyekatnya. Pengesanan ini berlaku kerana Selenium menetapkan bendera khusus yang boleh dicari oleh tapak web.

Menukar Bendera WebDriver

Untuk memintas pengesanan Selenium, satu kaedah yang berkesan ialah mengubah suai bendera WebDriver.

1. Konfigurasi Firefox: Buka halaman konfigurasi Firefox dengan menaip about:config dalam bar alamat. Cari bendera yang berkaitan dengan WebDriver dan tetapkannya false.
2. Pelaksanaan Kod:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Skrip ini melumpuhkan bendera pengesanan WebDriver, menjadikan penyemak imbas muncul sebagai contoh dipacu pengguna biasa.

Ejen Pengguna

Ejen pengguna ialah rentetan yang dihantar oleh penyemak imbas ke pelayan web untuk mengenal pasti dirinya. Menukar rentetan ejen pengguna boleh menjadikan permintaan Selenium tidak dapat dibezakan daripada permintaan penyemak imbas biasa.

Langkah Menukar Ejen Pengguna:

1. Kenal pasti rentetan ejen pengguna biasa: Contoh: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Laksanakan Perubahan dalam Selenium:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Dengan menetapkan ejen pengguna tersuai, kami boleh memintas banyak pengesanan asas.

Menjalankan Selenium di Latar Belakang

Menjalankan penyemak imbas di latar belakang adalah satu lagi aspek penting untuk mengelakkan pengesanan. Ini boleh dicapai dengan menjalankan penyemak imbas dalam mod tanpa kepala.

Perlaksanaan:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

Berjalan dalam mod tanpa kepala bermakna tiada antara muka grafik dipaparkan, yang penting untuk menjalankan tugas automatik pada pelayan.

Melumpuhkan Pemberitahuan dan Bunyi Penyemak Imbas

Penyemakan imbas automatik selalunya melibatkan pengendalian pop timbul dan pemberitahuan yang tidak dijangka. Melumpuhkan ini boleh menyelaraskan proses.

Contoh Kod:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Skrip ini melumpuhkan pemberitahuan dan meredam audio, memastikan automasi tidak terganggu.

Contoh Penghuraian Data

Mari kita pertimbangkan contoh praktikal menghuraikan nama panggilan daripada tapak yang menjana nama pengguna rawak.

Langkah-langkah:

1. Muatkan tapak dan berinteraksi dengan elemen:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Kesimpulan

Dengan memanipulasi bendera WebDriver, menukar ejen pengguna, menjalankan Selenium di latar belakang dan melumpuhkan pemberitahuan penyemak imbas, anda boleh memintas pengesanan Selenium dengan berkesan. Teknik ini penting untuk pengikisan dan automasi web yang lancar dan tidak dapat dikesan. Melaksanakan kaedah ini memastikan bahawa tugas automatik anda kekal tidak terganggu dan cekap. Ingat untuk sentiasa menggunakan pengikisan dan automasi web secara beretika, menghormati syarat perkhidmatan tapak web dan undang-undang privasi data. Untuk teknik yang lebih maju dan kemas kini biasa, nantikan blog kami di FineProxy.org. Jangan ragu untuk berkongsi idea dan maklum balas anda dalam ulasan di bawah. Jika anda menyukai artikel ini, jangan lupa untuk melanggan saluran kami dan tinggalkan suka. Selamat mengikis!

Dengan melaksanakan langkah-langkah ini dan melaraskan tetapan seperti yang diperlukan, anda boleh memastikan projek automasi anda berjalan lancar dan tidak dapat dikesan.