Selenyum Python (3). Python Kullanarak Selenyum Tespiti Nasıl Atlanır: Kullanıcı Aracıları ve Arka Planda Yürütme

Web kazıma ve tarayıcı otomasyonu hale geldi integral birçok işletme ve geliştirici için. Ancak artık birçok web sitesi otomatik taramayı algılıyor ve engelliyor. Bu makale nasıl bypass yapılacağını araştıracak Selenyum Kullanıcı aracılarını manipüle ederek ve Selenium'u arka planda çalıştırarak Python kullanarak algılama. Başarılı web kazımayı sağlamak için ayrıntılı adımlara, araçlara ve en iyi uygulamalara dalacağız.

Selenyum Tespitini Anlamak

Algılamayı atlamadan önce nasıl çalıştığını anlayalım. Web siteleri, belirli web sürücüsü işaretlerinin ve özelliklerinin varlığını kontrol ederek Selenyum'u tespit edebilir. Bir site bu işaretleri tanımladığında erişimi engelleyebilir veya yanıltıcı veriler sunabilir. Örneğin, standart bir Chrome tarayıcı kullanarak bir siteyi açtığınızda site beklendiği gibi yanıt verir. Ancak aynı siteyi Selenium kullanarak açtığınızda web sitesi otomasyonu algılayıp engelleyebilir. Bu algılama, Selenium'un web sitelerinin arayabileceği belirli işaretler belirlemesi nedeniyle gerçekleşir.

WebDriver Bayraklarını Değiştirme

Selenyum tespitini atlamak için etkili yöntemlerden biri WebDriver bayraklarını değiştirmektir.

1. Firefox Yapılandırması: Yazarak Firefox yapılandırma sayfasını açın about:config Adres çubuğunda. WebDriver ile ilgili bayrağı bulun ve olarak ayarlayın. false.
2. Kod Uygulaması:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

Bu komut dosyası, WebDriver algılama bayrağını devre dışı bırakarak tarayıcının normal kullanıcı odaklı bir örnek gibi görünmesini sağlar.

Kullanıcı Temsilcileri

Kullanıcı aracısı, bir tarayıcının kendisini tanımlamak için bir web sunucusuna gönderdiği bir dizedir. Kullanıcı aracısı dizesinin değiştirilmesi Selenyum isteklerini normal tarayıcı isteklerinden ayırt edilemez hale getirebilir.

Kullanıcı Aracısını Değiştirme Adımları:

1. Ortak bir kullanıcı aracısı dizesini tanımlayın: Örnek: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Selenyumdaki Değişimi Uygulayın:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Özel bir kullanıcı aracısı ayarlayarak birçok temel algılamayı atlayabiliriz.

Selenyumun Arka Planda Çalıştırılması

Tarayıcıyı arka planda çalıştırmak, tespitten kaçınmanın bir başka önemli yönüdür. Bu, tarayıcıyı başsız modda çalıştırarak elde edilebilir.

Uygulama:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

Başsız modda çalıştırmak, hiçbir grafik arayüzün görüntülenmediği anlamına gelir; bu, sunucularda otomatik görevlerin çalıştırılması için gereklidir.

Tarayıcı Bildirimlerini ve Seslerini Devre Dışı Bırakma

Otomatik tarama genellikle beklenmeyen açılır pencerelerin ve bildirimlerin yönetilmesini içerir. Bunları devre dışı bırakmak süreci kolaylaştırabilir.

Kod Örneği:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

Bu komut dosyası bildirimleri devre dışı bırakır ve sesi kapatarak kesintisiz otomasyon sağlar.

Veri Ayrıştırma Örneği

Rastgele kullanıcı adları oluşturan bir sitedeki takma adları ayrıştırmanın pratik bir örneğini ele alalım.

Adımlar:

1. Siteyi yükleyin ve öğelerle etkileşim kurun:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Sonuç

WebDriver bayraklarını değiştirerek, kullanıcı aracılarını değiştirerek, Selenium'u arka planda çalıştırarak ve tarayıcı bildirimlerini devre dışı bırakarak Selenyum tespitini etkili bir şekilde atlayabilirsiniz. Bu teknikler kesintisiz ve tespit edilemeyen web kazıma ve otomasyon için gereklidir. Bu yöntemlerin uygulanması, otomatikleştirilmiş görevlerinizin kesintisiz ve verimli kalmasını sağlar. Web kazıma ve otomasyonu her zaman etik bir şekilde, web sitesi hizmet şartlarına ve veri gizliliği yasalarına saygı göstererek kullanmayı unutmayın. Daha gelişmiş teknikler ve düzenli güncellemeler için blogumuzu takip etmeye devam edin: FineProxy.org. Fikirlerinizi ve geri bildirimlerinizi aşağıdaki yorumlarda paylaşmaktan çekinmeyin. Bu yazımızı beğendiyseniz kanalımıza abone olmayı ve beğeni bırakmayı unutmayın. Mutlu kazıma!

Bu adımları uygulayarak ve ayarları gerektiği gibi düzenleyerek otomasyon projelerinizin sorunsuz ve fark edilmeden ilerlemesini sağlayabilirsiniz.