Seleen Python (3). Kuidas Pythoni abil seleeni tuvastamisest mööda minna: kasutajaagendid ja taustatäitmine

Veebi kraapimine ja brauseri automatiseerimine on muutunud integraalne paljudele ettevõtetele ja arendajatele. Paljud veebisaidid tuvastavad ja blokeerivad aga nüüd automaatse sirvimise. See artikkel uurib, kuidas mööda minna Seleen tuvastamine Pythoni abil, manipuleerides kasutajaagentidega ja käivitades taustal Seleniumi. Sukeldume üksikasjalikesse sammudesse, tööriistadesse ja parimatesse tavadesse, et tagada edukas veebikraapimine.

Seleeni tuvastamise mõistmine

Enne tuvastamisest mööda hiilimist mõelgem, kuidas see toimib. Veebisaidid saavad seleeni tuvastada, kontrollides teatud veebidraiveri lippude ja atribuutide olemasolu. Kui sait need lipud tuvastab, võib see blokeerida juurdepääsu või esitada eksitavaid andmeid. Näiteks kui avate saidi tavalise Chrome'i brauseriga, reageerib see ootuspäraselt. Kui aga avate sama saidi Seleniumi abil, suudab veebisait tuvastada automatiseerimise ja selle blokeerida. See tuvastamine toimub seetõttu, et Selenium määrab konkreetsed lipud, mida veebisaidid saavad otsida.

WebDriveri lippude muutmine

Seleeni tuvastamisest möödahiilimiseks on üks tõhus meetod WebDriveri lippude muutmine.

1. Firefoxi konfiguratsioon: avage Firefoxi konfiguratsioonileht, tippides about:config aadressiribal. Otsige üles WebDriveriga seotud lipp ja määrake see false.
2. Koodi rakendamine:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

See skript keelab WebDriveri tuvastamise lipu, mistõttu brauser kuvatakse tavalise kasutaja juhitud eksemplarina.

Kasutajaagendid

Kasutajaagent on string, mille brauser saadab veebiserverisse enda tuvastamiseks. Kasutajaagendi stringi muutmine võib muuta Seleniumi päringud tavalistest brauseripäringutest eristamatuks.

Kasutajaagendi muutmise sammud:

1. Tuvastage tavaline kasutajaagendi string: Näide: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Rakendage seleeni muudatust:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

Kohandatud kasutajaagendi seadistamisega saame paljudest põhituvastustest mööda minna.

Seleeni jooksmine taustal

Brauseri taustal töötamine on tuvastamisest kõrvalehoidmise teine oluline aspekt. Seda saab saavutada, käivitades brauseri peata režiimis.

Rakendamine:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

Peata režiimis töötamine tähendab, et graafilist liidest ei kuvata, mis on serverites automatiseeritud toimingute käitamiseks hädavajalik.

Brauseri märguannete ja helide keelamine

Automaatne sirvimine hõlmab sageli ootamatute hüpikakende ja teavituste käsitlemist. Nende keelamine võib protsessi sujuvamaks muuta.

Koodi näide:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

See skript keelab märguanded ja vaigistab heli, tagades katkematu automatiseerimise.

Andmete sõelumise näide

Vaatleme praktilist näidet hüüdnimede sõelumisest juhuslikke kasutajanimesid genereerivalt saidilt.

Sammud:

1. Laadige sait ja suhelge elementidega:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

Kokkuvõte

Veebidraiveri lippe manipuleerides, kasutajaagente muutes, taustal Seleniumi käitades ja brauseri märguandeid keelates saate seleeni tuvastamisest tõhusalt mööda minna. Need tehnikad on olulised sujuvaks ja avastamatuks veebikraapimiseks ja automatiseerimiseks. Nende meetodite rakendamine tagab, et teie automatiseeritud toimingud jäävad katkematuks ja tõhusaks. Ärge unustage kasutada veebi kraapimist ja automatiseerimist alati eetiliselt, järgides veebisaidi teenusetingimusi ja andmekaitseseadusi. Täiustatud tehnikate ja regulaarsete värskenduste saamiseks jälgige meie ajaveebi aadressil FineProxy.org. Jagage julgelt oma ideid ja tagasisidet allolevates kommentaarides. Kui teile see artikkel meeldis, ärge unustage tellida meie kanalit ja jätta meeldimine. Head kraapimist!

Rakendades neid samme ja kohandades vajadusel sätteid, saate tagada, et teie automatiseerimisprojektid toimiksid sujuvalt ja avastamatult.