Selenium Python (3)。Python を使用して Selenium 検出を回避する方法: ユーザー エージェントとバックグラウンド実行

ウェブスクレイピングとブラウザ自動化は インテグラル 多くの企業や開発者にとって、これは非常に興味深いことです。しかし、多くのウェブサイトは自動ブラウジングを検知してブロックしています。この記事では、自動ブラウジングを回避する方法を説明します。 セレン ユーザー エージェントを操作し、バックグラウンドで Selenium を実行することで、Python を使用して Web スクレイピングを検出します。Web スクレイピングを成功させるための詳細な手順、ツール、ベスト プラクティスについて詳しく説明します。

セレン検出の理解

検出を回避する前に、その仕組みを理解しましょう。Web サイトは、特定の Web ドライバー フラグとプロパティの存在をチェックすることで、Selenium を検出できます。サイトがこれらのフラグを識別すると、アクセスをブロックしたり、誤解を招くデータを表示したりすることがあります。たとえば、標準の Chrome ブラウザを使用してサイトを開くと、期待どおりに応答します。ただし、同じサイトを Selenium を使用して開くと、Web サイトは自動化を検出してブロックできます。この検出が行われるのは、Selenium が Web サイトが検索できる特定のフラグを設定するためです。

WebDriver フラグの変更

Selenium の検出を回避するための効果的な方法の 1 つは、WebDriver フラグを変更することです。

1. Firefoxの設定: 次のように入力してFirefoxの設定ページを開きます。 about:config アドレスバーにWebDriverに関連するフラグを見つけて設定します。 false.
2. コードの実装:

from selenium import webdriver

# Set Firefox preferences
options = webdriver.FirefoxOptions()
options.set_preference("dom.webdriver.enabled", False)
options.set_preference('useAutomationExtension', False)

driver = webdriver.Firefox(options=options)

このスクリプトは WebDriver 検出フラグを無効にし、ブラウザを通常のユーザー駆動型インスタンスとして表示します。

ユーザーエージェント

ユーザー エージェントは、ブラウザーが自身を識別するために Web サーバーに送信する文字列です。ユーザー エージェント文字列を変更すると、Selenium リクエストが通常のブラウザー リクエストと区別できなくなる可能性があります。

ユーザーエージェントを変更する手順:

1. 共通のユーザーエージェント文字列を識別する： 例： "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
2. Seleniumの変更を実装する:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)

カスタム ユーザー エージェントを設定することで、多くの基本的な検出を回避できます。

バックグラウンドでSeleniumを実行する

ブラウザをバックグラウンドで実行することは、検出を回避するためのもう 1 つの重要な要素です。これは、ブラウザをヘッドレス モードで実行することで実現できます。

実施:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")

driver = webdriver.Chrome(options=options)

ヘッドレス モードで実行すると、サーバー上で自動タスクを実行するために不可欠なグラフィカル インターフェイスが表示されなくなります。

ブラウザの通知とサウンドを無効にする

自動ブラウジングでは、予期しないポップアップや通知の処理が必要になることがよくあります。これらを無効にすると、プロセスを効率化できます。

コード例:

from selenium import webdriver

options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--mute-audio")

driver = webdriver.Chrome(options=options)

このスクリプトは通知を無効にし、オーディオをミュートして、中断のない自動化を保証します。

データの解析例

ランダムなユーザー名を生成するサイトからニックネームを解析する実用的な例を考えてみましょう。

ステップ:

1. サイトを読み込み、要素を操作する:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

# Locate the username field and extract nicknames
usernames = []
for _ in range(10):
    nickname = driver.find_element(By.ID, "nickname").text
    usernames.append(nickname)
    driver.find_element(By.ID, "generate").click()
print(usernames)

結論

WebDriverフラグを操作したり、ユーザーエージェントを変更したり、バックグラウンドでSeleniumを実行したり、ブラウザ通知を無効にしたりすることで、Seleniumの検出を効果的に回避できます。これらのテクニックは、シームレスで検出されないWebスクレイピングと自動化に不可欠です。これらのメソッドを実装することで、自動化されたタスクが中断されずに効率的に実行されるようになります。Webスクレイピングと自動化は常に倫理的に使用し、Webサイトの利用規約とデータプライバシー法を遵守してください。より高度なテクニックと定期的な更新については、次のブログをご覧ください。 ファインプロキシ.org。以下のコメント欄で、ぜひあなたのアイデアやフィードバックを共有してください。この記事が気に入ったら、忘れずにチャンネル登録して「いいね！」してください。スクレイピングを楽しんでください！

これらの手順を実装し、必要に応じて設定を調整することで、自動化プロジェクトがスムーズに実行され、検出されないようにすることができます。