ロシア プロキシ

WBはクラウドASNを即座にブラックリスト化します。IPがAWS、Hetzner、GCloud由来であれば、開始前に終了です。FineProxyのデータセンターは独自ASで運用されているため、そのリストには含まれません。IP以外の対策として、1分あたり30〜40リクエストに制限し、セッションごとにUser-Agentをローテーションし、リクエスト間でCookieを引き継ぎ、Accept-Language: ru-RUを設定してください。WBはJavaScript実行をチェックするため、商品ページにはstealthプラグイン付きPlaywrightが生HTTPより効果的です。カタログレベルのスクレイピング（検索結果、カテゴリリスティング）には、適切なヘッダー付きHTTPでペースを守れば十分対応できます。

OzonのCloudflareはWBよりも厳格です。パブリックAPIエンドポイントやカテゴリフィードにはデータセンタープロキシが使えますが、商品ページではすぐにCAPTCHAがトリガーされます。ISPプロキシの方が長持ちします。ISP登録IPは通常のブロードバンドに見えるため、Ozonはより寛容に扱います。毎日数千商品を取得する場合は、両方をミックスしてください。商品カードにはスティッキーセッション付きのISPプロキシ、それ以外にはデータセンタープロキシが効果的です。

AvitoはTLSハンドシェイク（JA3/JA4ハッシュ）、Canvas、WebGLレンダラー、フォント、タイムゾーンをフィンガープリントします。フィンガープリントが同一のままではIPをローテーションしても意味がありません。Playwright + Firefox（Chromiumではなく）を使えば、フィンガープリントの多様性がデフォルトで向上します。リスティング間のペースは10〜15秒を維持してください。サイレントシャドウBANにご注意ください。レスポンスは返ってきますが、データが古いまたは不完全になります。リスティング全体の価格が固定されているように見える場合、そのセッションはフラグ付けされています。

SmartCAPTCHAは行動分析型です。チャレンジを表示する前に、画面解像度、言語、タイムゾーン、マウスの動き、スクロールパターンなどをすべてチェックします。最低限の設定：UTC+3、Accept-Language: ru-RU、実際の画面サイズ、シミュレートされたマウス操作。undetected-chromedriverまたはPlaywright stealthを使用してください。それでもYandex Searchは1 IPあたり毎分5〜10クエリが上限です。Yandex Mapsや2GISの内部APIはそれほど厳しくありません。

これはサイレントブロックです。Auto.ruとDrom.ruはどちらも、自動化されたリクエストと疑われる場合にCAPTCHAではなく404を返します。スクレイパーのログには「listing not found」と記録されますが、実際にはそのリスティングは公開中です。同じURLをブラウザで開いて確認してください。Auto.ru（Yandex傘下）はSmartCAPTCHAロジックを使用しています。Drom.ruはよりシンプルで、正しいヘッダー、ロシアIP、リクエスト間3〜5秒の遅延で通常は問題ありません。両サイトとも、IPローテーションはリクエストごとではなく、ブロック時に行ってください。

ボリュームによります。HeadHunter（hh.ru）は約100リクエストでレート制限がかかります。CIANは海外IPを完全にブロックし、国内IPにもレート制限を適用します。DNS-Shop、M.Video、Eldoradoは保護が軽めで、適度な速度のデータセンタープロキシで問題なく動作します。地域クラシファイド（Farpost、IRR、Youla）は、正しいローカルリスティングを取得するためにロシアIPが必要なだけです。政府登記簿（EGRUL、Rosreestr）はレート制限がありますが、高度なボット検知は行っていないため、低速で着実にアクセスすれば通過できます。

ターゲットによっては影響があります。WBとOzonは検出された地域に応じて配送時間、在庫、場合によっては価格を調整します。CIANは完全に地域ベースで、モスクワのリスティングはクラスノダールのクエリには表示されません。FineProxyのロシアIPは国レベルで都市選択はできませんが、大半はモスクワにジオロケーションされます。これでほとんどのタスクはカバーできます。シベリアや極東のデータが必要な場合は、リクエスト自体に地域パラメータを渡してください。

データセンター IPv4 — 独自ASN、クラウドホスティングではない定額制IP、無制限トラフィック。AWSやHetznerのように事前ブラックリスト登録されていません。ISP IPv4 — ロシアのコンシューマーISP（Rostelecom、Beeline、MTS）に登録、接続タイプをチェックするターゲット向け。RUプール付きローテーション — リクエストごとに新しいIP。国レベル。HTTP/HTTPSおよびSOCKS5対応。