スクレイピングプロキシ

タスクの80%はデータセンターで十分です。住宅用プロキシの5〜10分の1のコストで、高速かつ、積極的なアンチボット保護のないサイトには問題なく使えます。住宅用に切り替えるのは、ソーシャルメディア、Google、またはデータセンター範囲を明確にブロックしているサイトだけにしてください。

FineProxy ではエンドポイントが提供されます（例：http://gate.fineproxy.org:port）。スクレイパーをこのアドレスに向け、認証（IPバインディングまたはログイン/パスワード）を追加するだけで、すべてのリクエストがプロキシを経由します。HTTP、HTTPS、SOCKS5 — お使いのツールに合ったプロトコルをお選びください。

いいえ。A-Parser、ScrapeOps、カスタムPythonスクリプトなど、いずれもプロキシリストやゲートウェイエンドポイントを受け付けます。FineProxyのIPを読み込み、ツールがローテーションに対応していれば有効にして、ジョブを実行するだけです。標準的なプロキシアドレスとポートで、特別な設定は不要です。

リクエストのmetaにプロキシを渡します: meta={‘proxy’: ‘http://ip:port’}。ローテーションが必要な場合は、各リクエストの前にリストから次のプロキシを選択するシンプルなミドルウェアを作成してください。GitHubにすぐ使えるサンプルが多数あり、コードはわずか15行程度です。FineProxyはHTTP、HTTPS、SOCKS5に対応しています。

通常のサイトで1日100,000ページ：ローテーション付きの100〜300 IP。GoogleやAmazonなら500〜1,000以上。FineProxyのプールはどちらにも対応しています。必要な分だけIPを追加し、いつでもスケールアップできます。

いずれはフラグ付けされます。それが仕組みというものです。重要なのは、ローテーションに十分な数を確保し、使えなくなったものを入れ替えることです。FineProxyの専用プロキシなら、お客様だけが使用するためIPの寿命が長くなります。フラグ付けされた場合は、ダッシュボードから交換してください。

ほとんどのライブラリにはHTTP/HTTPSを使用し、ソケットレベルのプロキシが必要なツールにはSOCKS5を使用します。UDPはウェブスクレイピングではほとんど関係ありません。

サイトマップはボットを歓迎しますが、HTMLパスは監視されています。ヘッダーやCookieを一貫させ、ページが期待するアセットを取得し、フォームやPOSTエンドポイント周辺ではリクエスト速度を落としてください。

オフィスではCGNATの背後にいたり、パブリックエグレスIPが変動することがよくあります。実際のパブリックIPアドレスをホワイトリストに登録し、バックアップ接続元（自宅／VPN）を確保し、デフォルトポートがフィルタリングされている場合は代替ポートを使用してください。