数据抓取代理

80% 的任务用数据中心代理就够了。它们比住宅代理便宜 5-10 倍，速度更快，在没有激进反爬虫防护的网站上完全够用。只有在访问社交媒体、Google 或专门封锁数据中心 IP 段的网站时，才需要切换到住宅代理。

FineProxy 为您提供一个端点——类似 http://gate.fineproxy.org:port。将您的爬虫指向该地址，添加认证方式（IP 绑定或用户名/密码），所有请求即通过代理发送。HTTP、HTTPS、SOCKS5——根据您的工具需求选择即可。

不需要。A-Parser、ScrapeOps、自定义 Python 脚本——它们都支持代理列表或网关端点。导入您的 FineProxy IP，如果工具支持轮换就启用轮换，然后运行任务即可。标准的代理地址和端口，无需额外设置。

在请求的 meta 中传入代理：meta={‘proxy’: ‘http://ip:port’}。如果需要轮换，编写一个简单的中间件，在每次请求前从列表中选取下一个代理即可。GitHub 上有很多现成的示例——大概只需 15 行代码。FineProxy 支持 HTTP、HTTPS 和 SOCKS5。

每天抓取普通网站 100,000 个页面：需要 100-300 个 IP 配合轮换。Google 或 Amazon：500-1,000+。FineProxy 的 IP 池两者都能应对——根据需要添加 IP，随时扩展。

最终都会被封——这就是它的运作方式。关键在于拥有足够多的 IP 进行轮换，并及时替换已失效的 IP。通过 FineProxy 的独享代理，IP 使用寿命更长，因为只有您一人在使用。如果某个 IP 被标记——直接从控制面板更换即可。

大多数库使用 HTTP/HTTPS；当您的工具需要 socket 级别的代理时，选择 SOCKS5。UDP 在网络抓取中很少用到。

Sitemap 欢迎爬虫访问，而 HTML 路径则受到严格监控。请保持 Headers/Cookies 一致，获取页面所需的资源文件，并在表单和 POST 端点附近降低请求频率。

办公网络通常位于 CGNAT 之后，或者会轮换公共出口 IP。请将实际的公共 IP 地址加入白名单，保留一个备用来源（家庭网络/VPN），并在默认端口被过滤时使用备用端口。