Provedores de proxy adoram se gabar do tamanho do pool — 20 milhões, 70 milhões, 100 milhões de IPs. Parece impressionante. Mas um pool bem gerenciado com algumas centenas de IPs de qualidade vai superar um milhão de endereços queimados toda vez. O que importa não é o número. É se esses IPs são limpos, rápidos e se já não estão em blacklists nos seus sites-alvo.
Datacenter vs. residencial — quando realmente vale a pena pagar mais
Para a maioria dos trabalhos de scraping, proxies datacenter são a escolha certa. São rápidos, baratos e lidam com centenas de threads facilmente. Listagens de produtos de um site de e-commerce, resultados de busca, dados públicos de diretórios — IPs de datacenter dão conta do recado. Você precisa de residenciais quando o site-alvo combate ativamente scrapers. Redes sociais, Google, marketplaces fortemente protegidos — eles verificam se o seu IP pertence a um data center. Se pertencer, intensificam a verificação — mais CAPTCHAs, limites de taxa mais rígidos e, às vezes, bloqueio total. Mas essa é a minoria das tarefas de scraping. A maioria dos sites não roda sistemas anti-bot agressivos. IPs rotativos de datacenter com pausas adequadas entre as requisições resolvem 80% do que existe por aí.

Quantos IPs você realmente precisa?
Pegue o número de páginas que você está coletando, divida pela velocidade que precisa e considere a tolerância do site. Um site de notícias pode permitir mais de 300 requisições por hora de um único IP. Um site de e-commerce — 100-200. Redes sociais — apenas 30-60. Para 10.000 páginas por dia em um site de nível médio, 10 a 50 IPs com rotação são suficientes. Não milhões. Os 100.000 proxies datacenter da FineProxy são suficientes para qualquer configuração de servidor proxy para scraping, mesmo as mais pesadas.
Trabalhando com frameworks de scraping
A maioria das ferramentas suporta proxies nativamente. No Scrapy, passe um proxy pelo meta da requisição: meta={‘proxy’: ‘http://ip:port’}. Se você está rodando algo maior, vai querer configurar um pool de rotação de proxies no Scrapy — basicamente um middleware que troca o IP da sua lista antes de cada requisição ser enviada. A FineProxy funciona com Scrapy, Crawlee, Puppeteer, Playwright e qualquer ferramenta que aceite HTTP ou SOCKS5.O A-Parser, popular para scraping de SEO, suporta importação em massa de proxies com vinculação de IP. Carregue sua lista, vincule ao seu IP real no painel da FineProxy e deixe o A-Parser rotacionar entre eles.
Qual abordagem de rotação funciona melhor?
Rotacionar a cada requisição é mais seguro — nenhum IP acumula atividade suspeita. Mas é mais lento, porque cada novo IP significa uma nova conexão.Rotacionar por timer (a cada 50-100 requisições) ou apenas quando você for bloqueado é mais rápido e desperdiça menos endereços. Comece por aí. Mude para rotação por requisição apenas se estiver sendo banido com muita frequência.Para configurações de spider proxy e crawler proxy rodando em milhares de páginas, a rotação por requisição geralmente vale o tradeoff de velocidade.
O que faz um bom proxy para scraping?
Seu proxy precisa ser rápido — em milhares de requisições, a diferença entre 50ms e 200ms de latência se acumula em horas. Precisa estar limpo — sem ser abusado por spammers, sem estar em listas negras. E idealmente, ser exclusivamente seu. Compartilhar um IP com outros cinquenta scrapers que estão acessando o mesmo alvo é receita para banir todo mundo. A FineProxy é dona dos seus 100.000 IPs — não são revendidos de outro provedor. Você recebe proxies dedicados que ninguém mais utiliza nos seus sites-alvo.