Poskytovatelé proxy se rádi chlubí velikostí svých poolů — 20 milionů, 70 milionů, 100 milionů IP. Zní to impozantně. Jenže dobře spravovaný pool o několika stovkách kvalitních IP porazí milion spálených adres pokaždé. Nezáleží na počtu. Záleží na tom, jestli jsou ty IP čisté, rychlé a nejsou na vašich cílových webech už na blacklistu.
Datacentrové vs. rezidenční — kdy se skutečně vyplatí zaplatit víc
Pro většinu scrapovacích úloh jsou datacenter proxy tou správnou volbou. Jsou rychlé, levné a bez problémů zvládají stovky vláken najednou. Produktové výpisy z e-shopů, výsledky vyhledávání, veřejná data z katalogů — datacenter IP to zvládnou hravě. Rezidenční proxy potřebujete tehdy, když se cílový web aktivně brání proti scrapování. Sociální sítě, Google, silně chráněná tržiště — tyto weby kontrolují, zda vaše IP patří do datového centra. Pokud ano, zpřísní ověřování — více CAPTCHA, přísnější limity požadavků a někdy rovnou blokace. To se ale týká menšiny scrapovacích úloh. Většina webů nepoužívá agresivní anti-bot systémy. Rotující datacenter IP s vhodnou prodlevou mezi požadavky pokryjí 80 % toho, co je potřeba.

Kolik IP adres skutečně potřebujete?
Vezměte si počet stránek, které chcete scrapovat, vydělte je tím, jak rychle je potřebujete, a zohledněte toleranci cílového webu. Zpravodajský server může z jedné IP povolit 300+ požadavků za hodinu. E-shop — 100–200. Sociální sítě — třeba jen 30–60. Pro 10 000 stránek denně na průměrně chráněném webu stačí 10–50 IP s rotací. Žádné miliony. 100 000 datacenter proxy od FineProxy pokryje jakékoli nastavení proxy serveru pro scrapování, i to nejnáročnější.
Práce se scrapovacími frameworky
Většina nástrojů podporuje proxy rovnou z krabice. Ve Scrapy předáte proxy přes request meta: meta={‘proxy’: ‘http://ip:port’}. Pokud provozujete něco většího, budete chtít nastavit Scrapy proxy rotation pool — v podstatě middleware, který před každým odeslaným požadavkem dosadí jinou IP z vašeho seznamu. FineProxy funguje se Scrapy, Crawlee, Puppeteer, Playwright a čímkoli, co podporuje HTTP nebo SOCKS5.A-Parser, oblíbený nástroj pro SEO scraping, podporuje hromadný import proxy s IP bindingem. Nahrajte svůj seznam, navažte ho na svou reálnou IP v dashboardu FineProxy a nechte A-Parser rotovat přes ně.
Který přístup k rotaci funguje lépe?
Rotace při každém požadavku je bezpečnější — žádná jednotlivá IP nenakumuluje podezřelou aktivitu. Je ale pomalejší, protože každá nová IP znamená nové spojení.Rotace na základě časovače (každých 50–100 požadavků) nebo pouze při zablokování je rychlejší a plýtvá méně adresami. Začněte tímto způsobem. Na rotaci při každém požadavku přejděte, jen pokud vás blokují příliš často.U spider proxy a crawler proxy konfigurací procházejících tisíce stránek se rotace při každém požadavku obvykle vyplatí i za cenu nižší rychlosti.
Co dělá proxy pro scraping skutečně kvalitní?
Vaše proxy musí být rychlá — při tisících požadavků se rozdíl mezi latencí 50 ms a 200 ms nasčítá na hodiny. Musí být čistá — nezneužitá spammery, bez zápisu na blacklistech. A ideálně jen vaše. Sdílení IP s padesáti dalšími scrapery, kteří všichni míří na stejný cíl, je spolehlivý recept na zablokování pro všechny. FineProxy vlastní svých 100 000 IP — nepřeprodává je od jiného poskytovatele. Získáte dedikované proxy, které na vašich cílových webech nepoužívá nikdo jiný.