Proxy pakkujad armastavad uhkeldada oma pool'i suurusega — 20 miljonit, 70 miljonit, 100 miljonit IP'd. Kõlab muljetavaldavalt. Kuid hästi hallatud paar sada kvaliteetset IP'd lööb iga kord miljonit läbipõlenud aadressi. Oluline pole arv. Oluline on see, kas need IP'd on puhtad, kiired ja pole juba teie sihtlehtedel mustas nimekirjas.
Andmekeskus vs. residentsiaalne — millal tasub rohkem maksta
Enamiku kraapimistööde jaoks on andmekeskuse proxyd õige valik. Need on kiired, soodsad ja tulevad hõlpsalt toime sadade lõimedega. Tooteloendid e-poe saidilt, otsingutulemused, avalikud andmed kataloogidest — andmekeskuse IP-d teevad selle töö ära. Residentsiaalseid proxysid on vaja siis, kui sihtleht võitleb aktiivselt kraapijate vastu. Sotsiaalmeedia, Google, tugevalt kaitstud turuplatsid — need kontrollivad, kas teie IP kuulub andmekeskusele. Kui kuulub, karmistuvad kontrollid — rohkem CAPTCHA-sid, rangemad päringupiirangud ja mõnikord täielik blokeerimine. Kuid see on vähemuses kraapimisülesannetest. Enamik veebisaite ei kasuta agressiivseid antibot-süsteeme. Rotatsiooniga andmekeskuse IP-d koos mõistlike pausidega päringute vahel katavad 80% kõigest.

Kui palju IP-sid teil tegelikult vaja on?
Võtke kraapitavate lehtede arv, jagage sellega, kui kiiresti neid vajate, ja arvestage saidi taluvust. Uudistesait võib lubada 300+ päringut tunnis ühelt IP-lt. E-poe sait — 100–200. Sotsiaalmeedia — isegi 30–60. 10 000 lehe jaoks päevas keskmise taseme saidil piisab 10–50 IP-st rotatsiooniga. Mitte miljoneid. FineProxy 100 000 andmekeskuse proxyt katavad igasuguse kraapimise proxy-serveri seadistuse, isegi mahuka.
Töö kraapimise raamistikega
Enamik tööriistu toetab proxy'sid vaikimisi. Scrapy's edastage proxy päringu meta kaudu: meta={‘proxy’: ‘http://ip:port’}. Kui tegemist on suuremamahulise projektiga, tasub seadistada Scrapy proxy rotatsiooni pool — sisuliselt middleware, mis vahetab enne iga päringu saatmist nimekirjast uue IP. FineProxy töötab Scrapy, Crawlee, Puppeteer'i, Playwright'i ja kõigega, mis toetab HTTP või SOCKS5 protokolli.A-Parser, mis on populaarne SEO kraapimiseks, toetab proxy'de hulgiimporti koos IP sidumisega. Laadige oma nimekiri, siduge see oma tegeliku IP-ga FineProxy juhtpaneelil ja laske A-Parser'il neid läbi roteerida.
Milline rotatsiooni lähenemine toimib paremini?
Iga päringu vahel roteerimine on turvalisem — ükski IP ei kogu kahtlast tegevust. Kuid see on aeglasem, sest iga uus IP tähendab uut ühendust.Roteerimine taimeri alusel (iga 50–100 päringu järel) või ainult blokeerimise korral on kiirem ja raiskab vähem aadresse. Alustage sellest. Lülituge päringu-põhisele rotatsioonile ainult siis, kui teid blokeeritakse liiga sageli.Spider proxy ja crawler proxy seadistuste puhul, mis töötavad tuhandete lehekülgede ulatuses, on päringu-põhine rotatsioon tavaliselt kiiruse kompromissi väärt.
Mis teeb hea kraapimise proxy?
Teie puhverserver peab olema kiire — tuhandete päringute korral summeerub vahe 50 ms ja 200 ms latentsuse vahel tundideks. See peab olema puhas — mitte rämpspostisaatjate poolt kuritarvitatud, mitte mustas nimekirjas. Ja ideaaljuhul on see ainult teie oma. IP jagamine viiekümne teise kraapijaga, kes kõik pommitavad sama sihtmärki, on kindel viis kõigi blokeerimiseks. FineProxy omab ise oma 100 000 IP-aadressi — neid ei müüda edasi teiselt pakkujalt. Saate privaatsed puhverserverid, mida keegi teine teie sihtlehtedel ei kasuta.