Провайдеры прокси любят хвастаться размером пулов — 20 миллионов, 70 миллионов, 100 миллионов адресов. На практике пул из нескольких сотен чистых IP обгонит миллион "сгоревших" адресов всегда. Для парсинга важно не количество, а качество — чистые, быстрые, не попавшие в чёрные списки на ваших целевых сайтах.
Датацентр или резидентные — когда стоит переплачивать
Для большинства задач прокси для парсинга — это датацентр. Быстрые, дешёвые, тянут сотни потоков без проблем. Собираете товары с интернет-магазина, поисковую выдачу, открытые данные из каталогов — датацентр прокси хватит. Резидентные нужны, когда целевой сайт активно борется с парсерами. Соцсети, Google, крупные маркетплейсы — они проверяют, принадлежит IP датацентру или нет, и если да — применяют повышенные уровни проверки: больше капч, жёстче лимиты, а иногда и полная блокировка. Но это меньшая часть задач. У большинства сайтов нет серьёзной антибот-защиты. Ротация датацентр IP с нормальными паузами между запросами закрывает 80% случаев.
Сколько IP нужно на самом деле?
Берём количество страниц, делим на скорость сбора, учитываем терпимость сайта. Новостной сайт выдержит 300+ запросов в час с одного IP. Интернет-магазин — 100-200. Соцсети — 30-60. Для 10 000 страниц в день со среднего сайта хватит 10-50 IP с ротацией. У FineProxy 100 000 собственных датацентр IP — этого достаточно для любой нагрузки.
Инструменты
Scrapy — прокси передаётся через мета: meta={'proxy': 'http://ip:port'}. Если проект крупнее, имеет смысл написать middleware, который перед каждым запросом подставляет следующий IP из вашего списка. Готовых примеров на GitHub полно — это буквально 15 строк кода. FineProxy работает со Scrapy, Crawlee, Puppeteer, Playwright и вообще с чем угодно по HTTP или SOCKS5.Прокси для A-Parser с привязкой к IP — загружаете список прокси, привязываете к своему реальному адресу в личном кабинете FineProxy, A-Parser ротирует сам.
Какая ротация продуктивнее?
Менять IP на каждом запросе безопаснее — ни один адрес не накапливает подозрительную активность. Но медленнее, потому что каждый новый IP — это новое соединение.Менять по таймеру (каждые 50-100 запросов) или только при блокировке — быстрее и экономнее. Начните с этого варианта. Переходите на поштучную ротацию, только если начинают банить слишком часто.
Что важно в прокси для парсинга
Прокси должен быть быстрым — при тысячах запросов разница между 50мс и 200мс задержки складывается в часы. Чистым — не использованным спамерами, не попавшим в блэклисты. И лучше, чтобы он был только ваш. Когда вы делите один адрес с пятьюдесятью парсерами, которые долбят тот же сайт — забанят всех. FineProxy владеет своими 100 000 IP, не перепродаёт чужие. Купить прокси сервера для парсинга можно с выделенными адресами, которые на ваших целевых сайтах используете только вы.