Proxy AI jaoks

Kõik suuremad AI platvormid piiravad saadetavate päringute arvu. OpenAI, Anthropic, Google, DeepSeek — kõik kehtestavad kasutuslimiidid konto, minuti ja päeva kohta. Kui arendate tooteid, käitate automatiseerimist või töötlete andmeid suurtes mahtudes, jõuab üks konto ühe IP-aadressiga kiiresti piirini. Te saate 429 veateateid, järjekorda pandud päringud kuhjuvad ja teie töövoog seiskub.

AI proxy server asub teie rakenduste ja AI teenusepakkuja vahel. Te saadate päringud proxy-le, mis jaotab need mitme API võtme vahel, kusjuures iga võti kasutab oma IP-aadressi. Teenusepakkuja näeb eraldi kasutajaid, mitte ühte ülekoormatud kontot. Teie kogumaht mitmekordistub, samas kui iga üksik võti püsib ohutult piiride sees. Praktikas lisab hästi seadistatud proxy vaid 15–30 ms latentsust päringu kohta — see on tühine pakktöötluse jaoks ja vaevumärgatav isegi reaalajas vestlusrakenduste puhul, kus mudeli enda genereerimisaeg domineerib vahemikus 500–3000 ms.

See toimib, kuna AI platvormid seovad päringupiirangud kontodega, mitte IP-aadressidega — kuid nad jälgivad siiski IP-mustreid. Kui üks aadress vahetab kiiresti läbi 10 erineva API võtme, on see häiresignaal. Eraldi dedikeeritud proksid iga võtme kohta hoiavad kõik loomulikuna. Teil on vaja ka tõrkesiirde strateegiat: jälgige iga võtme veamäära ja kui konkreetne IP hakkab järjepidevalt tagastama 429 või 403 vigu, eemaldage see automaatselt kogumist ja suunake selle võtme liiklus varu-IP kaudu. Tervisekontrollid iga 60 sekundi järel iga võtme-IP paari kohta tuvastavad probleemid enne nende eskaleerumist.

Kuidas seadistus praktikas välja näeb

Enamik AI API proxy seadistusi järgib olenemata teenusepakkujast sama mustrit. Te käivitate kerge proxy serveri (FastAPI, Node, Go — olenevalt teie tehnoloogiavirnast), mis hoiab API võtmete kogumit. Kui päring saabub, valib proxy järgmise saadaoleva võtme, suunab päringu läbi selle võtmega seotud IP-aadressi ja tagastab vastuse. Kui üks võti saab veakoodi 429 (päringupiirangu viga), liigub proxy järgmise juurde. Siin on minimaalne Pythoni näide, mis kasutab FastAPI-t ja httpx:

import httpx, itertoolsfrom fastapi import FastAPI, Request, Response

@app.post("/v1/chat/completions")async def proxy(request: Request): body = await request.json() slot = next(keys) async with httpx.AsyncClient(proxy=slot["proxy"]) as client: r = await client.post( "https://api.openai.com/v1/chat/completions", json=body, headers={"Authorization": f"Bearer {slot['api_key']}"}, ) # TODO: Add retry logic on 429 — try next key/IP before returning error to caller return Response(content=r.content, status_code=r.status_code)

Märkus: see minimaalne näide kasutab lihtsuse huvides itertools.cycle, kuid ei proovi automaatselt uuesti 429 vigade korral. Tootmiskeskkonnas lisage uuestiproovimise loogika, mis jätab piiratud võtme vahele ja proovib järgmist saadaolevat võtme-IP paari enne kutsujale vea tagastamist. Kuna peaaegu iga AI pakkuja toetab nüüd OpenAI API formaati, saab üks proksi hallata iga AI pakkuja nõutavat formaaditeisendust — suunake õige pakkuja poole ja teie rakendus ei pea erinevust teadma. Vahetage baas-URL ja võtmekogum pakkuja kohta ning sama 20-realine server katab OpenAI, Anthropic, Google ja DeepSeek teenused.