Proxy pro AI

Každá velká AI platforma omezuje počet požadavků, které můžete odeslat. OpenAI, Anthropic, Google, DeepSeek — všechny limitují využití na účet, minutu i den. Když vyvíjíte produkty, provozujete automatizaci nebo zpracováváte data velkém objemu, jeden účet s jednou IP narazí na strop velmi rychle. Dostáváte chyby 429, požadavky se hromadí ve frontě a celý pipeline se zastaví.

AI proxy server stojí mezi vašimi aplikacemi a poskytovatelem AI. Požadavky odesíláte na proxy a ta je distribuuje přes více API klíčů, z nichž každý prochází vlastní IP adresou. Poskytovatel vidí samostatné uživatele místo jednoho přetíženého účtu. Vaše celková kapacita se násobí, zatímco každý jednotlivý klíč bezpečně zůstává v rámci limitů. V praxi dobře nakonfigurovaná proxy přidá pouze 15–30 ms latence na požadavek — při dávkovém zpracování zanedbatelné a téměř nepostřehnutelné i v real-time chatových aplikacích, kde dominuje vlastní doba generování modelu na úrovni 500–3000 ms.

Funguje to proto, že AI platformy vážou limity požadavků na účty, nikoli na IP adresy — ale vzorce IP adres sledují. Pokud jedna adresa rychle za sebou vystřídá 10 různých API klíčů, je to varovný signál. Samostatné dedikované proxy pro každý klíč zajistí, že vše vypadá přirozeně. Potřebujete také strategii pro výpadky: sledujte chybovost každého klíče, a pokud konkrétní IP začne vracet opakované chyby 429 nebo 403, automaticky ji vyřaďte z poolu a přesměrujte provoz daného klíče přes záložní IP. Kontroly stavu každých 60 sekund pro každý pár klíč–IP zachytí problémy dřív, než se začnou řetězit.

Jak to vypadá v praxi

Většina AI API proxy konfigurací se řídí stejným vzorem bez ohledu na poskytovatele. Provozujete lehký proxy server (FastAPI, Node, Go — cokoli váš stack používá), který drží pool API klíčů. Když přijde požadavek, proxy vybere další dostupný klíč, přesměruje požadavek přes IP přiřazenou danému klíči a vrátí odpověď. Pokud některý klíč dostane 429 (chyba rate limitu), proxy přejde na další. Zde je minimální příklad v Pythonu s využitím FastAPI a httpx:

import httpx, itertoolsfrom fastapi import FastAPI, Request, Response

@app.post("/v1/chat/completions")async def proxy(request: Request): body = await request.json() slot = next(keys) async with httpx.AsyncClient(proxy=slot["proxy"]) as client: r = await client.post( "https://api.openai.com/v1/chat/completions", json=body, headers={"Authorization": f"Bearer {slot['api_key']}"}, ) # TODO: Add retry logic on 429 — try next key/IP before returning error to caller return Response(content=r.content, status_code=r.status_code)

Poznámka: tento minimální příklad používá itertools.cycle pro jednoduchost, ale automaticky neopakuje požadavky při chybě 429. V produkčním prostředí přidejte logiku opakování, která přeskočí omezený klíč a zkusí další dostupný pár klíč–IP, než vrátí chybu volajícímu. Protože téměř každý poskytovatel AI nyní podporuje formát OpenAI API, jeden proxy zvládne překlad formátu, který každý poskytovatel AI vyžaduje — nasměrujte požadavek na správného poskytovatele a vaše aplikace nemusí rozlišovat rozdíly. Stačí vyměnit základní URL a pool klíčů pro každého poskytovatele a stejný 20řádkový server obslouží OpenAI, Anthropic, Google i DeepSeek.