Proxy dla AI

Każda duża platforma AI ogranicza liczbę żądań, które możesz wysłać. OpenAI, Anthropic, Google, DeepSeek — wszystkie limitują Twoje użycie na konto, na minutę, na dzień. Kiedy budujesz produkty, uruchamiasz automatyzację lub przetwarzasz dane na dużą skalę, jedno konto z jednym adresem IP szybko osiąga limit. Otrzymujesz błędy 429, kolejka żądań rośnie, a Twój pipeline staje.

Serwer proxy AI znajduje się między Twoimi aplikacjami a dostawcą AI. Wysyłasz żądania do proxy, a ono rozkłada je na wiele kluczy API, z których każdy przechodzi przez własny adres IP. Dostawca widzi osobnych użytkowników zamiast jednego przeciążonego konta. Twoja całkowita przepustowość rośnie wielokrotnie, a każdy pojedynczy klucz bezpiecznie mieści się w limitach. W praktyce dobrze skonfigurowane proxy dodaje jedynie 15–30 ms opóźnienia na żądanie — pomijalne przy przetwarzaniu wsadowym i ledwo zauważalne nawet w aplikacjach czatu w czasie rzeczywistym, gdzie czas generowania modelu dominuje na poziomie 500–3000 ms.

To działa, ponieważ platformy AI przypisują limity zapytań do kont, a nie do adresów IP — ale monitorują wzorce IP. Jeśli jeden adres cyklicznie obsługuje 10 różnych kluczy API w krótkim czasie, to sygnał alarmowy. Osobne dedykowane proxy na każdy klucz sprawiają, że wszystko wygląda naturalnie. Potrzebujesz też strategii failover: monitoruj wskaźnik błędów każdego klucza, a jeśli dany IP zacznie zwracać ciągłe odpowiedzi 429 lub 403, automatycznie wycofaj go z puli i przekieruj ruch tego klucza przez zapasowy IP. Kontrola stanu co 60 sekund dla każdej pary klucz-IP wychwytuje problemy, zanim się rozprzestrzenią.

Jak wygląda konfiguracja w praktyce

Większość konfiguracji proxy dla AI API opiera się na tym samym schemacie, niezależnie od dostawcy. Uruchamiasz lekki serwer proxy (FastAPI, Node, Go — cokolwiek pasuje do Twojego stacka), który przechowuje pulę kluczy API. Gdy przychodzi zapytanie, proxy wybiera kolejny dostępny klucz, kieruje żądanie przez przypisany do tego klucza IP i zwraca odpowiedź. Jeśli dany klucz otrzyma błąd 429 (przekroczenie limitu zapytań), proxy przełącza się następny. Oto minimalny przykład w Pythonie z użyciem FastAPI i httpx:

import httpx, itertoolsfrom fastapi import FastAPI, Request, Response

@app.post("/v1/chat/completions")async def proxy(request: Request): body = await request.json() slot = next(keys) async with httpx.AsyncClient(proxy=slot["proxy"]) as client: r = await client.post( "https://api.openai.com/v1/chat/completions", json=body, headers={"Authorization": f"Bearer {slot['api_key']}"}, ) # TODO: Add retry logic on 429 — try next key/IP before returning error to caller return Response(content=r.content, status_code=r.status_code)

Uwaga: ten minimalny przykład wykorzystuje itertools.cycle dla uproszczenia, ale nie obsługuje automatycznego ponawiania przy błędach 429. W środowisku produkcyjnym dodaj logikę ponawiania, która pomija zdławiony klucz i próbuje następnej dostępnej pary klucz-IP, zanim zwróci błąd do wywołującego. Ponieważ niemal każdy dostawca AI obsługuje teraz format API OpenAI, jedno proxy może obsługiwać tłumaczenie formatu wymaganego przez każdego dostawcę AI — przekieruj do odpowiedniego dostawcy, a Twoja aplikacja nie musi znać różnicy. Podmień bazowy URL i pulę kluczy dla każdego dostawcy, a ten sam 20-liniowy serwer obsłuży OpenAI, Anthropic, Google i DeepSeek.