AI için proxy

Tüm büyük AI platformları gönderebileceğiniz istek sayısını sınırlar. OpenAI, Anthropic, Google, DeepSeek — hepsi hesap başına, dakika başına, gün başına kullanımınızı sınırlandırır. Ürün geliştirirken, otomasyon çalıştırırken veya yüksek hacimle veri işlerken, tek bir IP'ye sahip tek bir hesap hızla tavana çarpar. 429 hataları alırsınız, sıraya giren istekler birikir ve pipeline'ınız durur.

AI proxy sunucusu, uygulamalarınız ile AI sağlayıcısı arasında konumlanır. İstekleri proxy'ye gönderirsiniz ve proxy bunları her biri kendi IP adresi üzerinden geçen birden fazla API anahtarına dağıtır. Sağlayıcı, aşırı yüklenmiş tek bir hesap yerine ayrı kullanıcılar görür. Toplam kapasiteniz katlanırken her bir anahtar güvenli bir şekilde limitlerin altında kalır. Pratikte, iyi yapılandırılmış bir proxy istek başına yalnızca 15–30 ms gecikme ekler — toplu işlem için ihmal edilebilir düzeydedir ve modelin kendi üretim süresinin 500–3000 ms'de baskın olduğu gerçek zamanlı sohbet uygulamalarında bile neredeyse fark edilmez.

Bu yöntem işe yarar çünkü AI platformları hız sınırlarını IP'lere değil hesaplara bağlar — ancak IP kalıplarını da izlerler. Tek bir adres art arda 10 farklı API anahtarı arasında hızlıca geçiş yaparsa, bu bir kırmızı bayraktır. Anahtar başına ayrı özel proxy'ler kullanmak her şeyin doğal görünmesini sağlar. Bir yedekleme stratejiniz de olmalıdır: her anahtarın hata oranını izleyin ve belirli bir IP sürekli 429 veya 403 hatası döndürmeye başlarsa, otomatik olarak havuzdan çıkarın ve o anahtarın trafiğini yedek IP üzerinden yönlendirin. Her anahtar-IP çifti için 60 saniyede bir yapılan sağlık kontrolleri, sorunları kaskad haline gelmeden önce yakalar.

Bu kurulum pratikte nasıl görünür?

Çoğu yapay zeka API proxy kurulumu, sağlayıcıdan bağımsız olarak aynı kalıbı izler. Bir API anahtar havuzu barındıran hafif bir proxy sunucusu çalıştırırsınız (FastAPI, Node, Go — teknoloji yığınınız ne olursa olsun). Bir istek geldiğinde proxy, sıradaki uygun anahtarı seçer, isteği o anahtara atanmış IP üzerinden yönlendirir ve yanıtı döndürür. Bir anahtar 429 (hız sınırı hatası) alırsa proxy bir sonrakine geçer. İşte FastAPI ve httpx:

import httpx, itertoolsfrom fastapi import FastAPI, Request, Response

@app.post("/v1/chat/completions")async def proxy(request: Request): body = await request.json() slot = next(keys) async with httpx.AsyncClient(proxy=slot["proxy"]) as client: r = await client.post( "https://api.openai.com/v1/chat/completions", json=body, headers={"Authorization": f"Bearer {slot['api_key']}"}, ) # TODO: Add retry logic on 429 — try next key/IP before returning error to caller return Response(content=r.content, status_code=r.status_code)

Not: Bu minimal örnek basitlik açısından itertools.cycle kullanır, ancak 429 hatalarında otomatik yeniden deneme yapmaz. Üretim ortamında, kısıtlanan anahtarı atlayan ve çağırana hata döndürmeden önce bir sonraki kullanılabilir anahtar-IP çiftini deneyen yeniden deneme mantığı ekleyin. Neredeyse her AI sağlayıcısı artık OpenAI API formatını desteklediğinden, tek bir proxy her AI sağlayıcısının gerektirdiği format dönüşümünü yönetebilir — doğru sağlayıcıya yönlendirin ve uygulamanızın farkı bilmesine gerek kalmaz. Base URL'yi ve anahtar havuzunu sağlayıcı başına değiştirin; aynı 20 satırlık sunucu OpenAI, Anthropic, Google ve DeepSeek'i yönetir.