Proxy cho AI

Mọi nền tảng AI lớn đều giới hạn số lượng yêu cầu bạn có thể gửi. OpenAI, Anthropic, Google, DeepSeek — tất cả đều giới hạn mức sử dụng theo tài khoản, theo phút, theo ngày. Khi bạn xây dựng sản phẩm, chạy tự động hóa, hoặc xử lý dữ liệu với khối lượng lớn, một tài khoản với một IP sẽ chạm trần rất nhanh. Bạn nhận lỗi 429, các yêu cầu xếp hàng chồng chất, và pipeline của bạn bị đình trệ.

Máy chủ proxy AI nằm giữa ứng dụng của bạn và nhà cung cấp AI. Bạn gửi yêu cầu đến proxy, và nó phân phối chúng qua nhiều API key, mỗi key đi qua một địa chỉ IP riêng. Nhà cung cấp nhìn thấy các người dùng riêng biệt thay vì một tài khoản bị quá tải. Tổng dung lượng của bạn được nhân lên trong khi mỗi key riêng lẻ vẫn nằm an toàn trong giới hạn. Trên thực tế, một proxy được cấu hình tốt chỉ thêm 15–30ms độ trễ mỗi yêu cầu — không đáng kể đối với xử lý hàng loạt và gần như không nhận thấy ngay cả trong ứng dụng chat thời gian thực, nơi thời gian tạo phản hồi của mô hình chiếm ưu thế ở mức 500–3000ms.

Phương pháp này hiệu quả vì các nền tảng AI liên kết rate limit với tài khoản, không phải IP — nhưng họ có giám sát các pattern IP. Nếu một địa chỉ quay vòng qua 10 API key khác nhau liên tiếp trong khoảng thời gian ngắn, đó là dấu hiệu bất thường. Proxy chuyên dụng riêng cho mỗi key giúp mọi thứ trông tự nhiên. Bạn cũng cần chiến lược failover: giám sát tỷ lệ lỗi của mỗi key, và nếu một IP cụ thể liên tục trả về lỗi 429 hoặc 403, tự động xoay IP đó ra khỏi pool và chuyển lưu lượng của key đó qua IP dự phòng. Health check mỗi 60 giây cho từng cặp key-IP giúp phát hiện sự cố trước khi lan rộng.

Thiết lập trông như thế nào trong thực tế

Hầu hết các thiết lập AI API proxy đều tuân theo cùng một mô hình bất kể nhà cung cấp nào. Bạn chạy một máy chủ proxy nhẹ (FastAPI, Node, Go — tùy theo stack của bạn) chứa một pool các API key. Khi có yêu cầu đến, proxy chọn key khả dụng tiếp theo, định tuyến yêu cầu qua IP được gán cho key đó, và trả về response. Nếu một key nhận lỗi 429 (rate limit error), proxy sẽ chuyển sang key tiếp theo. Đây là một ví dụ tối thiểu bằng Python sử dụng FastAPI và httpx:

import httpx, itertoolsfrom fastapi import FastAPI, Request, Response

@app.post("/v1/chat/completions")async def proxy(request: Request): body = await request.json() slot = next(keys) async with httpx.AsyncClient(proxy=slot["proxy"]) as client: r = await client.post( "https://api.openai.com/v1/chat/completions", json=body, headers={"Authorization": f"Bearer {slot['api_key']}"}, ) # TODO: Add retry logic on 429 — try next key/IP before returning error to caller return Response(content=r.content, status_code=r.status_code)

Lưu ý: ví dụ minimal này sử dụng itertools.cycle cho đơn giản, nhưng không tự động retry khi gặp lỗi 429. Trong production, hãy thêm logic retry để bỏ qua key bị throttle và thử key-IP pair tiếp theo trước khi trả lỗi về caller. Vì hầu hết mọi nhà cung cấp AI hiện nay đều hỗ trợ định dạng OpenAI API, một proxy có thể xử lý việc chuyển đổi format mà mỗi nhà cung cấp AI yêu cầu — route đến đúng provider, và ứng dụng của bạn không cần biết sự khác biệt. Thay đổi base URL và key pool theo từng provider, và cùng một server 20 dòng code phục vụ cả OpenAI, Anthropic, Google và DeepSeek.