Cordy Gateway
一个可自部署、兼容 OpenAI 的大模型网关，在 100+ 家供应商之上提供统一的、带鉴权、可计量、可控成本的单一入口。
Cordy Gateway 是一个可自部署的大模型网关。它对外暴露单一的、兼容 OpenAI 的接口，将每个请求路由到 100+ 家上游供应商之一，同时在此之上叠加鉴权、按密钥配额、成本计量与自动故障转移。它运行在你自己的基础设施上：你的 API 密钥、你的 Postgres、你的日志。没有任何第三方能看到你的提示词。
只需修改一行——base_url——即可把任意 OpenAI SDK 指向网关，继续使用你已经熟悉的对话补全、向量嵌入和模型列表接口。
它是什么
- 一个入口，多家供应商。 客户端调用单一的、兼容 OpenAI 的 URL。网关在其后将请求路由到 OpenAI、Anthropic、Azure OpenAI、Bedrock、Gemini、Groq、Together、OpenRouter、自托管 vLLM 等。
- 带鉴权、可计量。 每个请求都携带一个
wnx_API 密钥。密钥具备作用域、令牌配额、速率限制与并发上限。 - 成本可控。 按模型定价、预付信用额度与用量分析，帮助你封顶并归因支出。
- 自部署、单租户。 Cordy Gateway 是一款私有化部署产品。你为自己的组织运行一个实例；它不是多租户托管 SaaS。
适用人群
Cordy Gateway 面向希望拥有一个自己可控的内部大模型入口的团队：
- 希望把众多供应商密钥收敛到单一可审计网关之后的平台与基础设施团队。
- 需要按密钥配额、成本归因与故障转移，但不想自行构建的产品团队。
- 有数据管控要求、需要让提示词与密钥留在自有基础设施上的组织。
核心能力
- 兼容 OpenAI 的
chat/completions、completions（遗留）、embeddings与models接口。 - 通过 LiteLLM 支持 100+ 家供应商，另有针对任意兼容 OpenAI 上游（vLLM、火山引擎 Ark 等）的直连透传路径。
- 按密钥鉴权，支持作用域、月度令牌配额、每分钟请求速率限制与每密钥在途并发上限。
- 路由策略（加权、最便宜、最快、区域感知）以及跨通道的同模型自动故障转移。
- 按供应商与模型的成本计量、预付信用额度，以及自助用量分析接口。
- 上游凭据静态加密（Fernet）、仅追加审计日志，以及 Admin 控制平面中的基于角色的访问控制。
- 流式输出（SSE）、工具/函数调用与幂等重试。
诚实的边界
- 仅支持文本。 图像与音频（多模态）内容目前会被拒绝，请求必须为文本。
- 并非托管 SaaS。 它在设计上就是自部署、单租户的。
- 不声称任何合规认证。 Cordy Gateway 不声称拥有 SOC 2、ISO 27001、HIPAA、FedRAMP 或任何其他认证。诚实的信任模型见安全。
架构速览
Cordy Gateway 以两个协作的服务运行，共享一套 PostgreSQL 数据库与 Redis：
┌─────────────────────────────┐
管理员 ───────────► │ 控制平面（Admin） │ :8001
│ Django，拥有 schema 与 │
│ 迁移、供应商、通道、 │
│ 密钥、定价 │
└──────────────┬──────────────┘
│ 共享 Postgres + Redis
┌──────────────┴──────────────┐
客户端（OpenAI ──► │ 数据平面（Gateway） │ :8002
SDK）Bearer wnx_ │ Starlette + Granian， │ ──► 100+ 供应商
│ 原生 psycopg，路由、 │ （LiteLLM / 直连）
│ 鉴权、计量、故障转移 │
└─────────────────────────────┘- 控制平面是一个 Django Admin，运维人员在其中注册供应商、通道、模型、定价、用户和 API 密钥。它拥有数据库 schema。
- 数据平面是客户端调用的高性能请求路径。它从共享数据库读取配置，且从不在热路径上启动 Django。
完整的请求生命周期与模型路由模型见核心概念。
关于 Cordy 客户端应用的说明
Cordy 另有单独的终端用户客户端应用。它们是拥有各自文档的独立产品，可以选择性地将某个 Cordy Gateway 部署指定为其后端，但 Cordy Gateway 本身是一个独立的、无界面的 API——本文档集仅覆盖网关。