Cordy Gateway

一个可自部署、兼容 OpenAI 的大模型网关，在 100+ 家供应商之上提供统一的、带鉴权、可计量、可控成本的单一入口。

Cordy Gateway 是一个可自部署的大模型网关。它对外暴露单一的、兼容 OpenAI 的接口，将每个请求路由到 100+ 家上游供应商之一，同时在此之上叠加鉴权、按密钥配额、成本计量与自动故障转移。它运行在你自己的基础设施上：你的 API 密钥、你的 Postgres、你的日志。提示词从你的 Gateway 部署传给你配置的上游服务商；路径中没有 Cordy 运营的服务。

只需修改一行——base_url——即可把任意 OpenAI SDK 指向网关，继续使用你已经熟悉的对话补全、向量嵌入和模型列表接口。

它是什么

  • 一个入口，多家供应商。 客户端调用单一的、兼容 OpenAI 的 URL。网关在其后通过 OpenAI、Anthropic、Azure OpenAI、Bedrock、Gemini、Groq、Together、OpenRouter 等内置集成进行路由。
  • 带鉴权、可计量。 每个请求都携带一个 wnx_ API 密钥。密钥具备作用域、令牌配额、速率限制与并发上限。
  • 成本可控。 按模型定价、预付信用额度与用量分析，帮助你封顶并归因支出。
  • 自部署、单租户。 Cordy Gateway 是一款私有化部署产品。你为自己的组织运行一个实例；它不是多租户托管 SaaS。

适用人群

Cordy Gateway 面向希望拥有一个自己可控的内部大模型入口的团队：

  • 希望把众多供应商密钥收敛到单一可审计网关之后的平台与基础设施团队。
  • 需要按密钥配额、成本归因与故障转移，但不想自行构建的产品团队。
  • 有数据管控要求、需要让提示词与密钥留在自有基础设施上的组织。

核心能力

  • 兼容 OpenAI 的 chat/completions、completions（遗留）、embeddings 与 models 接口。
  • 通过 LiteLLM 支持 100+ 家供应商集成。数据平面包含兼容 OpenAI 的直连透传，但此源码快照尚未把 Admin 的自定义端点字段连到其运行时输入；见供应商。
  • 按密钥鉴权，支持作用域、月度令牌配额、每分钟请求速率限制与每密钥在途并发上限。
  • 路由策略（加权、最便宜、最快、区域感知）以及跨通道的同模型自动故障转移。
  • 按供应商与模型的成本计量、预付信用额度，以及自助用量分析接口。
  • /my/ 成员门户，支持登录、一次性创建密钥、查看余额/流水与近期用量，以及修改密码。
  • 上游凭据静态加密（Fernet）、仅追加审计日志，以及 Admin 控制平面中的基于角色的访问控制。
  • 流式输出（SSE）、工具/函数调用与幂等重试。

诚实的边界

  • 仅支持文本。 图像与音频（多模态）内容目前会被拒绝，请求必须为文本。
  • 并非托管 SaaS。 它在设计上就是自部署、单租户的。
  • 不声称任何合规认证。 Cordy Gateway 不声称拥有 SOC 2、ISO 27001、HIPAA、FedRAMP 或任何其他认证。诚实的信任模型见安全。

版本状态

Gateway 仓库的最高源码标签为 v1.2.4，且没有已发布的 GitHub Release 条目。本手册已对齐当前源码提交 d623472，其中包含 v1.2.4 的成员/预付计费/Langfuse 工作及后续源码修复。请通过组织批准的交付渠道取得发行包，不要假设存在公开二进制下载。

架构速览

Cordy Gateway 以两个协作的服务运行，共享一套 PostgreSQL 数据库与 Redis：

                       ┌─────────────────────────────┐
   管理员 ───────────► │  控制平面（Admin）           │  :8001
                       │  Django，拥有 schema 与      │
                       │  迁移、供应商、通道、        │
                       │  密钥、定价                  │
                       └──────────────┬──────────────┘
                                      │ 共享 Postgres + Redis
                       ┌──────────────┴──────────────┐
   客户端（OpenAI ──► │  数据平面（Gateway）         │  :8002
   SDK）Bearer wnx_   │  Starlette + Granian，       │ ──► 100+ 供应商
                       │  原生 psycopg，路由、        │     （LiteLLM / 直连）
                       │  鉴权、计量、故障转移        │
                       └─────────────────────────────┘
  • 控制平面是一个 Django Admin，运维人员在其中注册供应商、通道、模型、定价、用户和 API 密钥。它拥有数据库 schema。
  • 数据平面是客户端调用的高性能请求路径。它从共享数据库读取配置，且从不在热路径上启动 Django。

完整的请求生命周期与模型路由模型见核心概念。

关于 Cordy 客户端应用的说明

Cordy 另有单独的终端用户客户端应用。它们是拥有各自文档的独立产品，可以选择性地将某个 Cordy Gateway 部署指定为其后端，但 Cordy Gateway 本身是一个独立的、无界面的 API——本文档集仅覆盖网关。

后续步骤

  • 快速开始——部署受支持的技术栈并发出第一个请求。
  • Admin 控制台——配置服务商、成员、密钥、价格与证据。
  • 成员门户——自助管理密钥、余额与用量。
  • 客户端集成——把你现有的 OpenAI SDK 指向网关。
  • 核心概念——控制平面、数据平面与模型路由如何协同工作。