为自建 AI 基础设施的团队而生
已配置服务商,一套 API
通过内置服务商集成路由纯文本请求,并向客户端暴露稳定的公开模型名。
智能路由与故障转移
使用加权、最快或区域感知选择,配合故障转移、熔断与通道冷却;文档说明的最便宜策略仍使用旧价格输入。
内建成本管控
成员预付余额、按密钥配额、按生效日期计量、请求成本快照与上游账单核对。
自部署控制平面
在你的基础设施上运行 Admin、Gateway、Postgres 与 Redis,并以加密方式保存上游凭据,支持离线许可。
兼容 OpenAI,即插即用
继续使用 OpenAI SDK,为纯文本对话、流式、模型列表与向量嵌入更换基础 URL 和密钥。
运维级可观测性
请求日志、用量与成本视图、审计证据、Prometheus 指标,以及可选的 Tempo 或 Langfuse 追踪。