为自建 AI 基础设施的团队而生
100+ 提供商,一套 API
通过 LiteLLM 接入 OpenAI、Anthropic、Gemini、Bedrock、OpenRouter、vLLM 等,另有直连的兼容 OpenAI 快路径。
智能路由与故障转移
按请求选择加权、最便宜、最快或就近区域的路由策略,配合熔断与渠道冷却。
内建成本管控
预付额度账本、按生效日期计价、按请求冻结成本快照,额度耗尽前先返回 402,绝不超支。
自部署且私密
你的密钥、你的 Postgres、你的数据。默认不记录正文;支持离线许可的气隙部署。
兼容 OpenAI,即插即用
继续用 OpenAI SDK——只需改基础 URL 与密钥。流式、工具调用与向量嵌入均无需改动。
运维级可观测性
Prometheus + Grafana 面板、审计日志、RBAC,并可在 nginx 后一键横向扩容。