本地与设备端 AI

Cordy 可以在不使用任何云端服务商的情况下运行 AI。你可以使用 Chrome 的内置模型、下载一个通过 WebGPU 在浏览器内运行的模型，或接入你已在运行的本地服务器——无论哪种情况，都没有任何内容离开你的设备。没有 API 密钥、没有同意弹窗、也没有发往第三方的网络请求。

本地 AI 对于隐私敏感的文本、近似离线的工作流以及避免按 token 计费都很实用。它也是实验性的——质量与稳定性随你的硬件和浏览器而异。

启用本地 AI

本地 AI 默认关闭。打开主开关（设置 → 本地 AI → 启用本地 AI）并同意标题为**「本地 AI（实验性）」**的确认弹窗。它请你确认以下如实的权衡：

• 它可能不稳定，并可能导致高内存占用、卡顿或崩溃；
• WebGPU 支持因设备和浏览器而异，部分模型可能无法加载；
• 模型可能需要较大的存储空间，并缓存在本地；
• 结果不做保证，质量可能低于云端模型。

在此开关打开之前，即使你已配置运行时，本地模型也不会真正运行。

检查你的硬件

本地 AI 标签页包含一个硬件性能评估卡片，用于检测 WebGPU——浏览器内 Gemma 模型和 Kokoro 语音合成所必需——并显示模型兼容性。若 WebGPU 不可用，浏览器内模型无法运行；Chrome 内置 AI 和本地原生运行时可能仍是可选项。

三类本地 AI

1. Chrome 内置 AI（Gemini Nano）

Chrome 随附一个设备端小模型（品牌名为 Gemini Nano；其权重为 Gemma 系），通过 Chrome 的 Prompt API 访问。它本身无需下载，但你必须先启用 Chrome 的 AI 标志：

1. 打开 chrome://flags/#prompt-api-for-gemini-nano 并设为 Enabled。
2. 打开 chrome://flags/#optimization-guide-on-device-model 并设为 Enabled BypassPerfRequirement。
3. 重新启动 Chrome。
4. 在设置 → 本地 AI 中，用初始化模型下载并预热 Gemini Nano。

Gemini Nano 上下文窗口较小（约 4,096 tokens），最适合简单问答、短摘要和翻译——不适合复杂推理或代码。它不支持工具调用，因此不会使用 Cordy 的浏览器工具。

2. 浏览器内模型（WebGPU）：Gemma

Cordy 可以下载在你浏览器内、通过 WebGPU 运行的神经模型，并为你托管：

模型	大小	要求	最适合
Gemma 4 E2B（2B）	约 3.1 GB	WebGPU	日常对话、摘要、快速问答
Gemma 4 E4B（4B）	约 4.1 GB	WebGPU + ≥4 GB 显存	复杂推理、较长分析、代码

从设置 → 本地 AI → 本地 LLM 模型下载模型；它会缓存在本地以便复用。两者都需要 WebGPU——若不可用，Cordy 会明确失败而非悄然降级。它们的上下文为 8,192 tokens，比 Gemini Nano 更强，代价是较大的下载量和真实的 GPU 运算。

3. 本地原生运行时（Ollama、LM Studio 等）

如果你已在运行本地模型服务器，可通过本地回环（localhost）将 Cordy 接入它。Cordy 使用 OpenAI 兼容 API 与之通信，因此模型运行在你的服务器中，而非浏览器内。

从设置 → 本地 AI → 本地原生运行时 → 添加运行时添加。已提供以下模板：

运行时	默认地址
Ollama	http://localhost:11434
LM Studio	http://localhost:1234/v1
llama.cpp（服务器）	http://localhost:8080/v1
vLLM	http://localhost:8000/v1
LocalAI	http://localhost:8080/v1
OpenAI 兼容	（由你填写 URL）

设置 Base URL 并点击检测以发现该运行时的模型。由于这些是回环地址（localhost、127.0.0.1、::1），无需 API 密钥——Cordy 会显示「Loopback address — no API key required」而非密钥字段。

仍在成熟中。 本地原生运行时支持较新，且范围限于 OpenAI 兼容的模型发现（/v1/models）。Cordy 不会为你自动检测或安装运行时软件，端到端可靠性仍在改进中。选择前，请确保你的运行时已在运行且可达。

使用本地模型

一旦本地 AI 开启且已设置好模型或运行时，就在设置 → AI 配置 → 场景模型路由中把任意功能路由到它——例如聊天用 Gemma、翻译用本地运行时。本地模型可驱动侧边栏聊天、页面内翻译/解释/总结、翻译工作台的本地运行时，以及本地语音合成。

如实的限制

• 实验性。 相比云端模型，预期会有更多毛边。
• 不支持附件。 本地模型不接受图片/PDF/文件附件——Cordy 会请你切换到云端模型。
• 工具更少。 本地聊天路径被限制为只读的公开工具，Gemini Nano 则完全没有工具——见 工具。
• 受硬件约束。 WebGPU 模型需要有能力的 GPU；大模型需要显存和磁盘空间。
• 质量参差。 对于困难的推理或代码，云端模型通常更强。

隐私

这是使用 Cordy 最私密的方式：发往 Gemini Nano、浏览器内 Gemma 或回环运行时的提示词绝不离开你的设备，一次性的云端知情同意弹窗对它们从不出现。只有你和你自己的机器（或你自己的本地服务器）能看到这些文本。

疑难排查

• 「WebGPU is required… but not available」。 你的浏览器/设备未暴露 WebGPU。请更新 Chrome 和显卡驱动，或改用 Chrome 内置 AI 或本地原生运行时。
• Gemini Nano 无法初始化。 重新检查两个 Chrome 标志并重启；首次使用时下载可能需要一些时间。
• 模型下载卡住。 取消并重试；确保有足够的可用磁盘空间（Gemma 需数 GB）。
• 运行时显示「Not running」/「Wrong API」。 请启动你的本地服务器，确认 Base URL 和端口，并确保它暴露了 OpenAI 兼容的 /v1 API。
• 本地模型拒绝附件。 属于正常——请将该条消息切换到云端模型。

相关

• 服务商与模型 · 朗读 (TTS) · 翻译工作台 · 隐私与权限