手机上能跑 Gemma 4 大模型已经不新鲜了（iPhone、安卓现在就能跑 Gemma 4 了），现在浏览器也可以了。@Appinn

有开发者利用 Google 新提出的 TurboQuant 算法，把 Gemma 4 放进浏览器里运行。

直接打开网页，就能在 Excalidraw 里用 AI 画图，而且整个过程都在本地完成，不需要调用在线模型，也不消耗任何 Token。

唯一代价：需要下载 3.1GB 的 Gemma 4 E2B 大模型。另外需要桌面版 Chrome 134+ 版本。

如何使用？

直接打开网页用：

• https://teamchong.github.io/turboquant-wasm/draw.html

直接输入中文用：

32.9秒，就能生成一张完整的流程图，不需要自己画框、连线。

跑起来怎么样？

• 速度：每秒生成约 24 个 token
• 端到端速度（end-to-end）：每秒约 22.7 个 token（包括准备、计算等）
• 输出长度：这次一共生成了 747 个 token
• 总耗时：32.9 秒
• KV Cache：15.5MB / 37.0MB
• 当前上下文长度：2106 pos（模型已经“记住”的 token 数量）

KV Cache 从原本约 37MB，压缩到约 15MB 左右（约 2.4 倍压缩）。

不过这样一个简单的例子需要 37MB 的 KV Cache，青小蛙也是第一次感受到。

TurboQuant 是什么？

TurboQuant 是 Google 最近推出的新算法，它可以将 KV Cache 里的向量压缩 6 倍，并可以直接搜索压缩数据，无需解压缩。

这样大模型就可以记住更长的上下文，回答更长的对话，也更不容易“忘记前面说过的话”。

• KV Cache：大模型在对话时用来“记住前面内容”的一块临时记忆。
• 向量：大模型理解文字的方式：我们对AI说话，会先被转换成一串数字，然后才能让大模型理解，这些数字，就是向量。

意味着什么？

像 Excalidraw 这样的应用，以前如果接入 AI，一般都需要调用在线大模型，按 token 付费。

现在换一种方式：

• 下载一个模型，在本地浏览器里运行
• 不需要联网调用模型
• 不消耗 Token，可以无限量使用

就，还挺省钱的。

---

原文：https://www.appinn.com/urboquant-wasm-draw/

问题来了，类似 Excalidraw 这样轻量调用 AI 的服务，还有哪些呢？