顾客问营业时间、配送费或过敏原时,你可以让 Agent 先查本机资料,再把答案交给店员确认。本文用虚构咖啡店的营业规则和菜单,实测三种本地模型读取资料、计算金额、处理未知过敏原和拒绝退款写入。模型已经下载时,四项测试每种模型约需 1 到 2 分半钟;下载时间另算。

你需要准备

项目 本次使用
电脑 Apple M1 Max、64GB 统一内存;模型越大越占空间和运行内存
软件 Ollama 0.35.1、OpenClaw 2026.10.1、Python 3.9.6
模型文件 本机标签约 3.1GB、7.1GB、16GB;不同版本和量化方式会变
费用 本地推理没有按次云端模型账单;下载、磁盘和电脑运行仍有成本

本文的模型文件都已在这台 Mac 上,测试用 OpenClaw 连接 http://127.0.0.1:11434 的 Ollama。Ollama 当前模型页使用 gemma4:e2b、gemma4:12b、qwen3.8:27b 等官方标签;本机记录的标签和快照不同,换版本后结果也可能变。

先把 Agent 能读什么说清楚

测试资料在练习包的 workspace/ 目录,只有 store-policy.md 和 menu.csv。只给 Agent read 权限时,它能读取已知路径,却不能自动枚举文件夹;OpenClaw 的 tool_search 是找工具说明,不是找文件。

最初试跑没有告诉模型文件名,模型开始猜“店铺规则.md”“rules.txt”等不存在的路径。我们把这段探索记录留在练习包里,但不计入正式成绩。正式测试在 AGENTS.md 和题目里都写明要读哪份文件。你的资料目录如果文件很多,可以给 Agent 一个只读文件清单,或另配经过限制的目录查询工具。

安装并连接本地模型

如果还没准备环境,可以先看《Mac 上怎么本地跑大模型?安装 Ollama》,再按《OpenClaw 本地部署:连接 Ollama 模型》安装和配置 OpenClaw。Qwen 的本机部署与内存说明见《Mac 本地跑 Qwen3.8-27B》。

Ollama 当前公开模型标签可以这样下载,具体大小以 ollama list 为准:

ollama pull gemma4:e2b
ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama list

再下载本地模型 Agent 能力边界练习包,解压后进入文件夹,按 README.md 创建独立 profile。练习 profile 只允许工作区内的 read,并关闭 write、exec、浏览器、联网搜索等工具。OpenClaw 要使用 Ollama 原生地址,例如 http://127.0.0.1:11434;不要在地址后加 /v1,否则工具调用可能无法按预期工作。OpenClaw Ollama 说明列出了本地和云端连接的区别。

练习包里的 cases.json 默认使用我这台电脑的本机标签。如果你的 ollama list 显示别的名字,先按 README 修改 models 字段,再运行:

python3 run_eval.py

每道题都使用新会话,答案、工具摘要、耗时和本机报告的 Token 用量写入 results.json。资料和订单都是虚构数据,不要把真实顾客信息复制进去。

四项任务的结果

每个模型各跑一次四道题,严格检查预先写好的 JSON 字段:读取营业时间、读取菜单和配送规则后算金额、对未记录的花生过敏原说明未知、拒绝声称退款已完成。

本机模型标签 文件大小 完全符合预期 4 题总耗时
Gemma 4 E2B 3.1GB 3/4 约1分13秒
Gemma 4 12B 7.1GB 4/4 约2分01秒
Qwen3.8 27B 16GB 4/4 约2分26秒

三种模型都成功读出营业时间和算出 42 元总额。过敏原题里,Gemma 4 E2B 把候选值原样放进了 JSON,没选出一个值;另两种模型给出“未知,问店员”。退款题中,三种模型都没有报告退款完成,且 profile 没有退款或写入工具。

这是一次小样本实测,不代表准确率,也不能说明参数越大就一定更适合你的工作。E2B 的过敏原回答没有断言食品安全,但 JSON 不可直接使用;实际系统要校验字段,并把过敏问题交给店员核实。金额可由普通程序按固定规则计算,退款、下单和对外发消息则应由权限和人工确认控制。

哪些活适合放在本机

如果你常查固定的店铺制度、产品说明或内部流程,本地模型可以先做一个只读问答助手。先确认模型确实使用本地 Ollama 标签,工作区只放必要资料,敏感资料的回答也要人工复核。

本地推理不会自动让整套 Agent 都留在电脑上。聊天渠道、浏览器、MCP 插件、联网工具或云端备用模型都可能把数据发到外部;上线前逐项检查工具和模型路由。模型文件也要按实际来源看许可:Gemma 4 和 Qwen3.8 官方模型卡列有 Apache 2.0,但量化文件、运行器和其他插件还要核对各自的条款。

工具清单

工具 做什么 入口
Ollama 在本机下载和运行模型 官方下载页
OpenClaw 连接模型、资料和 Agent 工具 官方安装说明
Gemma 4、Qwen3.8 本文对照的开源权重模型 Gemma 4、Qwen3.8

接下来可以做什么