如果你要给小店做 AI 客服,最难的不是让模型回一句话,而是先确定哪些问题能照着资料草拟,哪些必须交给人。下面用一间虚构收纳店的 12 条售前、发货和售后消息,跑一遍 FAQ、自动分流和回复草稿。单次实测有 6 条进入“候选草稿”,另 6 条交给人工;没有一条自动发送。环境已装好后约 20 分钟,首次安装和下载模型另算。
你需要准备
| 准备 | 本次使用 | 用途 |
|---|---|---|
| Apple 芯片 Mac | M1 Max、64GB 统一内存、macOS 27.0.1 | 运行本地分流模型和回复模型 |
| Ollama 和一个聊天模型 | Ollama 0.35.1、Gemma4 12B Q4_K_M | 根据 FAQ 写一条待检查的草稿 |
| OpenJev | 本机 0.5.0、MLX 后端,约 16GB 的 4-bit 模型文件 | 判断问题是否有 FAQ 答案 |
| 练习资料 | AI 客服试点练习包 | 12 条虚构消息、FAQ、脚本和结果 |
| 费用和时间 | 本次只调用本机服务,没有云端推理 API 费用 | 首次下载占磁盘和网络流量,运行还会用电 |
本机实际已安装的 Ollama 模型标签是 gemma4-12b:latest。你自己的标签可以用 ollama list 查看。OpenJev 官方仓库在 2026-10-06 发布了 0.6.0;本次复现实测使用已有的 0.5.0,没有升级到 0.6.0,也没有验证两个版本的行为完全相同。查看 OpenJev 当前说明 · 查看 0.6.0 更新记录
先挑适合的方案
| 方案 | 适合什么情况 | 先做什么 |
|---|---|---|
| FAQ 和快捷回复 | 每天咨询不多,问题重复 | 先整理固定答案,由客服复制后检查 |
| 客服平台自带的知识库或分流 | 已经使用客服系统 | 查看该平台当前官方说明和人工接手方式;本文没有测试具体客服平台界面 |
| 本地模型做分流和草稿 | 想先验证一批问题、资料不出本机环境 | 用本地 FAQ 做小样,草稿仍由人审核 |
如果店铺每天只有几条重复咨询,维护一套清楚的 FAQ 往往比搭两个本地模型更省事。OpenJev 和 Ollama 这套方案更适合做验证原型或交付项目;不适合作为“开箱即替代客服”的承诺。
给模型画出人工接手边界
先把能回答的范围写在 FAQ 里,再列出任何时候都要人工接手的情形。这个练习只把一般商品、发货、清洁和虚构退货条件交给模型草拟;它不查订单,也不处理款项。
| 消息类型 | 练习怎么处理 | 为什么 |
|---|---|---|
| 商品材质、尺寸、清洁方法 | FAQ 明确写了,才允许草拟 | 只复述已确认内容 |
| 发货安排 | 可以说交给承运方的时间,不推测到货日期 | FAQ 没有送达时效 |
| 一般退货条件 | 只能照着虚构规则写,并提醒人工核对具体订单 | 练习政策不能套用到真实商家 |
| 订单物流、改地址、账号信息 | 转人工 | 需要核验个人订单或修改资料 |
| 重复扣款、退款、赔偿和投诉 | 转人工 | 涉及金钱、争议或责任判断 |
| 异味、甲醛、过敏等安全问题 | 转人工 | 不能用一段 FAQ 替代检测或专业判断 |
| FAQ 没写的价格、优惠或运费 | 转人工 | 不让模型补出客户未确认的价格规则 |
个人信息保护法要求处理个人信息有明确、合理的目的,并限于实现目的的最小范围。本机运行不等于自动合规或安全。练习包因此只用虚构消息;接入真实工单前,先让客户确认处理依据、使用范围、权限和保留期限。法律也对利用个人信息进行自动化决策提出透明、公平等要求;对个人权益有重大影响时,个人有权要求说明并拒绝仅通过自动化方式作出决定,所以不要让模型独自裁定退款、拒绝服务或处罚。查看个人信息保护法
准备本机服务
先安装 Ollama,并按 Gemma4 官方模型页准备本地模型。本文实际测试的是本机标签 gemma4-12b:latest;如果你按官方示例下载了 gemma4:12b,运行脚本时把模型标签也改成它。
OpenJev 是一个开源的本地分类服务,能按给定选项判断消息并返回类别概率。它支持 Apple 芯片的 MLX 后端;4-bit 权重加载需要约 16GB 内存,运行时还要更多。按官方 README安装并启动本机服务,首次下载模型会占用较多磁盘和网络。也可以先看本站的OpenJev Mac 安装教程,但那篇固定在 0.5.0;使用新版本时以官方仓库为准。
Ollama 和 OpenJev 都要能在本机启动。默认地址分别是 http://127.0.0.1:11434 和 http://127.0.0.1:8080。Ollama 的聊天接口通过 /api/chat 接收模型名和消息,OpenJev 的练习接口使用 /v1/systemone 做选项判断。查看 Ollama Chat API
跑 12 条虚构客服消息
下载并解压练习包,进入含有 run_demo.py 的目录。先检查脚本本身,再启动流程:
python3 run_demo.py --self-check
python3 run_demo.py
如果 Ollama 模型标签和脚本默认值不同,显式指定本机标签:
OLLAMA_MODEL=gemma4-12b:latest python3 run_demo.py
脚本按固定顺序处理每条消息:先检查硬性转人工规则,再用关键词在本地 FAQ 里找答案,然后让 OpenJev 判断问题是否被 FAQ 覆盖。只有三道检查都通过,Ollama 才根据命中的 FAQ 写一条草稿。最后结果保存在 evidence/run-results.json。
脚本只调用 127.0.0.1 上的 Ollama 和 OpenJev,不查订单,不改客户信息,不创建工单,也不会发送回复。练习用的退货条件完全虚构,不是商家政策或法律意见。
这次能看出什么
这 12 条虚构消息里,6 条有 FAQ 答案并通过分流,进入草稿;另外 6 条因订单、扣款、破损、地址、产品安全或缺少价格资料而转人工。OpenJev 在这一次样例中 12 条都选对了预设类别;我逐条对照 FAQ 核对了 6 条草稿,没有发现新增承诺。
6/12 是候选草稿比例,不是省下了一半人工。 本次没有测人工平均处理时间、回头修改次数、真实订单覆盖率或运营成本,也没有自动发出任何回复。要估算一项业务能省多少时间,需让客户提供获准使用、去标识化并经人工标注的代表性工单,再比较人工独立处理时间和“AI 草稿加复核、改写、转人工”的总时间。误分、改写和升级处理也要算进成本。
这是一台 Mac、一个本地模型组合、12 条虚构样例的一次流程检查。草稿只由作者侧逐条复核,没有第二名独立审核者;它不能证明模型在真实客服数据上的准确率,也不能据此承诺替代岗位。OpenJev 返回的概率或 confidence 是模型在给定选项中的分布,不是“真实正确率”;可以用它做筛查线索,不能单独作为退款、拒绝服务或处罚决定。
把练习变成可交付的小项目
接单时可以把工作拆成 FAQ 清理、人工接手规则、匿名样例、分类与草稿测试、复核流程和部署维护。先请客户确认哪些资料允许进入测试环境;订单、付款、投诉、地址和安全问题默认保留人工处理。报价根据实际资料数量、接入系统、验收范围和维护责任核算,不用“能替代多少员工”作保证。
如果模型生成的内容将通过网络服务对外提供或传播,先核对《人工智能生成合成内容标识办法》及相关规则是否适用于你的服务场景。该办法自 2025-09-01 起施行,但本文不据此判断某个具体客服系统一定属于适用范围。查看标识办法
工具清单
| 工具 | 用途 | 费用和入口 |
|---|---|---|
| Ollama | 本机运行聊天模型 | 本地推理不调用云端 API;模型下载、磁盘和电力另计 |
| Gemma4 | 根据 FAQ 草拟短回复 | 使用本机模型;查看模型页和许可说明 |
| OpenJev | 将问题分为 FAQ 可答或人工处理 | 开源项目;本次本机测试为 0.5.0,上游当前为 0.6.0 |