如果你要给小店做 AI 客服,最难的不是让模型回一句话,而是先确定哪些问题能照着资料草拟,哪些必须交给人。下面用一间虚构收纳店的 12 条售前、发货和售后消息,跑一遍 FAQ、自动分流和回复草稿。单次实测有 6 条进入“候选草稿”,另 6 条交给人工;没有一条自动发送。环境已装好后约 20 分钟,首次安装和下载模型另算。

你需要准备

准备 本次使用 用途
Apple 芯片 Mac M1 Max、64GB 统一内存、macOS 27.0.1 运行本地分流模型和回复模型
Ollama 和一个聊天模型 Ollama 0.35.1、Gemma4 12B Q4_K_M 根据 FAQ 写一条待检查的草稿
OpenJev 本机 0.5.0、MLX 后端,约 16GB 的 4-bit 模型文件 判断问题是否有 FAQ 答案
练习资料 AI 客服试点练习包 12 条虚构消息、FAQ、脚本和结果
费用和时间 本次只调用本机服务,没有云端推理 API 费用 首次下载占磁盘和网络流量,运行还会用电

本机实际已安装的 Ollama 模型标签是 gemma4-12b:latest。你自己的标签可以用 ollama list 查看。OpenJev 官方仓库在 2026-10-06 发布了 0.6.0;本次复现实测使用已有的 0.5.0,没有升级到 0.6.0,也没有验证两个版本的行为完全相同。查看 OpenJev 当前说明 · 查看 0.6.0 更新记录

先挑适合的方案

方案 适合什么情况 先做什么
FAQ 和快捷回复 每天咨询不多,问题重复 先整理固定答案,由客服复制后检查
客服平台自带的知识库或分流 已经使用客服系统 查看该平台当前官方说明和人工接手方式;本文没有测试具体客服平台界面
本地模型做分流和草稿 想先验证一批问题、资料不出本机环境 用本地 FAQ 做小样,草稿仍由人审核

如果店铺每天只有几条重复咨询,维护一套清楚的 FAQ 往往比搭两个本地模型更省事。OpenJev 和 Ollama 这套方案更适合做验证原型或交付项目;不适合作为“开箱即替代客服”的承诺。

给模型画出人工接手边界

先把能回答的范围写在 FAQ 里,再列出任何时候都要人工接手的情形。这个练习只把一般商品、发货、清洁和虚构退货条件交给模型草拟;它不查订单,也不处理款项。

消息类型 练习怎么处理 为什么
商品材质、尺寸、清洁方法 FAQ 明确写了,才允许草拟 只复述已确认内容
发货安排 可以说交给承运方的时间,不推测到货日期 FAQ 没有送达时效
一般退货条件 只能照着虚构规则写,并提醒人工核对具体订单 练习政策不能套用到真实商家
订单物流、改地址、账号信息 转人工 需要核验个人订单或修改资料
重复扣款、退款、赔偿和投诉 转人工 涉及金钱、争议或责任判断
异味、甲醛、过敏等安全问题 转人工 不能用一段 FAQ 替代检测或专业判断
FAQ 没写的价格、优惠或运费 转人工 不让模型补出客户未确认的价格规则

个人信息保护法要求处理个人信息有明确、合理的目的,并限于实现目的的最小范围。本机运行不等于自动合规或安全。练习包因此只用虚构消息;接入真实工单前,先让客户确认处理依据、使用范围、权限和保留期限。法律也对利用个人信息进行自动化决策提出透明、公平等要求;对个人权益有重大影响时,个人有权要求说明并拒绝仅通过自动化方式作出决定,所以不要让模型独自裁定退款、拒绝服务或处罚。查看个人信息保护法

准备本机服务

先安装 Ollama,并按 Gemma4 官方模型页准备本地模型。本文实际测试的是本机标签 gemma4-12b:latest;如果你按官方示例下载了 gemma4:12b,运行脚本时把模型标签也改成它。

OpenJev 是一个开源的本地分类服务,能按给定选项判断消息并返回类别概率。它支持 Apple 芯片的 MLX 后端;4-bit 权重加载需要约 16GB 内存,运行时还要更多。按官方 README安装并启动本机服务,首次下载模型会占用较多磁盘和网络。也可以先看本站的OpenJev Mac 安装教程,但那篇固定在 0.5.0;使用新版本时以官方仓库为准。

Ollama 和 OpenJev 都要能在本机启动。默认地址分别是 http://127.0.0.1:11434 和 http://127.0.0.1:8080。Ollama 的聊天接口通过 /api/chat 接收模型名和消息,OpenJev 的练习接口使用 /v1/systemone 做选项判断。查看 Ollama Chat API

跑 12 条虚构客服消息

下载并解压练习包,进入含有 run_demo.py 的目录。先检查脚本本身,再启动流程:

python3 run_demo.py --self-check
python3 run_demo.py

如果 Ollama 模型标签和脚本默认值不同,显式指定本机标签:

OLLAMA_MODEL=gemma4-12b:latest python3 run_demo.py

脚本按固定顺序处理每条消息:先检查硬性转人工规则,再用关键词在本地 FAQ 里找答案,然后让 OpenJev 判断问题是否被 FAQ 覆盖。只有三道检查都通过,Ollama 才根据命中的 FAQ 写一条草稿。最后结果保存在 evidence/run-results.json。

脚本只调用 127.0.0.1 上的 Ollama 和 OpenJev,不查订单,不改客户信息,不创建工单,也不会发送回复。练习用的退货条件完全虚构,不是商家政策或法律意见。

这次能看出什么

这 12 条虚构消息里,6 条有 FAQ 答案并通过分流,进入草稿;另外 6 条因订单、扣款、破损、地址、产品安全或缺少价格资料而转人工。OpenJev 在这一次样例中 12 条都选对了预设类别;我逐条对照 FAQ 核对了 6 条草稿,没有发现新增承诺。

6/12 是候选草稿比例,不是省下了一半人工。 本次没有测人工平均处理时间、回头修改次数、真实订单覆盖率或运营成本,也没有自动发出任何回复。要估算一项业务能省多少时间,需让客户提供获准使用、去标识化并经人工标注的代表性工单,再比较人工独立处理时间和“AI 草稿加复核、改写、转人工”的总时间。误分、改写和升级处理也要算进成本。

这是一台 Mac、一个本地模型组合、12 条虚构样例的一次流程检查。草稿只由作者侧逐条复核,没有第二名独立审核者;它不能证明模型在真实客服数据上的准确率,也不能据此承诺替代岗位。OpenJev 返回的概率或 confidence 是模型在给定选项中的分布,不是“真实正确率”;可以用它做筛查线索,不能单独作为退款、拒绝服务或处罚决定。

把练习变成可交付的小项目

接单时可以把工作拆成 FAQ 清理、人工接手规则、匿名样例、分类与草稿测试、复核流程和部署维护。先请客户确认哪些资料允许进入测试环境;订单、付款、投诉、地址和安全问题默认保留人工处理。报价根据实际资料数量、接入系统、验收范围和维护责任核算,不用“能替代多少员工”作保证。

如果模型生成的内容将通过网络服务对外提供或传播,先核对《人工智能生成合成内容标识办法》及相关规则是否适用于你的服务场景。该办法自 2025-09-01 起施行,但本文不据此判断某个具体客服系统一定属于适用范围。查看标识办法

工具清单

工具 用途 费用和入口
Ollama 本机运行聊天模型 本地推理不调用云端 API;模型下载、磁盘和电力另计
Gemma4 根据 FAQ 草拟短回复 使用本机模型;查看模型页和许可说明
OpenJev 将问题分为 FAQ 可答或人工处理 开源项目;本次本机测试为 0.5.0,上游当前为 0.6.0

接下来可以做什么