挑本地模型先看电脑内存,再想清楚主要拿它做什么。模型页上的 GB 是下载文件大小,模型运行时还要占用内存;上下文越长、同时开的软件越多,留给模型的空间就越少。

下面先按 2026 年 10 月 9 日 Ollama 模型库的下载大小给你一组起点,再看这台 M1 Max 上的两道题实测。实测只说明那两道题和这台电脑,不能用来给模型排总名次。

六个本地模型回答鸡兔同笼题的历史对比截图,拍摄于 2026 年 10 月 3 日六个本地模型回答鸡兔同笼题的历史对比截图,拍摄于 2026 年 10 月 3 日

按电脑内存挑一个起点

电脑内存 可以先试 适合 留意
8GB qwen3.5:0.8b,下载约 1.2–1.3GB 简单问答、短文本 先从小模型和短上下文开始;系统也要用内存,别同时开大型 App
16GB qwen3.5:4b,约 3.3–4.0GB;或 gemma4:e2b 日常问答、短文和轻量看图 同一电脑同时跑多个模型会明显挤占内存;先用默认上下文试
32GB qwen3.5:9b,约 6.6–7.6GB;或 gemma4:12b 更复杂的写作、推理和看图 27B 模型也许能启动,但系统、上下文和其他软件会挤掉余量
64GB qwen3.8:27b,约 18GB;或 gemma4:26b,约 16–19GB 更强的中文任务、看图或长文档 大模型会占用更多内存;长上下文不等于免费,先从默认值试起

这些是 Ollama 官方页面当前列出的常见下载大小和模型标签。版本、量化和下载文件可能变化,点模型名去官方模型库确认后再运行。文件大小也不是运行内存的上限。

下载并试跑

在“终端”运行你选的模型命令。例如,先试一个小模型:

ollama run qwen3.5:0.8b

首次运行需要下载模型,可能要等一会儿。出现 >>> 后输入问题就能聊天,输入 /bye 退出。想确认本机已经有哪些模型:

ollama list

回答后查看运行占用:

ollama ps

SIZE 是这次模型运行的占用,PROCESSOR 显示当前由 GPU、CPU 或两者分担。Mac 的 GPU 会共享系统内存;看到模型文件约 4GB,不代表整个系统只会多占 4GB。若电脑明显变卡,退出其他大软件、换更小模型,或把上下文设短些。

这台 Mac 的两题小样

2026 年 10 月 9 日,在 M1 Max、64GB 内存、Ollama 0.35.1 和 8K 上下文下,让六个本机已缓存模型回答鸡兔同笼和苹果分配两道题。下面的模型名是当时这台机器上的本地名称;和今天官方库里的标签不完全相同。ollama ps 显示值是当时这次运行的占用。

本机模型 ollama ps 占用 两道题答对数
gemma4-e2b:latest 3.4GB 2/2
gemma4-e4b:latest 5.3GB 0/2
gemma4-12b:latest 8.0GB 1/2
deepseek-r1:8b 6.6GB 2/2
gemma4-26b:latest 17GB 2/2
qwen3.8-27b:latest 17GB 2/2

两道题太少,不能据此判断哪个模型整体更聪明。它能帮你看到两件事:同一家族的大模型不一定在每道题都胜过小模型;模型够不够用,要拿自己的工作任务试。速度也会随问题、上下文和当前系统负载变化,脚本输出的 token/s 只作当次记录。

自己比较:下载 Python 脚本

工具包里有 compare_models.py、运行说明和这台 Mac 的 2026-10-09 参考结果。脚本只请求本机 Ollama,不访问云端;它会对指定模型问同样两道题,把回答、速度和 ollama ps 信息写入 CSV。缺少某个模型时会跳过,不会替你下载。

下载本地模型比较脚本和运行说明

解压后先看 README。打开 compare_models.py,把 MODELS 列表改成 ollama list 中你实际安装的名称,再运行:

python3 compare_models.py

结果会写到同一目录的 results.csv。每次测试大约会加载模型数分钟;脚本结束后会停止模型并释放占用。两道算术题只是快速检查,别把它当模型评测或业务准确率报告。

商用前看模型许可

Ollama 负责下载和运行模型,不代表所有模型都采用同一份许可。准备给客户交付或用于商业产品时,打开对应模型的官方页面,读完整许可和附加条款;模型能力、隐私要求和许可都要按具体用途确认。

拿它挣钱

如果你帮小店或工作室部署本地助手,先问清楚他们要处理什么资料、电脑内存多大、需要几个人同时使用。用客户自己的典型问题试跑,再把模型选择、资料整理、权限、备份和维护拆成服务项目。不要只凭模型参数或两道题承诺结果,也不要按“几 B”直接报价格。

接下来可以做什么