先问一句：64GB 统一内存的 Mac，本地跑大模型到底能不能用？我先给你交个底——能，但前提是你能忍它的慢；它干得了什么、干不了什么，界线非常清楚。这一周我在 Mac mini M5 Pro 64GB 上装了一整套，跑了四个模型——Qwen3.8-27B、Sage-A1.5、Ornith-1.5、Muse Glimmer 30B，外加一个云端模型 DeepSeek V4.1 Flash 做对照。下面每个数字都是实测。讲句不好听的：网上很多东西是软文，跑分都是编的，我只讲自己用出来的东西。再交代一句：以上纯属自娱自乐，无专业指导意见，供大家参考。
先说机器：两个数字定生死
这台 M5 Pro，顶配 64GB 统一内存，内存带宽 307GB/s。这两个数字，决定了后面所有的结果。为什么？因为本地大模型推理这件事，我告诉你，大多不是算力问题，是内存带宽问题。模型每吐一个字，就得把模型权重从内存里读一遍。307GB/s 的带宽，除以权重的大小，就是速度的天花板。先记住这个，再看四个模型，所有实测数字就都通了。至于 64GB 统一内存能装多大——也是这个数决定的，下面会讲到。
Qwen3.8-27B：慢，但唯一能干正经活
先说主角 Qwen3.8-27B。阿里今年八月出的，实际 27.8B 参数，稠密模型，不是 MoE。稠密是什么意思？意思是每吐一个字，27.8B 参数一个都不落地全要从内存读出来。4-bit 量化权重约 16.5GB，5-bit 再大一些，307GB/s 除以 16.5GB，你自己算，理论上限就是每秒 18 个 token 上下。
实测数字，全给你摆出来。首字——这个数字最吓人——Q4 版将近 3 分钟才出第一个字，Q5 版 8 到 10 分钟，喂进去的上下文越长越久；有了缓存之后能快一些。首字为什么这么慢？因为模型要把你喂的上下文整段过一遍，输入越长算得越久，这就是 KV 缓存的机制。出字之后平均 30 字每秒，上下文越长衰减越狠，掉到 15 到 20 字每秒。是不是？这就是内存带宽的天花板，硬顶，怎么调都调不动。
上下文基本就到 128K。模型原生支持 262K，但 64GB 统一内存里，系统、图形、KV 缓存都要扣，再大就是爆内存，没有商量余地。写短代码没问题；大型库、长代码？挂机一整晚，天亮看有没有干完。
但讲句不好听的，Qwen3.8 是四个模型里唯一能干”正经活”的。监控管理家用设备、改手机串号、伪装手机成上网设备、把电视 ROOT 了干掉所有垃圾广告再推电视源，这些日常任务我都实际干过。甚至用 Q4 无审查版逆向了好几个 APP，也没问题。至于日常管理网站、服务器、本地文件、PPT，这些都不算复杂任务。只要你能忍得住它的慢，一般家用，够用了。这是实话。
三个 MoE：快，但只能干粗笨活
再说网上流行的那几个 MoE。Sage-A1.5 和 Ornith-1.5，都是 35B 总参数。MoE 的意思是，参数不全参与计算，每吐一个 token 只激活一小撮专家。拿 Ornith 举例，256 个专家，每个 token 只激活 8 个，激活参数约 3B。同样的 307GB/s 带宽，它每个字只读 3B 的权重，速度自然快出好几倍：十几秒出字，大约 70 字每秒。
但讲句不好听的，快不等于聪明。激活参数少，就是每个字花的算力少，智商就上不去，这是算术题，谁也逃不掉。所以我给它出过一道题：一台 ROOT 过的安卓手机，让它往里面的 Linux 系统装依赖，每人给 30 分钟。结果——三个全卡住，根本无法进行下去。
第三个是Muse Glimmer 30B 它出乎意料地稳定——比另外两个少出岔子——但智商差一些。30 分钟考试的成绩也一样：卡住。
DeepSeek V4.1 Flash 为什么 1 分钟搞定
后来我换 DeepSeek V4.1 Flash。注意，这个不是本地的，是走云端 API。552B 总参数，输入端激活 8B、输出端激活 16B，上下文 1M——这种模型，64GB 统一内存装不下，是算术题。放到 GPU 集群上，那是另一个量级的游戏。同一道题，不到 1 分钟，搞定。
这里要说清楚：三个本地小模型和一个云端大模型，不是一个赛道的智商。我把它们摆在一起，是让你看明白——64GB 的本地 Mac，能干和不能干的，就是这个答案。
结论：两个门槛，二选一
所以结论是什么？本地大模型有两个门槛，一个是内存带宽，决定它出字多快；一个是激活参数，决定它多聪明。这两样东西，几乎永远在打架：你要快，选 MoE，激活少，智商掉；你要聪明，选稠密，激活多，速度掉。这一周的实测数据，就是这条规律的演示。
MoE 小模型快但笨，只配干粗笨活；稠密 Qwen3.8 慢但聪明，忍得住慢，日常真能用。机器的速度天花板，跟人的一脉先天一样，改不了，只能让活配它。就这样。
以上是一周的折腾，自娱自乐，无专业指导意见，供大家参考。
