本地大模型社区里正在进行一场低调的讨论,而迷你主机媒体大多没有注意到:2026 年,在桌面上运行 70B 级模型最便宜的正经机器,既不是 GMKtec 的 Strix Halo 主机,也不是小巧的 RTX 4070 迷你主机,更不是二手 Mac Studio。答案是配备 M4 Pro 和 64 GB 统一内存的 Apple Mac Mini,配置价格约为 $2,000。如果具体任务是在本地运行量化版的 Llama 或 Qwen 70B,软件生态成熟,整机功耗比一盏台灯还低,那么在这个价位上没有其他产品能与之相提并论。

这是一个很强的论断,理应附上常规的提醒。下面是平实而有据可查的版本。

Apple Mac Mini M4 Pro:硬件究竟是什么

Mac mini 的 M4 Pro 版本配备 12 核或 14 核 CPU、16 核或 20 核 GPU,以及 16 核神经网络引擎。根据 Apple 官方规格页面,并经 M4 的 Wikipedia 条目印证,M4 Pro 提供 273 GB/s 的统一内存带宽,并支持最高 64 GB 统一内存。这意味着 CPU、GPU 和神经网络引擎都从同一个内存池读取数据,无需经过 PCIe 往返。

Apple 2024 年 10 月的发布公告将入门款 M4 Pro Mac mini 定价为 $1,399(12 核 CPU,24 GB 统一内存)。升级到 64 GB(这正是本地大模型工作的关键)后,整机价格视存储容量而定,约为 $2,000。这里没有第三方内存可选;内存采用封装集成设计,要么在下单时选好,要么就只能将就。

对于一台 5 英寸见方、待机时几近无声、满载功耗不到 100 W 的小盒子来说,这个带宽数字才是最大亮点。为 GMKtec EVO-X2 等机器提供动力的 Strix Halo 平台,带宽最高约 256 GB/s,但内存容量更大(最高 128 GB)。相比之下,独立显卡 RTX 4090 的带宽接近 1 TB/s。对 Transformer 模型的 token 生成吞吐量而言,内存带宽是最重要的单一指标,因为推理受限于带宽而非算力;llama.cpp 社区在其长期更新的 M 系列基准测试帖中自 M1 时代起就记录了这一点。M4 Pro 处在一个奇特的中间地带:比所有“AI PC”迷你主机都快,比任何现代独立显卡都慢得多,但在同等价位下,可用内存远多于搭载 4090 的迷你主机。

2026 年的软件生态是什么样子

Apple Silicon 在本地大模型方面的故事,过去是“llama.cpp 的 Metal 后端,听天由命”。如今情况已经改变。Apple 自家的 MLX 框架(一个针对统一内存优化、风格类似 NumPy 的数组库)现已为主要的开放权重模型家族(Llama、Qwen、Mistral、Gemma)提供稳定的推理支持,也是 Apple 自己发表的关于在 M 系列 GPU 上高效运行大模型的研究的基础。LM Studio、Ollama 和 llama.cpp 等工具都内置开箱即用的 Metal 后端。不需要折腾驱动,不需要锁定 ROCm 版本,也不需要自己拼装 XDNA 工具链。

这种成熟度是规格表上看不出来的部分。也正是这一部分,在过去 18 个月里逐渐向 Apple 倾斜。

64 GB 实际能跑什么:附来源数据

根据独立报告,64 GB M4 Pro 真实的 tok/s 表现大致如下:

  • 4-bit 的 Llama 3.3 70B(MLX,约占用 40 GB): 开发者 Bharani Manoharan 在一台 20 核 GPU、64 GB 内存的 Mac mini M4 Pro 上运行,报告速度约为 5 tok/s,并称“考虑到这台机器能放在我的手掌上,这已经相当可观”。Simon Willison 在撰文介绍在 64 GB MacBook Pro M2 Max 上运行类似的 Llama 3.3 70B 4-bit 配置时,记录了相近的个位数 token 速率,并将这种体验形容为“在我的笔记本电脑上运行 GPT-4 级别的模型”:适合批处理任务,用于实时对话则较为勉强。
  • 较小的 30B 级模型: llama.cpp Apple Silicon 讨论帖汇总的社区基准测试以及其他社区测试显示,14B–32B 级别的模型在 M4 Pro 上可达 11–25 tok/s,交互起来相当流畅。
  • 7B–8B 模型: 远超 50 tok/s,常常达到三位数,比人类阅读速度还快。

4-bit 的 70B 模型能装进 64 GB,但非常勉强。Q5 或 Q6 量化的 70B 模型则完全装不下。这就是这台机器的上限,值得明确指出:64 GB 统一内存只是 70B 级别的入门门槛,而不是能让它舒适运行的归宿。

实事求是的对比

与 GMKtec EVO-X2 / Strix Halo 主机相比,M4 Pro Mac mini 在内存上限上落于下风(64 GB 对比最高 128 GB),但截至 2026 年初,在软件成熟度上占据决定性优势。Strix Halo 上的 ROCm 和 XDNA NPU 软件栈正在改进,但还没有达到 MLX、Metal 和 Ollama 在 Apple Silicon 上已经实现的“装上就能用”的程度。如果你的需求是“今晚就想跑一个 70B 级量化模型”,M4 Pro 是更稳妥的选择。如果你的需求是“希望留出余量,两年后能跑 100B 级模型”,那么 Strix Halo 更大的内存池胜出。

与搭载独立显卡 RTX 4070 / 4070 Ti 的迷你主机相比,结论取决于模型大小。独显主机在中小模型上的单 token 速度更快,在图像生成和任何仅支持 CUDA 的研究代码上更是完胜 Mac。而对于所有装不进 12–16 GB 显存的模型,Mac 都占优,而 2026 年值得在本地运行的模型大多属于这一类。

与较老的 Mac Studio M2 Ultra 相比,M4 Pro Mac mini 的价格约为其四分之一,内存带宽相近,但容量上限为 64 GB 而非 192 GB。就 70B 级任务而言,它的性价比要高得多。而对于 100B+ 的 MoE 模型,Studio 仍然是唯一装得下的 Apple 机器。

在对 Thunderbolt 集群的想法过于浪漫化之前,也值得读一读 AppleInsider 对 M4 mini 集群的评测:把两台 M4 mini 连在一起是个有趣的项目,但在推理上很少能胜过一台配置更高的单机,因为节点间带宽会成为瓶颈,而这恰恰是统一内存池本应解决的问题。

局限性,直截了当地说

三个实实在在的缺点。

第一,对 AI 生态中相当大的一部分而言,CUDA 不是可选项。vLLM、TensorRT-LLM、GitHub 上大量长尾研究代码,以及许多图像生成和视频生成流程,都默认使用 NVIDIA 显卡。这些都无法在 Mac 上运行。如果你的工作依赖某个仅支持 CUDA 的项目,那么无论这台机器的带宽有多好,它都是错误的选择。

第二,内存升级的定价出了名地苛刻。从 24 GB 基础版升级到 64 GB 大约要多花 $800,而同样容量的内存放在普通 PC 上只需其中一小部分的价钱。你是在为统一内存这项特权缴纳“苹果税”,而且购买后没有任何第三方补救办法。

第三,64 GB 恰好是 70B 级模型勉强装得下的那条线。一旦你想要更长的上下文、更高精度的量化,或是 100B+ 级别的 MoE 模型,空间就不够了,只能转而去选购 96–128 GB 的 Mac Studio 或 Strix Halo 主机。

结论

Mac Mini M4 Pro 64 GB 并不是你能买到的最快的本地大模型机器,差得还很远。但在 2026 年春季,它是能在桌面上运行 70B 级模型、且插上电当天软件就能正常工作的最便宜的机器;而且它的体积小到可以放在显示器旁边,风扇声几乎听不到。对于实际工作负载是“每天在本地运行开放权重模型,且不依赖仅支持 CUDA 的工具”的人来说,$2,000 以内没有其他产品能与之相提并论。升级溢价和 CUDA 缺失是实实在在的代价,任何购买这台机器的人都应在付款前了解清楚。但总体权衡下来,这是 Apple Silicon 迄今为止给本地 AI 人群提供的最有利的选择。