本地 AI 的讨论中有一个被忽视的事实，它总被各种基准测试标题所淹没，这些标题动辄是一台 $4,000 工作站跑 700 亿参数模型：大多数人并不需要那种模型。他们需要的是一个 70 亿参数的模型，能在自己现有的台式机上运行，几秒内给出回答，而且不需要独立显卡、不需要机房级的功耗预算，也不需要再背一笔房贷。截至 2026 年 4 月，恰好能做到这一点的迷你主机类别（搭载 AMD Ryzen 7 8845HS 和 Ryzen 9 8945HS、配备 32 到 64 GB DDR5 的机器）是本地 LLM 生态中最被低估的硬件。

这些机器都是熟面孔：售价约 $649 的 Beelink SER8，评测配置售价约 $721 的 Geekom A8 Max（Liliputing），Minisforum UM890 Pro，以及促销时低至 $399 的 GMKtec K8 Plus。它们的机身体积大致相同，约 0.5 到 0.7 升，都配备 8 核 Zen 4 CPU、Radeon 780M 集成显卡、两条最高支持 DDR5-5600 的 SO-DIMM 插槽，以及额定 16 TOPS 的 XDNA 1 神经网络引擎。根据 AMD 官方规格，8845HS 和 8945HS 的主要区别在于 CPU 频率；集显和 NPU 是同一块芯片。

上限取决于内存带宽，而不是核心数

在单人使用的批量大小下，本地 LLM 推理几乎无一例外地受限于内存带宽。双通道 DDR5-5600 配置的理论带宽上限约为 89.6 GB/s，在 STREAM 类基准测试中的实测值在 80–86 GB/s 区间。这只是 Apple M 系列统一内存池或 AMD Strix Halo 平台的一小部分，而这一个数字就能解释本文中的所有其他数字。关键在于，它也已经够用了。

一个 5 bit 量化（Q5_K_M，磁盘占用约 5.5 GB）的 70 亿参数模型，每生成一个 token 都需要把这 5.5 GB 从内存中完整读取一遍。在 80 GB/s 的可用带宽下，理论上限约为每秒 14 个 token，由于额外开销，实际上限略低于此。r/LocalLLaMA 和 llama.cpp 基准测试讨论中的实测报告一致显示，在 8845HS 系统上通过 Radeon 780M 运行 llama.cpp Vulkan 后端，Llama 3.1 8B Q5_K_M 可达每秒 8 到 14 个 token，Mistral 7B Q5_K_M 也处于同一范围。这比大多数人的阅读速度还快，而且是在一台待机功耗约 8 瓦、几乎接近无风扇的小盒子上实现的。

哪些跑得顺，哪些吃力，哪些跑不动

升级到 130 亿至 140 亿参数级别时，这类平价迷你主机就不再是随手可用的选择，而是需要深思熟虑的选择。在社区测试中，Q4_K_M 量化的 Qwen 2.5 14B 和 Llama 3 13B 体积约 7 到 8 GB，在同样的硬件上输出速度为每秒 4 到 8 个 token。Phi-3 medium 14B Q4 也落在同一区间。说它可用，是因为一段话的回答能在一分钟内出来；说它不流畅，是因为没人会把它误认为云端托管的 API。

在文本生成之外，情况要友好一些。用 medium 模型做 Whisper 转录可以达到实时或更快。句向量（sentence-transformer）嵌入模型是所有本地 RAG 流程的主力，处理一段文字只需几毫秒。不能顺畅运行的是 300 亿参数级别的模型、在计入上下文和 KV 缓存后超出 32 GB 系统内存的任何负载，以及图像生成：Stable Diffusion XL 在 Radeon 780M 上依然很慢，Phoronix 的 Vulkan 测试清楚表明，780M 的强项是小模型的吞吐量，而不是扩散计算图的并行处理。

软件栈的真实情况

纯 CPU 方案最无趣，但也最可靠：不加任何加速参数的 llama.cpp 可以在这一类别的所有迷你主机上开箱即用，7B Q5 模型的速度在 5 到 10 tok/s 区间。2025 年到 2026 年初真正值得关注的是 Vulkan 后端，它已经成熟到让 Radeon 780M 成为量化推理的可靠加速器：llama.cpp Vulkan 讨论帖中，社区成员报告 7B Q4–Q5 模型可达 12 到 18 tok/s，相比 CPU 是明显的提升。

780M 上的 ROCm 仍然是更麻烦的方案。它能用，能用时比 CPU 快，但也是最容易在内核更新后出问题的选项。

XDNA NPU，也就是 AMD 作为”Ryzen AI”核心卖点宣传的 16 TOPS 神经网络引擎，是本文中最需要坦白说明的部分。正如 ServeTheHome 等媒体所记录的，截至 2026 年 4 月，XDNA 的通用 LLM 软件栈仍不成熟。大多数本地 LLM 用户根本没有使用 NPU。社区已经务实地选择了集显上的 Vulkan 作为阻力最小的方案。相关阅读：我们的本地 LLM 的 NPU、集显与 CPU 对比指南和 Beelink SER8 评测。

结论

对大多数人来说，一台配备 32 GB DDR5-5600、售价 $700 的 Ryzen 8845HS 迷你主机提供的本地 AI 能力已经绰绰有余。它能以人类可阅读的速度运行 Llama 3.1 8B 级别的助手，实时转录会议，在几秒内为个人文档库生成嵌入，而且这一切都在桌角完成，功耗预算更接近一只灯泡而不是一台工作站。需要坦白说明的是，在同一价位上，集显比独立显卡慢，NPU 也还没有发挥出其规格所暗示的能力。但换个角度说，对于大多数用户真正需要的模型级别，这些都无关紧要。在为本地 AI 购买一块 $2,000 的显卡之前，值得问的问题不是”我能跑多大的模型”，而是”我实际需要多大的模型”。对很多读者来说，答案在 70 亿参数以内，而能跑它的迷你主机，价格比单买那块显卡还低。