ローカルAIの議論には、$4,000のワークステーションで700億パラメータのモデルを動かすベンチマークの見出しにかき消されがちな、静かな事実があります。ほとんどの人にはそのモデルは必要ない、ということです。必要なのは、すでに持っているデスクトップで動き、数秒で答えを返し、単体GPUもサーバールーム並みの電力も多額の出費も要らない70億パラメータのモデルです。2026年4月時点で、まさにこれを実現するミニPCのクラス（32〜64 GBのDDR5を積んだAMD Ryzen 7 8845HSおよびRyzen 9 8945HS搭載機）は、ローカルLLMのエコシステムで最も語られていないハードウェアです。

顔ぶれはおなじみの機種です。約$649のBeelink SER8、レビュー構成で約$721のGeekom A8 Max（Liliputing）、Minisforum UM890 Pro、そしてセールで$399まで下がったこともあるGMKtec K8 Plusです。いずれも約0.5〜0.7リットルの筐体クラスで、8コアのZen 4 CPU、Radeon 780M内蔵GPU、DDR5-5600まで対応するSO-DIMMスロット2基、16 TOPSのXDNA 1ニューラルエンジンを備えます。AMD自身の仕様によれば、8845HSと8945HSの違いは主にCPUクロックで、iGPUとNPUは同じシリコンです。

上限を決めるのはコア数ではなくメモリ帯域幅

ローカルLLMの推論は、1人が使うバッチサイズでは、ほぼ例外なくメモリ帯域幅に律速されます。デュアルチャネルDDR5-5600構成の理論帯域幅は最大で約89.6 GB/sで、STREAM系ベンチマークでの実測値は80〜86 GB/sの範囲です。これはApple Mシリーズのユニファイドメモリや、AMDのStrix Haloプラットフォームのごく一部にすぎず、この記事のほかのすべての数字を説明する唯一の数字です。そして重要なのは、それでも十分だという点です。

5ビット量子化（Q5_K_M、ディスク上で約5.5 GB）の70億パラメータモデルは、トークンを1つ生成するたびにその5.5 GBをメモリから一通り読み出す必要があります。使える帯域幅が80 GB/sなら理論上の上限は毎秒約14トークンで、オーバーヘッドがあるため実際の上限はそれより少し下になります。r/LocalLLaMAやllama.cppのベンチマーク議論での実測報告は、Radeon 780Mに対してllama.cppのVulkanバックエンドを使う8845HS搭載機で、一貫してLlama 3.1 8B Q5_K_Mが毎秒8〜14トークンに収まっており、Mistral 7B Q5_K_Mも同じ範囲です。これはほとんどの人が文章を読む速度より速く、しかもアイドル時約8ワットの、ファンレスに近い小型機で実現しています。

快適に動くもの、苦しいもの、止まるもの

130億〜140億パラメータ級に上がると、低価格ミニPCは気軽な答えではなく、意図して選ぶ答えになります。Q4_K_M量子化のQwen 2.5 14BとLlama 3 13Bは約7〜8 GBで、コミュニティのテストでは同じハードウェアで毎秒4〜8トークンで出力されます。Phi-3 medium 14B Q4も同じ帯に入ります。1段落の回答が1分以内に届くという意味では実用的ですが、ホスティングされたAPIと見間違えることはないという意味では、きびきびとは言えません。

テキスト生成以外では、状況はもっと好意的です。mediumモデルを使ったWhisperの文字起こしは、リアルタイムかそれ以上の速度で動きます。ローカルRAGパイプラインの主力であるsentence-transformerの埋め込みモデルは、1段落をミリ秒単位で処理します。一方で快適に動かないのは、300億パラメータ級、コンテキストとKVキャッシュを含めると32 GBのシステムRAMをあふれるもの、そして画像生成です。Radeon 780M上のStable Diffusion XLは依然として遅く、PhoronixのVulkanテストからは、780Mの強みが拡散モデルのグラフの並列処理ではなく、小さなモデルでのスループットにあることがはっきり分かります。

ソフトウェアスタックの率直な実情

CPUのみの経路は地味ですが、最も安定しています。高速化フラグなしのllama.cppは、このクラスのどのミニPCでも箱から出してすぐに動き、7B Q5モデルで5〜10 tok/sに収まります。2025年から2026年初頭にかけての注目点はVulkanバックエンドで、Radeon 780Mが量子化モデルの推論で信頼できるアクセラレーターと言えるところまで成熟しました。llama.cppのVulkan議論スレッドでは、コミュニティメンバーが7B Q4〜Q5モデルで12〜18 tok/sを報告しており、CPUから意味のある向上です。

780M上のROCmは、依然として扱いにくい経路です。動きますし、動けばCPUより速いのですが、カーネル更新で最も壊れやすい選択肢でもあります。

XDNA NPU、つまりAMDが「Ryzen AI」の目玉として売り込んできた16 TOPSのニューラルエンジンは、この話のなかで最も率直さが求められる部分です。ServeTheHomeなどが記録しているように、2026年4月時点でXDNA向けの汎用LLMソフトウェアスタックはまだ未成熟です。ローカルLLMユーザーの多くはNPUをまったく使っていません。コミュニティは現実的な判断として、最も手間の少ない経路であるiGPU上のVulkanに落ち着いています。関連記事：ローカルLLM向けNPU vs iGPU vs CPUガイド、Beelink SER8レビュー。

まとめ

ほとんどの人にとって、32 GBのDDR5-5600を積んだ$700のRyzen 8845HS搭載ミニPCは、ローカルAIとして十分すぎるほどです。Llama 3.1 8B級のアシスタントを人が読める速度で動かし、会議をリアルタイムで文字起こしし、個人の文書コーパスを数秒で埋め込み、それをすべて、ワークステーションより電球に近い消費電力でデスクの片隅でこなします。正直に付け加えるべき注意点は、同じ価格帯の単体GPUよりiGPUは遅く、NPUはまだ仕様から期待される仕事をしていないことです。一方で正直に捉え直すなら、多くのユーザーが実際に必要とするモデルのクラスでは、そのどれも問題になりません。ローカルAIのために$2,000のGPUを買う前に問うべきなのは「どれだけ大きなモデルを動かせるか」ではなく、「実際にどれだけ大きなモデルが必要か」です。非常に多くの読者にとって、その答えは70億パラメータに収まり、GPU単体より安いミニPCに収まります。