AI 미니 PC의 NPU로 로컬 LLM을 실행할 수 있나요?

2026년 4월 기준으로는 대부분 아닙니다. llama.cpp, Ollama, LM Studio 같은 인기 도구는 CPU와 iGPU 경로에서 실행됩니다. Intel과 AMD의 NPU 소프트웨어 스택은 지원 모델 범위가 좁거나 특정 양자화 형식으로 제한되기 때문입니다.

미니 PC에서 NPU가 실제로 가속하는 작업은 무엇인가요?

Windows Studio Effects, 온디바이스 번역을 포함한 실시간 자막(Live Captions), 제조사가 NPU 코드 경로를 제공한 앱별 AI 기능, 그리고 일부 소형 Whisper 또는 ASR 모델입니다.

Copilot+ PC에는 몇 TOPS가 필요한가요?

Microsoft는 Copilot+ 최소 기준을 40 NPU TOPS로 정했습니다. AMD Ryzen AI 300은 50, Snapdragon X Elite는 45, Intel Lunar Lake는 48로 기준을 넘고, Apple M4의 Neural Engine은 38로 평가됩니다.

로컬 LLM용 미니 PC를 살 때 가장 중요한 것은 무엇인가요?

메모리 용량이 먼저이고, 그다음 메모리 대역폭, iGPU 등급 순이며, NPU TOPS는 마지막입니다. 모델이 RAM에 들어가느냐 아니냐가 관건입니다.

Mac mini M4 Pro는 로컬 LLM용으로 좋은가요?

저희가 보기에 48-64 GB 통합 메모리를 갖춘 Mac mini M4 Pro는 7B-13B LLM을 가장 적은 번거로움으로 실행할 수 있는 최고의 주류 스택입니다. 64 GB 구성은 NPU 수치가 더 낮음에도 초당 토큰 수에서 대부분의 50 TOPS Copilot+ 미니 PC를 앞섭니다.

미니 PC 로컬 LLM: NPU vs iGPU vs CPU (2026)

2024년 하반기 이후 발표된 모든 미니 PC의 사양표에는 2년 전 같은 진열대에는 없던 숫자가 하나 붙어 있습니다. 바로 TOPS입니다. Intel은 Lunar Lake에 “최대 36 TOPS”라고 표기합니다. AMD는 Ryzen AI 300에 내장된 XDNA 2 NPU에 “최대 50 TOPS”라고 표기합니다. Qualcomm은 Snapdragon X Elite의 Hexagon에 “45 TOPS”, Apple은 M4의 Neural Engine에 “38 TOPS”라고 표기합니다. 이 수치들은 모두 INT8 최대 성능이고, 기술적으로 서로 비교할 수 있으며, 동시에 마케팅 색채가 매우 강합니다. “AI 미니 PC”를 사려는 사람이 실제로 던져야 할 질문은 NPU가 몇 TOPS를 내세우는지가 아니라 그 TOPS가 오늘날 실제로 무엇을 가속하는지이기 때문입니다. 2026년 4월 기준으로, 그 답은 박스 디자인이 암시하는 것보다 훨씬 좁습니다.

마케팅 층위: TOPS와 Copilot+ 기준

미니 PC 데이터시트의 TOPS 수치는 거의 예외 없이 NPU 단독 수치입니다. Microsoft의 Copilot+ PC 프로그램은 최소 기준을 40 NPU TOPS로 정하고 있으며, 이 기준이 Recall, Cocreator, 번역 기능이 포함된 실시간 자막(Live Captions), Windows Studio Effects 같은 온디바이스 기능 탑재 여부를 결정합니다. AMD Ryzen AI 300 시리즈는 XDNA 2로 50 TOPS를 달성해 기준을 넘고, Qualcomm Snapdragon X Elite는 45, Intel Lunar Lake는 48로 기준에 도달합니다(AnandTech 아키텍처 심층 분석). 이전 세대인 Core Ultra 100 / 200(“Meteor Lake”와 “Arrow Lake”)은 기준에 미달해 Copilot+ 브랜드에서 제외되지만, 이 칩을 탑재한 상당수 제품은 여전히 “AI 미니 PC”로 판매되고 있습니다.

가장 애매한 경우는 Apple입니다. M4의 Neural Engine은 38 TOPS로 Microsoft 기준에 못 미치지만, 실사용 워크로드에서는 명목상 더 빠른 x86 NPU와 대등하거나 앞서는 경우가 많습니다(NotebookCheck Mac mini M4 Pro 리뷰). 이 “기준”은 결과가 아니라 숫자에 보상을 줍니다.

현재 NPU가 실제로 가속하는 작업

2026년 4월 현재, Windows 또는 Mac 미니 PC에서 실제로 NPU를 사용하는 워크로드는 많지 않습니다.

Windows Studio Effects: 카메라 배경 흐림, 시선 보정, 음성 선명도 향상, 프레이밍.
실시간 자막(Live Captions) / 온디바이스 번역: Windows 11 24H2 이후 버전.
앱별 AI 기능: Adobe Sensei 스택의 온디바이스 기능과 일부 Microsoft 365 기능처럼, 제조사가 NPU 코드 경로(DirectML, ONNX Runtime QNN, OpenVINO, Core ML)를 명시적으로 제공한 경우.
일부 Whisper / 소형 ASR 구현: 모델이 NPU의 타일 메모리에 여유 있게 들어갈 만큼 작고, 런타임에 양자화된 그래프가 준비된 경우.

일반 사용자가 2026년 기본 상태의 미니 PC에서 실제로 NPU를 사용한다고 확인할 수 있는 것은 대체로 이 정도가 전부입니다.

NPU가 (대부분) 가속하지 않는 작업

인기 있는 로컬 LLM 스택(llama.cpp, Ollama, LM Studio, KoboldCpp, text-generation-webui)은 2026년에도 NPU가 아닌 CPU와 iGPU 경로에서 실행됩니다. 실질적인 변화도 있습니다. llama.cpp는 2024년 말 Snapdragon Hexagon NPU를 대상으로 하는 QNN 백엔드를 병합했고, DirectML은 이제 Windows에서 NPU 실행 공급자(execution provider)를 제공합니다. 하지만 특히 Intel과 AMD 칩에서는 주류 LLM 도구가 여전히 기본적으로 Vulkan/iGPU 또는 CPU의 AVX2/AVX-512를 사용합니다. NPU 소프트웨어 스택(Intel의 OpenVINO GenAI, AMD의 Ryzen AI Software / XDNA)이 지원 모델 범위가 좁거나 특정 양자화 형식으로 제한되기 때문입니다.

이미지 생성도 마찬가지입니다. 2026년 미니 PC에서 Stable Diffusion XL과 Flux는 iGPU(Intel Arc, Radeon 880M / 890M / 8060S)에서, 또는 점점 더 흔하게는 외장 eGPU에서 실행됩니다. NPU 가속 SDXL은 제조사 데모와 Olive로 최적화된 ONNX 빌드에는 존재하지만, 사용자가 Automatic1111, ComfyUI, InvokeAI를 설치해 실제로 돌리는 방식은 아닙니다.

플랫폼별 실제 스택

Apple Silicon (Mac mini M4 / M4 Pro). Neural Engine, Metal GPU, AMX 행렬 연산 유닛이 MLX와 Core ML을 통해 함께 조율됩니다. 지금 당장 7B-13B LLM을 가장 적은 번거로움으로 실행하고 싶은 구매자에게는, 저희가 보기에 48-64 GB 통합 메모리를 갖춘 Mac mini M4 Pro가 시장에서 가장 좋은 주류 스택입니다. 높은 메모리 대역폭, 성숙한 도구, 단일 런타임 구조를 갖췄습니다.

AMD Ryzen AI / Ryzen AI Max+ (“Strix Halo”). 이 칩에서 LLM의 주력은 XDNA 2 NPU가 아니라 ROCm 또는 Vulkan 기반의 Radeon iGPU(780M, 8060S)입니다. NPU는 서류상으로는 인상적이고 Studio Effects와 소수의 제조사 데모에서 작동하지만, 2026년 4월 기준 일반적인 LLM 서빙에서는 대부분 놀고 있습니다. Strix Halo의 강점은 통합 메모리입니다. Phoronix와 ServeTheHome은 모두 128 GB Strix Halo 제품(예: GMKtec EVO-X2)이 NPU를 앞세운 중급 미니 PC로는 아예 불러올 수 없는 모델을 실행한다는 점을 보여 주었습니다.

Intel Core Ultra (Lunar Lake / Arrow Lake-H). OpenVINO는 실질적인 LLM 지원을 제공하지만, Ollama, LM Studio, llama.cpp는 모두 SYCL/Vulkan을 통한 Arc iGPU 또는 CPU를 선호합니다. ASUS ROG NUC 14 Performance에서 NPU는 Studio Effects와 일부 UWP 기능에 쓰이고, 실제로 불러오는 LLM은 Arc 그래픽 타일에서 실행됩니다.

Snapdragon X Elite (Hexagon NPU). 주류 LLM 런타임에서 NPU까지 신뢰할 수 있는 병합된 경로, 즉 llama.cpp QNN 백엔드를 갖춘 유일한 플랫폼입니다. 문제는 시장 점유율입니다. Snapdragon X 미니 PC는 2026년 라인업에서 극히 일부에 불과하며, Windows-on-ARM에는 Intel과 AMD 기기에는 없는 앱 호환성 문제가 여전히 남아 있습니다.

2026년 미니 PC 구매자에게 실제로 중요한 것

용도가 로컬 LLM이라면, 2026년 4월 기준의 솔직한 우선순위는 메모리 용량, 메모리 대역폭, iGPU 등급 순이며, NPU TOPS는 그다음입니다. 몇 가지 구체적인 예를 들어 보겠습니다.

64 GB 구성의 Apple Mac mini M4 Pro는 NPU 수치가 더 낮음에도 실제 LLM 초당 토큰 수에서 대부분의 “50 TOPS Copilot+” 미니 PC를 앞섭니다.
128 GB 통합 메모리를 갖춘 GMKtec EVO-X2는 TOPS 마케팅과 관계없이, NPU를 앞세운 중급 미니 PC에는 들어가지 않는 모델을 불러와 실행합니다.
64 GB DDR5와 약 16 TOPS NPU를 갖춘 Beelink SER8이나 Geekom A8 Max는 7B급 LLM을 쓸 만한 속도로 실행하기에 충분합니다. 실제 작업은 iGPU와 RAM이 담당합니다.

이 상황은 바뀔 것입니다. AMD의 XDNA 2 소프트웨어는 릴리스마다 개선되고 있고, Microsoft는 DirectML NPU 경로를 더 많은 프레임워크에 도입하고 있으며, Hexagon용 llama.cpp 백엔드는 이제 발표 자료가 아닌 실제 코드입니다. 2027년이면 NPU 가속 LLM의 상황은 의미 있게 나아질 것입니다.

하지만 그것은 2027년의 이야기입니다. 2026년 4월 현재, 박스 앞면의 TOPS 수치는 로컬 LLM의 속도를 결정하는 숫자가 아닙니다. 모델이 RAM에 들어가거나, 들어가지 않거나 둘 중 하나입니다. iGPU에 작동하는 Vulkan 또는 ROCm 경로가 있거나, 없거나 둘 중 하나입니다. NPU는 주로 화상 통화와 자막을 처리합니다. 사양표를 이 순서(RAM, 대역폭, iGPU, 그다음 NPU)로 읽는 구매자는 진열대에서 가장 큰 TOPS 수치를 좇는 구매자보다 로컬 AI에 더 빠른 미니 PC를 손에 넣게 될 것입니다.