로컬 AI 논의에는 4,000달러짜리 워크스테이션에서 700억 파라미터 모델을 돌리는 벤치마크 헤드라인마다 묻혀 버리는 조용한 진실이 있습니다. 대부분의 사람에게는 그런 모델이 필요하지 않다는 것입니다. 필요한 것은 이미 가지고 있는 데스크톱에서 돌아가고, 몇 초 안에 답하며, 외장 GPU나 서버실 수준의 전력 예산, 두 번째 주택 담보 대출이 필요 없는 70억 파라미터 모델입니다. 2026년 4월 기준으로 바로 이것을 제공하는 미니 PC 부류(32~64 GB DDR5를 갖춘 AMD Ryzen 7 8845HS 및 Ryzen 9 8945HS 시스템)는 로컬 LLM 생태계에서 가장 덜 언급되는 하드웨어입니다.

익숙한 이름의 기기들입니다. 약 649달러의 Beelink SER8, 리뷰 구성 기준 약 721달러의 Geekom A8 Max(Liliputing), Minisforum UM890 Pro, 그리고 할인 시 399달러까지 내려간 것이 확인된 GMKtec K8 Plus가 있습니다. 이들은 약 0.5~0.7리터 수준의 섀시, 8코어 Zen 4 CPU, Radeon 780M 내장 GPU, 최대 DDR5-5600을 지원하는 듀얼 SO-DIMM 슬롯, 16 TOPS 등급의 XDNA 1 신경망 엔진이라는 공통된 구성을 갖추고 있습니다. AMD의 공식 사양에 따르면 8845HS와 8945HS의 차이는 주로 CPU 클럭이며, iGPU와 NPU는 같은 실리콘입니다.

한계는 코어 수가 아니라 메모리 대역폭입니다

로컬 LLM 추론은 한 사람이 사용하는 배치 크기에서는 거의 예외 없이 메모리 대역폭에 의해 제한됩니다. 듀얼 채널 DDR5-5600 구성의 이론상 최대 대역폭은 약 89.6 GB/s이며, STREAM 계열 벤치마크에서의 실측치는 80~86 GB/s 범위입니다. 이는 Apple M 시리즈의 통합 메모리 풀이나 AMD Strix Halo 플랫폼의 일부에 불과하며, 이 글의 다른 모든 수치를 설명하는 단 하나의 숫자입니다. 그리고 결정적으로, 이것으로 충분합니다.

5비트 양자화(Q5_K_M, 디스크 기준 약 5.5 GB)의 70억 파라미터 모델은 토큰 하나를 생성할 때마다 이 5.5 GB를 메모리에서 한 번씩 읽어야 합니다. 사용 가능한 대역폭이 80 GB/s라면 이론상 상한은 초당 약 14토큰이고, 오버헤드 때문에 실제 상한은 그보다 약간 낮습니다. r/LocalLLaMA의 현장 보고와 llama.cpp 벤치마크 토론에서는 Radeon 780M을 대상으로 llama.cpp Vulkan 백엔드를 실행하는 8845HS 시스템에서 Llama 3.1 8B Q5_K_M이 초당 8~14토큰이라는 결과가 일관되게 나오며, Mistral 7B Q5_K_M도 같은 범위에 있습니다. 이는 대부분의 사람이 글을 읽는 속도보다 빠르며, 유휴 전력이 약 8와트인 팬리스에 가까운 기기에서 이루어지는 일입니다.

원활하게 돌아가는 것, 버거운 것, 멈추는 것

130억140억 파라미터급으로 올라가면 저가형 미니 PC는 가벼운 선택지가 아니라 신중한 선택지가 됩니다. Q4_K_M 양자화의 Qwen 2.5 14B와 Llama 3 13B는 약 78 GB 크기이며, 커뮤니티 테스트에서 같은 하드웨어로 초당 4~8토큰으로 출력됩니다. Phi-3 medium 14B Q4도 같은 범위에 들어갑니다. 한 문단 분량의 답변이 1분 안에 도착한다는 의미에서는 쓸 만하지만, 호스팅 API로 착각할 사람은 없다는 의미에서는 빠르지 않습니다.

텍스트 생성 외의 작업에서는 사정이 더 낫습니다. medium 모델을 사용한 Whisper 음성 전사는 실시간 이상으로 동작합니다. 모든 로컬 RAG 파이프라인의 핵심인 sentence-transformer 임베딩 모델은 한 문단을 밀리초 단위로 처리합니다. 원활하게 돌아가지 않는 것은 300억 파라미터급, 컨텍스트와 KV 캐시를 감안했을 때 32 GB 시스템 RAM을 넘어서는 모든 작업, 그리고 이미지 생성입니다. Radeon 780M에서의 Stable Diffusion XL은 여전히 느리며, Phoronix의 Vulkan 테스트는 780M의 강점이 디퓨전 그래프의 병렬 처리가 아니라 작은 모델에서의 처리량이라는 점을 분명히 보여 줍니다.

소프트웨어 스택, 솔직하게

CPU 전용 경로는 지루하지만 가장 안정적입니다. 가속 플래그 없는 llama.cpp는 이 부류의 모든 미니 PC에서 별도 설정 없이 동작하며, 7B Q5 모델에서 510 tok/s 범위를 냅니다. 2025년과 2026년 초의 흥미로운 이야기는 Vulkan 백엔드입니다. Vulkan 백엔드는 Radeon 780M이 양자화 추론을 위한 믿을 만한 가속기가 될 정도로 성숙했습니다. llama.cpp Vulkan 토론 스레드에서는 커뮤니티 회원들이 7B Q4Q5 모델에서 12~18 tok/s를 보고하고 있으며, 이는 CPU 대비 의미 있는 향상입니다.

780M에서의 ROCm은 여전히 더 복잡한 경로입니다. 동작은 하고, 동작할 때는 CPU보다 빠르지만, 커널 업데이트 시 고장 날 가능성이 가장 높은 선택지입니다.

AMD가 “Ryzen AI”의 핵심으로 홍보해 온 16 TOPS 신경망 엔진인 XDNA NPU는 이 이야기에서 가장 솔직함이 필요한 부분입니다. ServeTheHome 등이 기록한 대로, 2026년 4월 기준 XDNA용 범용 LLM 소프트웨어 스택은 아직 미성숙합니다. 대부분의 로컬 LLM 사용자는 NPU를 전혀 사용하지 않습니다. 커뮤니티는 현실적으로 iGPU에서의 Vulkan을 가장 무난한 경로로 정착시켰습니다. 관련 글: 로컬 LLM을 위한 NPU vs iGPU vs CPU 가이드, Beelink SER8 리뷰.

결론

대부분의 사람에게 32 GB DDR5-5600을 갖춘 700달러짜리 Ryzen 8845HS 미니 PC는 로컬 AI로 충분하고도 남습니다. Llama 3.1 8B급 어시스턴트를 사람이 읽을 수 있는 속도로 실행하고, 회의를 실시간으로 전사하고, 개인 문서 모음을 몇 초 만에 임베딩하며, 이 모든 것을 책상 한구석에서 워크스테이션보다는 전구에 가까운 전력으로 해냅니다. 솔직한 단서를 달자면, iGPU는 같은 가격대의 외장 GPU보다 느리고, NPU는 아직 사양이 시사하는 만큼의 일을 하지 못하고 있습니다. 솔직하게 다시 보자면, 대부분의 사용자가 실제로 필요로 하는 모델급에서는 그 어느 것도 중요하지 않습니다. 로컬 AI를 위해 2,000달러짜리 GPU를 사기 전에 던져야 할 질문은 “얼마나 큰 모델을 돌릴 수 있는가”가 아니라 “실제로 얼마나 큰 모델이 필요한가”입니다. 많은 독자에게 그 답은 70억 파라미터 안에 들어가며, GPU 하나 가격보다 이미 저렴한 미니 PC에 들어갑니다.