Nvidia

Docker Model Runner은 AI 모델을 로컬에서 실행하는 Docker의 공식 도구이지만,
Docker Model Runner에서 NVidia GPU 가속 기능 활성화
은 특정 설정이 필요합니다.

저는 Ollama에서 실행되는 GPT-OSS 120b의 성능 테스트 결과를 NVIDIA DGX Spark, Mac Studio, RTX 4080 세 가지 플랫폼에서 확인해보았습니다. Ollama 라이브러리에서 제공하는 GPT-OSS 120b 모델의 크기는 65GB로, RTX 4080의 16GB VRAM에 맞지 않으며, 더 최근의 RTX 5080에도 맞지 않습니다.

Docker Model Runner (DMR)은 2025년 4월에 도입된 Docker의 공식 솔루션으로, 로컬에서 AI 모델을 실행하는 데 사용됩니다. 이 가이드는 모든 필수 명령, 구성 및 최선의 실천 방법을 위한 빠른 참조를 제공합니다.

로컬에서 대규모 언어 모델(LLM) 실행 는 프라이버시, 비용 관리 및 오프라인 기능을 위해 점점 더 인기를 끌고 있습니다. 2025년 4월에 Docker가 Docker Model Runner (DMR), AI 모델 배포를 위한 공식 솔루션을 도입하면서 상황은 크게 변화했습니다.

**NVIDIA DGX Spark**는 실제로 존재하며, 2025년 10월 15일부터 판매가 시작되어 통합 NVIDIA AI 스택과 함께 로컬 LLM 작업이 필요한 CUDA 개발자를 대상으로 하고 있습니다. 미국 소비자 권장 정가(MSRP)는 3,999달러이며, 영국/독일/일본의 소매 가격은 부가가치세(VAT)와 유통 채널에 따라 더 높은 편입니다. 호주/한국의 공개 스티커 가격은 아직 널리 게시되지 않았습니다.

LLM 을 비롯한 AI 작업에 적합한 최상위 소비자용 GPU 의 가격을 비교해 보겠습니다. 특히 RTX-5080 과 RTX-5090 가격 에 주목합니다. 가격이 약간 하락했습니다.

GPU 로드 모니터링 애플리케이션: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia 가 곧 NVIDIA DGX Spark를 출시합니다. 128GB 이상의 통합 RAM 과 1 PFLOPS AI 성능을 갖춘 블랙웰 (Blackwell) 아키텍처 기반의 소형 AI 슈퍼컴퓨터입니다. LLM 을 실행하기에 훌륭한 기기입니다.

2026 년의 컴퓨팅 하드웨어, 특히 LLM 과 AI 전반에 적합한 최상위 소비자용 GPU 의 가격을 비교해 보겠습니다. 구체적으로는 RTX 5080 과 RTX 5090 가격 을 살펴보세요. 가격이 약간 하락했습니다.

3 개월 전까지만 해도 상점에서 RTX 5090 을 찾아볼 수 없었는데, 이제는 등장했지만 가격은 권장 소비자 가격 (MRSP) 보다 약간 높은 편입니다. 가장 저렴한 호주 내 RTX 5080 과 RTX 5090 가격 을 비교해보고 상황이 어떻게 변했는지 확인해 보겠습니다.

참고로 2025 년 7 월 호주 내 RTX 5080 과 RTX 5090 가격, 2025 년 10 월, 그리고 2025 년 11 월 자료도 함께 참고해 보세요.

위대한 업무를 위한 최상의 자동화 시스템.