본문으로 건너뛰기

NVIDIA DGX Spark 초보자 가이드 2026: 1,000만 원짜리 AI 상자, 사기 전에 확인할 7단계

· 약 16분
Datapopcorn CEO / AI automation educator
이 글과 연결된 글 보기
31편 · 81개 연결
100%
문자로 온 네이버페이 포인트 기프티콘, AI 브라우저 에이전트에게 등록시켜 봤습니다해외 출장 가이드북, 메일·캘린더·지도에 흩어진 정보로 15쪽 PDF 만들기 (프롬프트 포함)AI는 똑같은데 결과가 다른 이유, 하네스: 초보자가 내 업무에 바로 붙이는 7단계이제 직원 급여도 AI가 보냅니다: 은행 앱 급여 이체부터 급여명세서 발송까지 AI 에이전트에 맡긴 8단계 (ADB)[AI 게임 리그 EP.1] AI 혼자 식물vs좀비 엔딩까지: Claude는 50판을 깼고 ChatGPT는 24판에서 멈췄습니다AI가 내 책을 학습하는 대가, 내 몫은 16만 원이었다Aside CLI 사용법: macOS·Linux 설치부터 터미널에서 AI 브라우저에게 일 시키기까지문자로 온 네이버페이 기프티콘, Aside에 한 줄로 등록하기Claude Code 회사 도입 체크리스트: 플랜·로그인·권한·비밀값·공용 설정까지 6단계Claude Code 사용량 한도에 걸려도 작업을 이어가는 법: API 크레딧으로 claude-api 명령 만들기 5단계먼저 연락하는 Claude, Claude Duet 정리: 무엇이 다르고 한국에서 대기자 신청은 어떻게 하나Claude Team 플랜에만 있는 기능과 첫 설정: 개인 Pro·Max 화면 비교부터 월간 API 크레딧(최대 $500) 받기, 슬랙 DM으로 일 시키기까지 14단계AI에게 2027 수능 전 과목을 풀게 했더니 917문항 중 910개를 맞혔습니다Daytona란 무엇인가? AI가 만든 코드를 안전하게 실행하는 샌드박스AI로 코딩은 빨라졌는데 배포는 누가 책임지나: 인포그랩 Next Delivery Stack 2026 후기문자로 쓰는 AI 비서 instinct, 처음엔 무슨 일을 시켜볼까요?LiveKit 사용법: 오픈소스로 한국어 AI 음성 비서 직접 띄우기 (응답 7초 → 3초 줄인 실제 예시)미니PC 초보자 완전 가이드 2026: 블랙프라이데이에 사기 전 확인할 7단계메타 뮤즈(Muse) 가입 방법: 미국 VPN·연령 확인(US$1)·초대 코드부터 첫 작업까지 8단계n8n Ollama 로컬 LLM 챗봇 — API 키 없이 채팅형 AI 워크플로우 만들기네이버 스마트플레이스 똑똑하게 채우는 법, AI 에이전트로 관리하기까지NVIDIA DGX Spark 초보자 가이드 2026: 1,000만 원짜리 AI 상자, 사기 전에 확인할 7단계NVIDIA NCA-GENL 온라인 원격 감독 응시 가이드: 한국에서 집에서 보는 NVIDIA 자격증OpenAI Dots는 Muse 대항마가 아니라 '클라우드 PC 비서'입니다피지컬 AI 입문 가이드: 뜻부터 로봇 없이 시작하는 첫 실습까지피클(Pickle) AI 에이전트 사용법: 설치부터 첫 일 맡기기까지, Grok Bot·Muse·Dots와 비교REA가 뭔가요? 공식 사례부터 설치·팩맨 실습까지ERP 화면 뒤 API를 읽는 법: REA로 Odoo 판매 흐름을 역추적해 보고, 더존에 적용할 때 지킬 선까지새로 포맷한 맥북, 쓰던 맥에서 Tailscale로 원격 셋업하는 7단계 (SSH 키 등록부터 Homebrew까지)Codex에 영상 넣고 "자막 따줘" 한마디|AI로 영상 자막 자동 생성하는 방법샤오미 온습도계에서 159일 기록 꺼내 웹으로 보기

드래그로 이동 · 휠/두 손가락으로 확대 · 방향키로 글 선택 · 0으로 맞춤. 실선: 본문 링크, 점선: 시리즈·주제의 대표 연결.

표시된 글 31편 목록
전체 글 연결 탐색

DGX Spark는 "빠른 컴퓨터"가 아니라 "큰 AI 모델이 통째로 들어가는 컴퓨터"입니다. 이 차이 하나만 알면 살지 말지가 거의 정해집니다. 이 글은 엔비디아 공식 문서와 플레이북, llama.cpp 개발진의 실측표, 국내외 사용자 후기를 교차해서 "내 일에 맞는지 → 어떤 제품을 어디서 → 받은 날 할 일 → 첫 모델 띄우기"까지 7단계로 정리했습니다.

NVIDIA DGX Spark 초보자 가이드 커버. 128GB 통합 메모리, 273GB/s, 1 PFLOP FP4 세 숫자와 7단계가 적혀 있다

이 글은 이런 분께 필요합니다​

  • 유튜브에서 "책상 위의 AI 슈퍼컴퓨터"라는 소개를 보고 DGX Spark가 궁금해진 분
  • 맥 스튜디오, 라이젠 AI 맥스+ 미니PC, RTX 5090 데스크톱 사이에서 로컬 LLM용 컴퓨터를 고민하는 분
  • 회사 데이터를 외부 AI 서비스에 보내기 어려워서 사내 로컬 AI를 검토하는 실무자
  • 이미 주문했고, 받는 날 무엇부터 해야 하는지 알고 싶은 분

먼저 솔직하게 말씀드리면, 저도 아직 DGX Spark가 없습니다. 갖고 싶어서 사기 전에 알아야 할 것을 정리하다 보니 이 글이 됐습니다. 그래서 이 글은 직접 써 본 사용기가 아니라 공개 자료를 교차해서 만든 구매·입문 가이드입니다. 명령어는 엔비디아 공식 플레이북에 있는 그대로 옮겼고 저희가 실행해 보지는 않았습니다. 개인 사용자의 경험은 "한 사용자 후기"라고 표시했고, 출처는 글 끝에 모두 적었습니다. 가격은 2026년 11월 21일 기준입니다.

먼저, DGX Spark는 무엇인가​

DGX Spark는 엔비디아가 만든 손바닥만 한 리눅스 컴퓨터입니다. 가로세로 15cm, 높이 5cm, 무게 1.2kg으로 맥미니보다 조금 큰 상자입니다. 안에는 GB10이라는 칩 하나가 들어 있는데, 이 칩 안에 CPU(20코어 Arm)와 GPU(블랙웰)가 같이 들어 있습니다.

핵심은 통합 메모리입니다. 보통 컴퓨터는 메모리가 둘로 나뉩니다.

구분일반 게이밍 PCDGX Spark
CPU가 쓰는 메모리시스템 램 (예: 64GB)128GB를 CPU와 GPU가 함께 씀
GPU가 쓰는 메모리그래픽카드 VRAM (RTX 5090도 32GB)위와 같은 128GB
AI 모델이 들어갈 수 있는 크기VRAM 크기에서 막힘128GB 안이면 대부분 들어감

AI 모델은 GPU 메모리에 통째로 올라가야 빠르게 돌아갑니다. 그래서 가장 비싼 소비자용 그래픽카드도 32GB에서 막히는데, DGX Spark는 128GB 안에 모델을 올릴 수 있습니다. 엔비디아는 한 대로 최대 2,000억(200B) 파라미터 모델의 추론, 두 대를 연결하면 4,050억(405B) 파라미터까지 다룰 수 있다고 안내합니다.

용어 두 개만 더 알고 가겠습니다.

  • 토큰: AI가 글을 읽고 쓰는 단위입니다. 모델마다 다르지만 한국어는 대략 한두 글자가 1토큰 정도입니다. "초당 50토큰"이면 사람이 읽는 속도보다 빠르게 글이 나옵니다.
  • 프리필과 디코드: AI가 답하는 과정은 두 단계입니다. 먼저 질문과 자료를 한꺼번에 읽는 단계(프리필), 그다음 한 토큰씩 답을 쓰는 단계(디코드)입니다. DGX Spark는 읽기는 빠르고 쓰기는 보통인 기계입니다. 이 이야기는 Step 2에서 숫자로 보겠습니다.

Step 1. 내 일이 DGX Spark에 맞는지 먼저 판정합니다​

가장 많이 나온 조언은 "무엇을 돌릴지부터 정하라"였습니다. 국내 로컬 LLM 커뮤니티의 한 사용자는 업무 자동화가 목적이라면 20~30B급 모델과 도구 연결만 잘 구성해도 많은 일을 할 수 있다고 했고, 다른 사용자는 반대로 대형 모델을 한 대로 돌릴 수 있게 되면서 유료 AI를 끊었다고 했습니다. 같은 기계를 두고 평가가 갈리는 이유는 용도가 다르기 때문입니다.

잘 맞는 일안 맞는 일
70~120B급 MoE 모델(gpt-oss-120b 등)을 내 책상에서 돌리기게임 (리눅스 Arm 기계이고 윈도우가 아님)
긴 문서·코드베이스를 통째로 넣는 RAG, 코딩 에이전트 (프리필이 빠름)70B급 일반(dense) 모델을 빠른 채팅 속도로 쓰기
LoRA 같은 미세조정, CUDA 코드 개발과 실험윈도우 전용 프로그램, 포토샵 같은 일반 PC 작업
외부로 보낼 수 없는 데이터로 AI 실험리눅스 터미널을 전혀 다루고 싶지 않은 경우
24시간 켜 두는 개인 AI 서버, 개발 서버가장 큰 모델의 최고 품질이 필요한 경우 (클라우드 프론티어 모델이 나음)

저희처럼 n8n으로 업무 자동화를 만드는 입장에서 DGX Spark가 매력적인 지점은 "회사 문서를 밖으로 보내지 않고 큰 모델에 맡길 수 있다"는 점입니다. 반대로 매달 쓰는 AI 구독료를 아끼려는 목적이라면 Step 3의 가격표를 먼저 보고 계산해 보시는 편이 좋습니다.

Step 2. 스펙표에서 숫자 세 개만 읽습니다​

DGX Spark 스펙표는 길지만, 초보자가 볼 숫자는 세 개입니다.

숫자뜻초보자용 해석
128GB 통합 메모리모델을 올릴 수 있는 공간얼마나 큰 모델이 들어가는가
273GB/s 메모리 대역폭메모리에서 데이터를 꺼내는 속도답을 얼마나 빨리 쓰는가
1 PFLOP FP44비트 연산 기준 최대 계산 성능(희소성 적용)긴 자료를 얼마나 빨리 읽는가, 학습이 얼마나 되는가

모델이 들어가는지 계산하는 법: 요즘 로컬 모델은 대부분 4비트로 줄여서(양자화) 씁니다. 4비트 기준 모델 파일 크기는 대략 파라미터 수(B)의 절반을 조금 넘는 GB입니다. 실제로 gpt-oss-20b(MXFP4)는 11.3GB, gpt-oss-120b는 59GB입니다. 여기에 대화 기록을 담는 공간(KV 캐시)과 운영체제 몫을 더해야 하니, 128GB 모델이라면 100B급 모델 하나에 긴 대화, 또는 30B급 모델 두 개 정도가 현실적인 범위라는 후기가 있었습니다.

실제 속도: llama.cpp 개발진이 2026년 2월에 DGX Spark에서 직접 잰 공식 측정표입니다. "읽기"는 2,048토큰 질문을 읽는 속도, "쓰기"는 답을 쓰는 속도입니다.

모델크기읽기 (토큰/초)쓰기 (토큰/초)대화 3.2만 토큰 쌓인 뒤 쓰기
gpt-oss-20b (MXFP4)11.3GB4,50683.461.7
gpt-oss-120b (MXFP4)59.0GB2,44458.742.8
Qwen3-Coder 30B-A3B (Q8)30.3GB2,98761.130.2
Qwen2.5-Coder 7B (Q8, dense)7.5GB2,25029.422.5

이상한 점이 보이실 겁니다. 120B 모델(58.7)이 7B 모델(29.4)보다 답을 빨리 씁니다. 비밀은 MoE(전문가 혼합) 구조입니다. gpt-oss-120b는 파라미터가 1,170억 개지만 토큰 하나를 쓸 때는 그중 일부만 꺼내 씁니다. 반면 7B dense 모델은 모든 파라미터를 매번 읽습니다. DGX Spark처럼 대역폭이 병목인 기계에서는 MoE 모델이 훨씬 유리합니다. 실제로 SGLang 개발진(LMSYS)이 잰 70B dense 모델(Llama 3.1 70B, FP8)은 초당 2.7토큰이었습니다. 한 글자씩 기다려야 하는 속도입니다.

정리하면, DGX Spark에서는 MoE 모델을 고르는 것이 가장 큰 속도 차이를 만듭니다. 그리고 대화가 길어질수록 쓰기 속도가 20~50% 떨어진다는 점도 기억해 두세요.

Step 3. 64GB와 128GB, 어느 회사 제품을 어디서 살지 정합니다​

DGX Spark는 엔비디아가 직접 파는 파운더스 에디션과, 같은 GB10 칩을 넣은 파트너 제품이 있습니다. 파트너는 에이서, 에이수스, 델, 기가바이트, HP, 레노버, MSI이고 제품마다 SSD 용량, 케이스, 보증이 다릅니다. 칩과 운영체제(DGX OS), 소프트웨어는 같습니다.

가격이 두 번 올랐습니다. 2025년 10월 출시 때 미국 가격은 3,999달러였는데, 엔비디아가 메모리 공급 부족을 이유로 2026년 2월 4,699달러로 올렸고, 2026년 10월에는 6,950달러가 됐습니다. 같은 달 메모리를 절반으로 줄인 64GB 모델이 파트너 전용으로 4,999달러부터 나왔습니다. 한국은 출시 당시 파운더스 에디션 4TB가 715만 원이었습니다.

제품 (2026-11-21 국내 최저가 기준)메모리·SSD가격
ASUS Ascent GX10128GB · 1TB약 915만 원
ASUS Ascent GX10128GB · 2TB약 1,069만 원
ASUS Ascent GX10128GB · 4TB약 1,279만 원
NVIDIA DGX Spark 파운더스 에디션128GB · 4TB약 1,199만~1,238만 원
64GB 모델64GB미국 4,999달러부터, 국내 판매 목록은 아직 드묾

고를 때 볼 것은 세 가지입니다.

  1. 64GB냐 128GB냐: 엔비디아 기준으로 64GB는 100B급까지, 128GB는 200B급 추론과 70B급 미세조정까지입니다. gpt-oss-120b(59GB)를 넉넉하게 돌리려면 128GB가 맞습니다. 64GB가 새로 나왔지만 128GB의 출시가보다 1,000달러 비싸다는 점은 참고하세요.
  2. SSD 용량: 모델 파일이 하나에 수십 GB입니다. 여러 모델을 받아 두려면 2TB 이상이 편하고, 1TB 모델은 외장 SSD를 같이 쓰는 경우가 많습니다.
  3. 보증(AS): 판매처마다 1년~3년으로 다릅니다. 상품명에 "AS 3년", "1Y+2Y" 같은 표기가 있는지 확인하세요. 한 사용자는 기가바이트 AI TOP ATOM이 3년 AS가 기본이라 골랐다고 했습니다.

중고 시장에서는 1TB 파트너 제품이 700만~830만 원대에 거래되거나 구매 글이 올라와 있습니다(중고나라, 11월 기준). 새 제품 가격이 계속 오르면서 생긴 흐름입니다.

Step 4. 사기 전에 빌려서 써 보고, 대안과 비교합니다​

1,000만 원 가까운 기계를 사기 전에 할 수 있는 일이 있습니다.

빌려서 써 보기: 클라우드 GPU 임대 서비스 Vast.ai에는 GB10 기계가 시간당 0.24달러부터(중간값 0.55달러) 올라와 있습니다(2026-11-17 조회). 하루 이틀 빌려서 내가 쓰려는 모델을 실제로 띄워 보면, 속도가 견딜 만한지 바로 알 수 있습니다. 엔비디아 플레이북(build.nvidia.com/spark)도 계정 없이 읽을 수 있으니 미리 훑어보세요.

대안과 비교하기: 같은 128GB급 로컬 LLM 컴퓨터로 많이 비교되는 기계들입니다.

기계메모리 대역폭gpt-oss-120b 쓰기gpt-oss-120b 읽기특징
DGX Spark273GB/s58.72,444CUDA 그대로, 여러 대 연결, 미세조정
라이젠 AI 맥스+ 395 미니PC256GB/s47.5약 1,000가격이 낮음, 쓰기는 비슷, 읽기는 느림
맥 스튜디오 (M5 울트라)1.2TB/s대역폭상 더 빠를 것으로 추정측정 조건마다 다름쓰기에 유리, CUDA 없음
RTX 5090 데스크톱그래픽카드 32GB32GB에 들어가는 모델은 가장 빠름빠름큰 모델은 안 들어감

라이젠 AI 맥스+ 수치는 llama.cpp 토론방의 한 사용자가 같은 조건으로 잰 값이고, 맥은 측정 환경이 서로 달라 숫자 대신 경향만 적었습니다.

고르는 기준을 한 줄로 줄이면 이렇습니다.

  • 긴 문서를 넣고 에이전트를 돌린다 → 읽기가 빠른 DGX Spark
  • 채팅처럼 답이 빨리 나오는 게 중요하다 → 대역폭 높은 맥 스튜디오
  • 가격이 가장 중요하고 쓰기 속도만 비슷하면 된다 → 라이젠 AI 맥스+
  • 모델이 32GB 안에 들어간다 → RTX 그래픽카드

참고로 국내 하드웨어 커뮤니티의 한 사용자는 6개월 사용 후 "비추천"이라는 후기를 남겼습니다. 이미지 생성 도구 ComfyUI에서 통합 메모리 구조 때문에 모델이 두 번 올라가 메모리가 부족해지고, 새 모델의 NVFP4 양자화가 GB10 칩(SM121)에서 오류가 나는 경우가 많고, 고부하 작업 중 전원이 꺼져 교체(RMA)를 두 번 받았는데 5주 넘게 걸렸다는 내용입니다. 반대로 개발자 팟캐스트에 나온 사용자 3명은 "한번 켜면 꺼진 적이 없다", "맥북 대신 DGX가 뜨거워진다"며 만족했습니다. 둘 다 한 사람의 경험이니, 사기 전에 엔비디아 개발자 포럼의 DGX Spark 게시판을 한 번 훑어보시길 권합니다.

Step 5. 받은 날: 놓을 자리와 전원을 정하고 첫 부팅을 합니다​

놓을 자리: 엔비디아가 안내하는 적정 동작 온도는 5~30°C입니다. 여름에 에어컨 없는 방이나 통풍이 막힌 책장 안은 피하세요.

전원: 240W USB-C 어댑터가 같이 옵니다. 뒷면 USB-C 4개 중 하나가 전원용입니다. 전기는 생각보다 적게 먹습니다. 톰스하드웨어 측정으로 모니터 없이 켜 두면 약 35W, 4K 모니터를 연결하면 약 40W였습니다. 24시간 35W로 한 달을 켜 두면 주택용 전기요금 1단계 기준 약 3,800원, 2단계 기준 약 6,500원입니다(계산 방법은 미니PC 초보자 가이드의 전기요금 표와 같습니다). 다만 미세조정처럼 계속 최대 부하를 거는 작업이면 훨씬 많이 나옵니다.

첫 부팅은 두 가지 방법이 있습니다. 어떤 방법을 고르든 첫 설정에만 해당하고, 끝나면 원하는 방식으로 쓸 수 있습니다.

방법준비물순서
모니터 연결모니터(HDMI), 키보드, 마우스전원을 켜면 설정 마법사가 화면에 자동으로 뜸
네트워크로 (모니터 없이)노트북 한 대전원을 켜면 DGX Spark가 와이파이 핫스팟을 만듦 → 상자 속 빠른 시작 안내서 스티커의 이름·비밀번호로 노트북을 연결 → 브라우저에 설정 페이지가 열림

설정 화면은 언어·시간대 → 키보드 배열 → 약관 → 사용자 계정 → 정보 공유(선택) → 와이파이(유선 랜이 꽂혀 있으면 건너뜀) → 소프트웨어 내려받기와 설치 순서로 진행됩니다. 마지막 설치는 시간이 걸리니 유선 랜(10GbE 포트)을 꽂아 두는 편이 좋습니다.

첫 부팅에서 자주 막히는 지점도 공식 문서에 있습니다.

  • 블루투스 키보드는 "Get Started" 화면에서만 페어링됩니다. 버튼을 누른 뒤에는 페어링이 멈추니, 그때는 전원을 껐다 켜야 합니다. 처음에는 유선 키보드를 쓰는 편이 마음 편합니다.
  • USB-C로 연결한 모니터가 까맣다면 HDMI로 바꿔 보세요.
  • 회사처럼 복잡한 네트워크에서는 네트워크 방식 설정이 기기를 못 찾을 수 있습니다. 그때는 모니터 방식으로 하면 됩니다.
  • 파트너 제품(ASUS, HP, 레노버 등)은 상자에 든 빠른 시작 안내서를 먼저 확인하세요. 위 순서는 파운더스 에디션 기준입니다.

Step 6. 노트북에서 원격으로 붙는 길을 만듭니다​

DGX Spark는 모니터 앞에 앉아서 쓰기보다, 책상 구석에 두고 노트북에서 붙어 쓰는 기계입니다. 사용자 후기에서도 "맥북 에어 하나 들고 DGX에 붙어서 개발하는 구조가 생각보다 훨씬 편했다"는 말이 반복됐습니다. 엔비디아는 이걸 위해 NVIDIA Sync라는 무료 앱을 줍니다.

  1. 노트북에 NVIDIA Sync를 설치합니다. 윈도우 11, macOS, 우분투 24.04 이상을 지원합니다. 맥은 nvidia-sync.dmg를 열어 응용 프로그램 폴더로 옮기면 됩니다.
  2. 약관에 동의하고, 원격으로 열 IDE(VS Code, Cursor 등)를 고릅니다.
  3. 같은 와이파이에 있으면 spark-abcd.local 같은 이름으로 DGX Spark가 자동으로 보입니다. 안 보이면 "Add a device manually"를 누르고 IP 주소, 사용자 이름, 비밀번호를 넣습니다. 비밀번호는 처음 연결할 때만 쓰고 저장하지 않는다고 안내합니다.
  4. Docker 그룹 설정을 물으면 허용해 두는 편이 편합니다. 나중에 docker 명령마다 sudo 비밀번호를 칠 필요가 없어집니다(대신 그만큼 권한이 넓어집니다).
  5. 연결되면 작업 표시줄 메뉴에서 세 가지를 바로 열 수 있습니다.
메뉴하는 일
TerminalDGX Spark에 SSH로 접속한 터미널
DGX Dashboard시스템 업데이트, GPU·메모리 사용량, 주피터랩을 한 화면에서 (기기 안에서는 http://localhost:11000)
Resource MonitorCPU, 메모리, GPU 사용률 창

집 밖에서도 쓰려면 NVIDIA Sync의 Tailscale 연동을 켭니다. 처음 연결은 같은 네트워크에서 해야 하고, Tailscale을 켠 뒤에는 다른 네트워크에서도 붙을 수 있습니다. Tailscale이 처음이라면 새 맥을 원격으로 셋업하는 7단계에 개념부터 정리해 두었습니다.

시스템 업데이트는 DGX Dashboard에서 하는 것이 가장 쉽습니다. 2026년 10월 말부터는 NVIDIA Sync가 설정해 주는 OpenCode 안에서 문제 해결, 여러 대 연결, 기기 관리를 도와주는 DGX Spark 전용 스킬도 쓸 수 있다고 안내합니다.

Step 7. Open WebUI로 첫 모델을 띄우고 대화합니다​

이제 챗GPT 같은 화면에서 내 기계에 올린 모델과 대화해 보겠습니다. 엔비디아 공식 플레이북 "Open WebUI and Ollama"의 데스크톱 경로를 그대로 옮겼습니다. 공식 예상 시간은 15~20분이고, 컨테이너 이미지(약 7GB)와 모델(gpt-oss:20b 약 15GB)을 받을 디스크 공간이 필요합니다.

1) Docker 권한 확인: DGX Spark 터미널에서 실행합니다. 아무것도 안 나오면 통과입니다.

docker ps > /dev/null

permission denied가 나오면 사용자를 docker 그룹에 넣고 다시 확인합니다.

sudo usermod -aG docker $USER
newgrp docker
docker ps > /dev/null

2) Open WebUI(올라마 포함) 이미지 받기

docker pull ghcr.io/open-webui/open-webui:ollama

3) 컨테이너 실행: --gpus=all이 GPU를 쓰게 하는 옵션입니다. 대화 기록은 open-webui 볼륨에, 모델은 open-webui-ollama 볼륨에 저장됩니다.

docker run -d -p 8080:8080 --gpus=all \
-v open-webui:/app/backend/data \
-v open-webui-ollama:/root/.ollama \
--name open-webui ghcr.io/open-webui/open-webui:ollama

4) 관리자 계정 만들기: 브라우저에서 http://localhost:8080을 열고 아래쪽 Get Started를 눌러 로컬 관리자 계정을 만듭니다. 노트북에서 NVIDIA Sync로 띄우는 경로를 쓰면 주소는 http://localhost:12000입니다.

5) 모델 받기: 왼쪽 위 Select a model에 gpt-oss:20b를 입력하고, 오른쪽에 Ollama 표시가 붙은 Download "gpt-oss:20b" 버튼을 누릅니다. 다 받으면 목록에서 gpt-oss:20b를 고릅니다.

6) 첫 대화: 채팅창에 아무 질문이나 넣어 봅니다. 공식 플레이북 예시는 "Write me a haiku about GPUs"입니다. 답이 나오면 성공입니다.

여기까지 됐다면 128GB의 진짜 쓸모를 볼 차례입니다. 같은 방법으로 gpt-oss:120b를 받아서 20b와 답의 품질, 속도를 비교해 보세요. Step 2 표대로라면 120b도 초당 50토큰 안팎으로 답을 씁니다.

다음으로 해 볼 만한 공식 플레이북은 이렇습니다. 모두 build.nvidia.com/spark에 있습니다.

하고 싶은 일플레이북
여러 사람이 동시에 쓰는 API 서버vLLM, SGLang
모델 미세조정Unsloth, LLaMA Factory, NeMo Fine-tune
이미지 생성ComfyUI, FLUX 미세조정(128GB 전용)
두 대 이상 연결Connect Multiple Sparks, vLLM Cluster
코딩·업무 에이전트CLI Coding Agent, Hermes Agent, OpenClaw

로컬 모델을 n8n 자동화에 붙이는 방법은 n8n에서 Ollama 로컬 LLM으로 채팅하기를, 엔비디아 생성형 AI 자격증이 궁금하다면 NVIDIA NCA-GENL 가이드를 참고하세요.

정리(선택): 모두 지우고 싶을 때만 실행합니다. 대화 기록과 받은 모델이 영구 삭제됩니다.

docker stop open-webui
docker rm open-webui
docker rmi ghcr.io/open-webui/open-webui:ollama
docker volume rm open-webui open-webui-ollama

자주 나오는 문제와 해결​

증상원인해결
docker ps에서 permission denied사용자가 docker 그룹에 없음Step 7의 그룹 추가 후 로그아웃했다가 다시 로그인
컨테이너에서 GPU를 못 찾음--gpus=all 옵션 누락컨테이너를 지우고 옵션을 넣어 다시 실행
8080(또는 12000) 포트가 이미 사용 중다른 프로그램이 같은 포트를 씀명령의 포트 번호를 바꾸거나 충돌하는 서비스를 끔
메모리 안인데도 메모리 부족이 남통합 메모리에 파일 캐시가 쌓임공식 안내대로 sudo sh -c 'sync; echo 3 > /proc/sys/vm/drop_caches' 실행
NVIDIA Sync에 기기가 안 보임네트워크가 mDNS를 막음공유기에서 IP를 확인해 "Add a device manually"로 추가
블루투스 키보드가 첫 설정에서 안 잡힘Get Started를 누른 뒤 페어링이 멈춤전원을 껐다 켜거나 유선 키보드 사용
HDMI 모니터가 절전 후 안 깨어남공식 문서에 올라온 알려진 문제원격 접속(NVIDIA Sync)으로 쓰거나 최신 업데이트 적용
70B 모델이 너무 느림dense 모델은 대역폭에 막힘gpt-oss-120b, Qwen 30B-A3B 같은 MoE 모델로 바꿈
새로 나온 NVFP4 모델이 오류GB10(SM121) 지원이 늦은 경우검증된 GGUF·Q4 버전을 쓰거나 포럼의 성공 레시피 확인
고부하 작업 중 전원이 꺼짐사용자 후기에 나온 하드웨어 불량 사례판매처·제조사 AS 문의. 보증 기간이 긴 제품을 고르는 이유

참고한 자료​

엔비디아 공식

성능 측정

가격

사용자 후기

전체 연결 보기