n8n Ollama 로컬 LLM 챗봇 — API 키 없이 채팅형 AI 워크플로우 만들기

n8n.io 공식 템플릿을 가져오면, API 키를 하나도 발급받지 않고도 내 컴퓨터에서 도는 로컬 LLM과 채팅하는 AI 워크플로우를 노드 4개로 완성할 수 있습니다.

이 템플릿 하나로 보여줄 수 있는 것

이 시리즈에서 지금까지 다룬 템플릿은 전부 OpenAI, Gemini, Pinecone처럼 유료 클라우드 API 키가 있어야 동작했습니다. 이 템플릿은 다릅니다. API 키가 단 하나도 필요 없습니다. 대신 내 컴퓨터에 Ollama라는 프로그램을 설치해 로컬 LLM을 띄워두면, n8n이 그 LLM과 채팅창을 통해 대화를 주고받습니다.

면접에서 "유료 API 없이 AI 기능을 만들어본 적 있나요?"라는 질문을 받으면 이 템플릿으로 답할 수 있습니다. "Ollama로 로컬에서 돌아가는 LLM에 n8n을 연결해, API 비용 없이 채팅형 AI 워크플로우를 만들어봤다"는 식입니다.

문장 하나지만 안에 들어간 역량은 네 가지입니다.

• 로컬·셀프호스팅 LLM 연동 — 클라우드 API가 아니라 내 컴퓨터(또는 사내 서버)에서 도는 모델에 n8n을 붙여본 경험
• 데이터 프라이버시를 고려한 대안 설계 — 데이터 보안·기밀성이 중요한 상황에서 외부로 데이터를 보내지 않는 구성을 안다는 것
• 비용 없는 프로토타이핑 — 지속적인 클라우드 API 비용 없이 내 하드웨어에서 실험을 계속할 수 있다는 것
• 모델 실험과 학습 — 여러 로컬 LLM을 통제된 환경에서 바꿔가며 실제로 비교해본 경험

공식 문서는 이 네 가지를 이 템플릿의 대표 활용 사례로 나란히 꼽습니다. 데이터를 외부로 보내면 안 되는 사내 환경, API 비용이 부담스러운 개인 프로젝트, 아직 어떤 모델을 쓸지 정하지 못한 학습 단계까지 전부 이 조합 하나로 커버됩니다.

이 템플릿은 무엇인가

이 워크플로우는 데이터팝콘이 만든 게 아닙니다. n8n 공식 템플릿 마켓플레이스(n8n.io/workflows)에 Chat with local LLMs using n8n and Ollama라는 이름으로 공개된 템플릿이고, 제작자는 Mihai Farcas입니다. 카테고리는 Engineering과 AI Chatbot으로 등록돼 있습니다.

공식 설명에 따르면 이 템플릿은 셀프호스팅한 대형 언어모델을 사용자 친화적인 채팅 인터페이스로 편하게 다룰 수 있게 해주는 워크플로우입니다. 로컬 LLM을 관리하는 도구인 Ollama에 연결해 프롬프트를 보내고, AI가 생성한 응답을 n8n 안에서 바로 받습니다.

n8n 설치나 기본 노드 조작법은 n8n으로 반복업무 자동화 포트폴리오 만들기에 정리돼 있으니, 이 글은 이 템플릿의 구조 자체에 집중합니다.

구조 — Trigger / Task / Target

공식 문서의 "How it works"는 세 단계로 짧게 정리돼 있습니다. 데이터팝콘 방식인 Trigger/Task/Target 세 칸으로 옮기면 이렇습니다.

• Trigger — 채팅창에 메시지가 들어오면 시작하는 Chat Trigger(When chat message received) 노드
• Task — Basic LLM Chain 노드가 입력을 받아, Ollama Chat Model에 연결된 로컬 Ollama 서버로 프롬프트를 보내고 응답을 받습니다.
• Target — 생성된 응답이 그대로 같은 채팅창에 표시됩니다.

Basic LLM Chain은 AI Agent와 달리 도구를 호출하지 않고 프롬프트를 모델에 그대로 전달해 응답만 받는, 가장 단순한 형태의 체인 노드입니다. 이 템플릿의 노드 미리보기가 Sticky Note, Basic LLM Chain, Ollama Chat Model 셋에 트리거 하나를 더한 4개뿐인 이유이기도 합니다.

만들기

공식 Setup 단계는 단 두 개입니다. 그만큼 이 템플릿은 n8n 안에서의 설정보다 실행 환경 준비가 더 중요합니다.

1. Ollama 설치하고 실행해두기

Ollama는 n8n이나 클라우드 서비스가 아니라, 내 컴퓨터에 따로 설치해서 띄워두는 프로그램입니다. 공식 문서는 이 워크플로우를 실행하기 전에 Ollama가 설치돼 있고 실제로 실행 중인 상태여야 한다고 명시합니다. 다른 템플릿들처럼 크리덴셜 화면에 키 하나 붙여넣고 끝나는 게 아니라, 로컬 LLM 서버 자체를 먼저 켜둬야 한다는 뜻입니다.

2. Ollama 주소 확인하고 필요하면 수정하기

템플릿을 임포트한 뒤 Ollama Chat Model 노드에는 기본 주소가 이미 들어가 있습니다. 공식 문서는 이 주소가 실제 환경과 다르면 수정하라고만 안내합니다. Ollama를 기본 설정 그대로 띄웠다면 손댈 게 없지만, 다른 포트나 다른 머신에서 돌리고 있다면 그 주소로 맞춰줘야 합니다.

이후 Chat Trigger 노드의 채팅 패널을 열어 메시지를 보내보면, Basic LLM Chain이 그 메시지를 Ollama Chat Model로 넘기고, 로컬에서 도는 모델이 만든 응답이 그대로 채팅창에 돌아옵니다. 별도의 프론트엔드 없이 n8n 안에서 바로 대화가 되는지 확인할 수 있는 구간입니다.

주의할 점 · 제약

• API 키 대신 실행 환경이 전제 조건입니다. 키 발급 절차가 없는 대신, "Ollama가 설치되어 실행 중이어야 한다"는 조건 자체가 이 템플릿의 유일한 준비물입니다.
• n8n이 Ollama에 닿을 수 있는 위치에 있어야 합니다. Ollama가 내 컴퓨터에서 돈다면, n8n도 같은 네트워크 안에서 그 주소에 접근할 수 있는 곳에 있어야 합니다. 예를 들어 로컬에 직접 설치한 self-hosted n8n이라면 문제가 없지만, 외부에 있는 n8n 인스턴스라면 이 주소가 그대로 닿는지부터 확인해야 합니다.
• 기능이 최소 구성입니다. 노드가 4개뿐이라 도구 호출, 대화 메모리, 여러 모델 전환 같은 기능은 빠져 있습니다. 앞서 다룬 AI Agent 기반 템플릿들과 비교하면, 이 템플릿은 "로컬 LLM에 프롬프트 하나 보내고 답 받기"까지만 하는 학습용 최소 구성에 가깝습니다.

포트폴리오·면접 포인트

포트폴리오에는 워크플로우 캔버스 스크린샷과, 채팅창에 질문을 입력했을 때 로컬 LLM이 답하는 화면 캡처 한 장이면 충분합니다. 크리덴셜 입력 화면 대신 Ollama가 실행 중인 터미널이나 앱 화면을 함께 넣으면, 이 워크플로우가 클라우드 API 없이 동작한다는 사실이 한눈에 전달됩니다.

이력서에 "로컬 LLM 연동 경험"이라고 쓰면 보통 "왜 클라우드 API를 안 쓰고 로컬로 했나요?"라는 질문이 따라옵니다. 이 템플릿을 직접 만들어봤다면 "데이터를 외부로 보내지 않아도 되고, API 사용량 걱정 없이 프롬프트 구조를 실험할 수 있어서"라고 구체적으로 답할 수 있습니다. Basic LLM Chain과 AI Agent의 차이(도구 호출 여부)까지 설명할 수 있으면, 노드 이름만 아는 사람과 구조를 이해한 사람이 갈립니다.

다음 액션

다음 편에서는 도메인이 완전히 바뀝니다. 보안 담당자가 매주 인터넷에 노출된 자산을 스캔해 이상 징후를 인시던트 관리 플랫폼으로 보고하는 템플릿을 다루는데, 이번 편처럼 노드 수는 적지만 처음 보는 외부 서비스 하나를 새로 준비해야 합니다.