n8n AI 에이전트 평가 — Evaluation 노드로 도구 사용 정확도 테스트하기

n8n.io 공식 템플릿을 가져오면, 멀티 도구를 쓰는 AI 에이전트가 질문마다 실제로 어떤 도구를 호출했는지를 정답 데이터셋과 비교해 통과·실패로 자동 채점하는 정확성 테스트 체계를 n8n 네이티브 Evaluation 노드만으로 만들 수 있습니다.

이 템플릿 하나로 보여줄 수 있는 것

면접에서 "AI 에이전트 만들어봤다"에 이어 최근 자주 따라오는 질문은 "그게 제대로 동작하는지 어떻게 확인하나요?"입니다. 이 템플릿은 그 질문에 "정답 데이터셋을 만들어두고, 에이전트가 실제로 호출한 도구를 자동으로 채점합니다"라고 구체적으로 답할 수 있게 해줍니다.

여기서 배우는 역량은 세 가지입니다.

• 데이터셋 기반 회귀 테스트 — 코드처럼 에이전트도 "이 입력에는 이 도구를 써야 한다"는 기대값을 미리 정의해두고 반복 검증한 경험
• 에이전트 내부 동작 관찰 — 최종 답변이 아니라, 답변을 만들기까지 실제로 어떤 도구를 몇 번 호출했는지(중간 단계)를 들여다본 경험
• n8n 네이티브 QA 기능 활용 — 별도 테스트 프레임워크 없이, n8n이 제공하는 Evaluation Trigger·Evaluation 노드만으로 채점 파이프라인을 구성한 경험

이 시리즈에서 앞서 다룬 토큰 비용 추적 템플릿이 에이전트를 "얼마짜리인지" 계측하는 계층이었다면, 이 템플릿은 같은 자리에서 방향을 바꿔 에이전트가 "시킨 대로 동작했는지"를 계측합니다. 비용과 정확성은 AI 에이전트를 운영할 때 따로 관리해야 하는 두 축이고, 이 템플릿은 그중 정확성 쪽을 n8n의 네이티브 기능으로 보여주는 사례입니다.

이 템플릿은 무엇인가

이 워크플로우는 데이터팝콘이 만든 게 아닙니다. n8n 공식 템플릿 마켓플레이스(n8n.io/workflows)에 Evaluate tool usage accuracy in multi-agent AI workflows using evaluation nodes라는 이름으로 공개된 템플릿이고, 제작자는 Angel Menendez입니다. 카테고리는 Engineering과 AI Summarization으로 등록돼 있습니다.

공식 설명에 따르면 이 템플릿을 만든 대상은 "멀티 에이전트 시스템을 n8n에서 운영하면서 도구 사용 행동을 정량적으로 평가해야 하는 AI 개발자"입니다. n8n의 네이티브 기능인 Evaluation Trigger 노드와 Evaluation 노드를 사용해, AI 에이전트가 기대한 도구를 모두 제대로 호출했는지를 검증합니다. 공식 페이지가 정리한 기능은 네 가지입니다. 데이터셋 기반 에이전트 행동 테스트, 실제로 호출된 도구와 기대 도구 비교 기록, "tool_called"(true/false) 같은 성능 지표 부여, 디버깅을 위한 결과의 구글시트 저장입니다.

n8n 설치나 기본 노드 조작법은 n8n으로 반복업무 자동화 포트폴리오 만들기에 정리돼 있으니, 이 글은 이 템플릿의 구조 자체에 집중합니다.

구조 — Trigger / Task / Target

공식 문서의 흐름 설명을 데이터팝콘 방식인 Trigger/Task/Target 세 칸으로 정리하면 이렇습니다. 이 템플릿은 트리거가 두 갈래로 나뉘는 점이 특이합니다. 채팅으로 즉석 테스트를 할 수도 있고, 데이터셋의 행 하나하나를 순회하며 자동 채점할 수도 있습니다.

• Trigger — Chat Trigger로 즉석 대화를 시작해 수동 테스트를 하거나, Evaluation Trigger가 구글시트에 미리 적어둔 테스트 데이터셋을 한 행씩 읽어 자동으로 흘려보냅니다. n8n 공식 문서에 따르면 Evaluation Trigger는 평가 전용 노드로, 데이터 테이블이나 구글시트에서 읽은 데이터셋을 워크플로우에 순차적으로 전달합니다(Evaluation Trigger 노드 문서).
• Task — 두 트리거 모두 웹 검색·계산기·벡터 검색·요약 네 가지 도구를 가진 멀티 툴 AI Agent 노드로 들어갑니다. 에이전트가 답을 만드는 과정에서 실제로 호출한 중간 단계(행동과 관찰)를 추출해, 데이터셋에 적힌 "기대 도구"와 비교합니다. 일치하면 통과, 불일치하면 실패로 기록됩니다.
• Target — 비교 결과는 두 곳으로 갑니다. Evaluation 노드의 Set Metrics 오퍼레이션이 tool_called 같은 수치 지표를 n8n 자체의 Evaluations 탭에 남기고, Set Outputs 오퍼레이션이 구글시트에 결과를 그대로 적어 나중에 디버깅할 수 있게 합니다. 두 오퍼레이션 모두 n8n 공식 문서가 정의하는 Evaluation 노드의 기능입니다(Evaluation 노드 문서).

공식 카드 미리보기에 노출된 노드는 No Operation do nothing, Edit Fields(Set), AI Agent, 그리고 "+8 more"입니다. 전체 노드 구성은 11개 안팎으로 추정되지만, 나머지 8개가 정확히 무엇인지는 카드 미리보기만으로는 확인되지 않습니다. 실제 구성은 템플릿을 임포트한 뒤 캔버스에서 직접 확인해야 합니다.

만들기

공식 페이지의 Requirements와 "HOW TO SET UP" 3단계를 실제 준비 순서로 풀면 아래와 같습니다.

1. 크리덴셜 네 가지 준비

이 템플릿은 서비스 네 곳의 크리덴셜을 요구합니다. 구글시트에 결과를 쓰기 위한 Google Sheets OAuth2, 에이전트와 임베딩에 쓸 OpenRouter 또는 OpenAI, 웹 검색에 쓸 Firecrawl, 벡터 검색에 쓸 Qdrant입니다. 넷 중 하나라도 빠지면 에이전트의 도구 중 하나가 아예 동작하지 않아, "기대 도구를 호출하지 못했다"는 실패가 사실은 크리덴셜 누락 때문에 나올 수 있습니다.

2. 구글시트 테스트 데이터셋을 자신의 것으로 교체

공식 Setup의 첫 단계입니다. 템플릿에 연결된 예시 구글시트 문서를 자신의 테스트 데이터셋으로 바꿉니다. 이 시트가 곧 정답지입니다. 질문(또는 입력)마다 에이전트가 호출해야 할 도구가 무엇인지 미리 적어둬야, 나중에 실제 호출 결과와 비교할 기준이 생깁니다.

3. 모델과 에이전트 도구 설정 — 특히 Qdrant 준비

원하는 LLM을 고르고, 에이전트가 쓸 도구(요약기, 벡터스토어 등)를 설정합니다. 기본 벡터스토어는 Qdrant인데, 공식 설명은 "몇 개의 샘플 쿼리와 웹 검색 결과로 미리 만들어둬야 한다"고 안내합니다. 벡터스토어에 검색할 대상이 하나도 없는 빈 상태로 두면, 벡터 검색 도구를 호출해도 매번 빈 결과만 돌아와 평가 자체가 무의미해집니다.

4. 두 가지 경로로 실행해 확인

채팅 트리거로 직접 대화하며 즉석 테스트를 하거나, Evaluation 트리거로 데이터셋 전체를 순회하며 자동 채점을 돌립니다. 공식 문서는 이 둘 중 무엇으로 실행해도 된다고 안내합니다.

주의할 점 · 제약

공식 문서와 각 서비스의 요금 페이지를 종합하면 확인되는 제약은 네 가지입니다.

• 서비스 네 곳 전부 가입이 필요한 무거운 설정 — Google Sheets OAuth2 외에 OpenRouter(또는 OpenAI), Firecrawl, Qdrant까지 계정과 크리덴셜을 각각 준비해야 합니다. 이 시리즈에서 다룬 템플릿 중 가장 많은 외부 서비스를 요구하는 축에 속하고, 하나라도 무료 한도를 넘으면 비용이 발생합니다. Firecrawl은 신용카드 없이 월 1,000크레딧을 제공하는 무료 플랜이 있고(2026년 8월 기준, Firecrawl 요금 페이지), Qdrant는 0.5 vCPU·1GB RAM·4GB 디스크 규모의 싱글 노드 클러스터를 기간 제한 없이 무료로 제공합니다(2026년 8월 기준, Qdrant 요금 페이지). 반면 OpenRouter는 무료 플랜이 아니라 선불 크레딧을 충전해 모델별 토큰 단가만큼 차감하는 종량제이고, 카드로 크레딧을 충전하면 5.5퍼센트(최소 0.80달러)의 결제 수수료가 별도로 붙습니다(2026년 8월 기준, OpenRouter 공식 FAQ). 넷 다 무료 한도 안에서 실습은 가능하지만, 하나의 서비스로 끝나는 템플릿과는 준비 시간이 다릅니다.
• Qdrant를 비워두면 평가가 무의미해진다 — 벡터스토어에 샘플 데이터를 먼저 채워 넣지 않으면 벡터 검색 도구가 항상 빈 결과를 반환해, 그 도구를 호출했는지 여부만 채점될 뿐 검색 품질은 검증되지 않습니다.
• 평가 결과가 두 곳에 나뉘어 쌓인다 — Set Metrics는 n8n 자체 Evaluations 탭에, Set Outputs는 구글시트에 각각 기록됩니다. 어느 한쪽만 보면 전체 그림을 놓칠 수 있습니다.
• 노드 구성 불확실성 — 공식 카드 미리보기에는 No Operation do nothing, Edit Fields(Set), AI Agent 세 노드 이름과 "+8 more"만 나와 있어, 전체 노드 구성은 임포트 후 캔버스에서 직접 확인해야 합니다.

포트폴리오·면접 포인트

포트폴리오에는 정답 데이터셋(질문과 기대 도구 목록)과, Evaluation 트리거를 돌려 n8n Evaluations 탭에 통과·실패가 쌓인 화면 두 가지를 캡처해두면 됩니다. "에이전트를 만들었다" 대신 "에이전트가 데이터셋 대비 몇 퍼센트의 정확도로 도구를 올바르게 호출하는지 측정하는 체계를 만들었다"고 쓰면, 이력서 한 줄이 숫자를 가진 문장이 됩니다.

면접에서는 "AI 에이전트가 제대로 동작하는지 어떻게 테스트하나요?"라는 질문이 나올 수 있습니다. 이 템플릿을 만들어봤다면 "에이전트의 최종 답변만 보지 않고, 답변을 만들기까지 실제로 호출한 도구를 중간 단계에서 추출해 정답 데이터셋의 기대 도구와 비교했다. 일치 여부를 n8n의 Evaluation 노드로 지표화해서 데이터셋 전체에 대한 통과율을 확인할 수 있었다"고 구체적으로 답할 수 있습니다. 이런 답은 프롬프트만 만져본 사람과 에이전트를 테스트할 줄 아는 사람을 가릅니다.

다음 액션

다음 편에서는 랜딩 페이지를 OpenAI로 분석해 개선 아이디어를 받는 템플릿을 다룹니다. 지금까지는 에이전트 내부의 동작을 검증하는 도구였다면, 다음 편은 반대로 외부 결과물을 AI가 평가하는 쪽으로 방향이 바뀝니다.