← 노드 한 장 전체#61 · Recursive Character Text Splitter
Recursive Character Text Splitter
501자 가상 문서를 13조각으로: 겹침 설정20과 실제 경계25자 대조
이 글은 이런 분께한 문서를 작은 청크로 나눌 때 길이와 겹침이 실제로 어떻게 나오는지 확인하고 싶은 분
1분 영상은 @workflow.hanjang 에 순서대로 공개돼요
문서 전체는 원문, 청크는 나눈 부분이에요.
노드 한 장 #61 · Recursive Character Text Splitter
먼저 결과부터
직접 쓴 가상 문서501자를 Recursive Character Text Splitter(Chunk Size100·Overlap20)로 실제 나눠13조각을 얻었습니다(#74879). 각 길이·원문 포함·순서·겹침을 직접 대조했고 #3→#4의 실제 겹침은25자, 다른 일부는26/23자, 나머지는0자였어요. 설정20을 모든 경계의 실측20으로 말하지 않습니다. 비공백 문자는 모두 포함됐지만 경계 줄바꿈12자 누락과 중복이 있어 단순 연결 복원을 보장하지 않아요. 공식 문서 설명과 이번 실행의 실측을 구분했습니다.
우리가 실제로 돌린 기록 · 실행 #74879 · 2026-10-30
우리가 실제로 돌린 기록 · 실행 #74879 · 2026-10-30
따라 하기
실제로 실행한 워크플로우를 바탕으로 정리했어요. 계정·식별자는 공개용 값으로 치환했고, 그 밖의 차이는 아래 주의사항에 표시했어요. n8n 캔버스에서 +를 눌러 노드를 순서대로 추가하고 같은 값을 넣으면 돼요. 빨간 제목이 이번 편의 주인공 노드예요. 표 왼쪽은 n8n 편집기에 보이는 칸 이름, 오른쪽은 다운로드 JSON의 설정값이에요. 직접 입력하기 번거로우면 JSON을 받아 ⋯ → Import from File로 가져오세요.
Step 1. Manual Trigger 노드 추가이름: Run manually
설정 없이 그대로 추가해요.
Step 2. Code 노드 추가이름: One fictional document
| JavaScript | // 직접 작성한 가상 문서 한 개. 개인정보/emoji 없음.
return [{json:{document:"샘플 문서: 작은 문구점의 가상 운영 안내\n\n가. 입고 준비\n새 공책과 연필을 받으면 포장 상태와 수량을 먼저 확인합니다. 확인한 물건은 종류별 임시 칸에 나누어 두고, 진열 전에는 가격표와 샘플 목록이 일치하는지 점검합니다. 이 안내는 실제 매장 업무 기록이 아닙니다.\n\n나. 진열 정리\n진열대는 공책, 필기구, 메모지 순서로 정리합니다. 자주 찾는 물건은 손이 닿기 쉬운 곳에 놓고, 빈 칸이 보이면 보관 상자에서 같은 종류를 꺼냅니다. 샘플 가격표는 읽기 쉬운 방향으로 붙입니다.\n\n다. 문의 기록\n가상 문의는 제품 종류와 필요한 수량만 적습니다. 이름이나 연락처는 넣지 않습니다. 같은 제품에 대한 질문은 묶어서 살펴보고, 안내문에서 빠진 설명이 있으면 다음 샘플 문서에 보완합니다.\n\n라. 마감 확인\n마감할 때는 남은 물건을 종류별로 세고 다음 입고 목록과 비교합니다. 파손된 샘플은 따로 표시하며, 마지막으로 진열대와 보관 상자를 정리합니다. 모든 예시는 직접 작성한 가상 상황입니다."}}]; |
Step 3. Simple Vector Store 노드 추가이름: Own Simple Vector Store
| Operation Mode | Insert Documents |
| Memory Key | TEST_RECURSIVE_SPLITTER_STORE |
| Clear Store | 꺼짐 |
Step 4. Default Data Loader 노드 추가이름: Default Data Loader
| Type of Data | JSON |
| Mode | Load All Input Data |
| Text Splitting | Custom |
Step 5. Embeddings OpenAI 노드 추가이름: Embeddings OpenAI
| Model | text-embedding-3-small |
| Options › Dimensions | 256 |
| Options › Batch Size | 16 |
| Options › Encoding Format | Float |
Step 6. Recursive Character Text Splitter 노드 추가이름: Recursive Character Text Splitter
| Chunk Size | 100 |
| Chunk Overlap | 20 |
가져와서 쓸 때 확인할 것
- [실제 확인] Chunk Size100/Overlap20 설정으로13조각이 나왔으며 실제 길이와 겹침은 chunk-verification.json에서 원문 offset과 suffix/prefix로 검증했습니다.
- [실제 확인] 실제 인접 겹침은0,25,26,23자로 관측됐습니다. 모든 경계가 설정 숫자20만큼 딱 겹친다고 설명하지 않았어요.
- [실제 확인] 모든 조각은 원문 부분 문자열이고 순서도 유지됐지만 경계 줄바꿈12자가 빠지고 겹침 중복이 있어 단순 연결 복원을 보장하지 않습니다.
- [문서 기준] 문단·문장·단어를 가능한 유지하는 방식이라는 설명과 실제 실행을 구분했습니다. 기본 분리자별 경로/순서를 실행 추적한 것으로 주장하지 않아요.
- [실제 확인] Loader Text Splitting을 Custom으로 하고 Recursive Splitter를 ai_textSplitter 연결에 붙였습니다.
- [공개 정제] 고유 private key만 TEST_RECURSIVE_SPLITTER_STORE로 바꿨으며 샘플과 수치 설정, Clear Store=false는 실제 실행과 동일합니다. 본인만 쓰는 고유 테스트 키로 바꿔 사용하세요.
- YOUR_… 표시를 내 값으로 바꾸고, 계정이 필요한 서비스 노드만 자격 증명을 연결하세요. 그런 칸이나 노드가 없는 예제는 추가 계정 없이 실행할 수 있어요.
노드의 모든 옵션은 n8n 공식 문서에서 볼 수 있어요.