AI가 뽑은 "+124% 증가", 믿기 전에 확인할 7단계 — 데이터 분석 함정 체크리스트

AI가 만든 분석 결과를 보고서에 옮기기 전에, 기준 시점 → 표본 → 세는 단위 → 매체 → 인과 순서로 7단계만 확인하면 그럴듯하게 틀린 숫자를 대부분 걸러낼 수 있습니다.

AI에게 "이 데이터 분석해줘"라고 하면 표와 그래프가 몇 분 만에 나옵니다. 문제는 결과가 틀렸는데도 그럴듯해 보인다는 점입니다. 특히 "+124% 증가"처럼 숫자가 크면 사람은 오히려 의심을 멈춥니다. 숫자가 크다는 것 자체가 근거처럼 느껴지기 때문입니다.

이 글의 예시 숫자는 모두 누구나 받을 수 있는 공개 데이터(World Bank, 위키백과 조회수)로 직접 계산했습니다.

이 글은 이런 분께 필요합니다

• ChatGPT·Claude·Gemini에게 엑셀이나 CSV를 주고 분석을 시켜 본 분
• 팀원이나 AI가 뽑아 온 "○○% 증가" 보고를 검토하고 결재해야 하는 리더·기획자
• 데이터 분석 포트폴리오를 만들면서 "이 결론, 면접에서 공격받지 않을까" 걱정되는 취준생

준비물은 두 가지입니다.

1. AI가 만든 분석 결과 하나(문장, 표, 그래프 무엇이든 됩니다)
2. 그 분석을 만든 AI 대화창(같은 창에서 다시 계산을 시킬 것이므로)

통계 지식은 없어도 됩니다. 필요한 개념은 단계마다 처음부터 설명합니다.

Step 1. 결과에서 "숫자 문장"만 뽑아 비교 기준을 적습니다

분석 결과 전체를 읽기 전에, 숫자가 들어간 문장만 따로 뽑습니다. 그리고 문장마다 **"무엇과 비교한 숫자인가"**를 옆에 적습니다.

AI가 쓴 문장	비교 기준
항공 여객이 124% 증가했습니다	2021년 대비 2023년
4월 주말 관심도가 19% 줄었습니다	3월 첫 토요일 대비 4월 첫 토요일

비교 기준을 적을 수 없는 문장이 있다면 그것부터 문제입니다. AI 대화창에 이렇게 물어봅니다.

방금 결과에서 % 변화가 들어간 문장마다, 무엇(기간·대상)과 비교한 값인지 표로 정리해 줘.
비교 기준이 데이터에 없는 문장이 있으면 표시해 줘.

이 표가 다음 단계들의 출발점입니다.

Step 2. 기준 시점이 "비정상적인 때"인지 확인합니다

변화율은 "지금 값 ÷ 기준 값 − 1"입니다. 분모인 기준 값이 비정상적으로 작으면 변화율은 저절로 커집니다. 그래서 기준 시점을 언제로 잡았는지가 결론의 절반을 정합니다.

실제 데이터로 계산해 보겠습니다. World Bank가 공개하는 한국 국적 항공사가 1년간 실어 나른 국내선·국제선 여객 수(지표 코드 IS.AIR.PSGR)입니다.

연도	여객 수
2019	9,243만 명
2020	3,003만 명
2021	3,402만 명
2023	7,627만 명

같은 2023년 숫자인데 기준을 무엇으로 잡느냐에 따라 결론이 이렇게 바뀝니다.

• 2020년 대비: +154.0%
• 2021년 대비: +124.2%
• 2019년 대비: −17.5%

"항공 여객 124% 급증"과 "코로나 이전보다 아직 17.5% 적음"은 둘 다 맞는 숫자입니다. 2020~2021년은 코로나로 하늘길이 거의 막혔던 시기라, 이 해를 기준으로 잡으면 회복을 성장처럼 읽게 됩니다.

확인 방법은 세 줄입니다.

1. 기준 시점이 언제인지 Step 1 표에서 찾습니다.
2. 그때 코로나, 재난, 정책 변화, 명절·연휴 같은 특별한 일이 있었는지 확인합니다.
3. 있었다면 정상 시점을 기준으로 다시 계산시킵니다.

기준을 2019년(또는 특별한 사건이 없던 해)으로 바꿔서 같은 변화율을 다시 계산해 줘.
두 결과를 나란히 보여주고, 결론이 달라지는지 한 줄로 알려 줘.

Step 3. 한 점끼리 비교했는지 확인하고, 범위를 넓혀 다시 계산합니다

표본은 결론을 내리는 데 쓴 데이터 조각입니다. "3월 첫 토요일 vs 4월 첫 토요일"처럼 하루씩만 비교하면 표본은 두 개뿐입니다. 그날 비가 왔는지, 공휴일이었는지에 따라 숫자가 크게 흔들립니다.

위키백과 '부산광역시' 문서의 2025년 3~4월 일별 조회수로 직접 계산해 봤습니다.

비교 방법	3월	4월	변화율
첫 토요일끼리	207 (3/1)	167 (4/5)	−19.3%
둘째 토요일끼리	258 (3/8)	139 (4/12)	−46.1%
토요일 전체 평균	180.2	149.8	−16.9%
한 달 전체 일평균	188.7	212.6	+12.6%

어느 토요일을 골랐느냐에 따라 −19%와 −46%가 나오고, 한 달 전체를 보면 방향이 아예 증가로 뒤집힙니다. 게다가 3월 1일은 삼일절 공휴일이었습니다. "첫 토요일"이라는 평범해 보이는 기준 안에 특수일이 숨어 있었던 겁니다.

확인 순서는 이렇습니다.

1. 비교에 쓴 날짜(또는 건수)가 몇 개인지 셉니다. 한두 개라면 넓혀야 합니다.
2. 같은 기간의 전체 평균이나 합계로 다시 계산합니다.
3. 결과의 방향(증가/감소)이 유지되는지 봅니다. 방향이 바뀌면 원래 결론은 쓰지 않습니다.

방금 비교에 쓴 날짜가 몇 개인지 알려 줘.
같은 기간 전체 일평균으로 다시 계산하고, 공휴일·연휴가 섞여 있으면 표시해 줘.
결론의 방향이 바뀌는지도 알려 줘.

한 가지 더 봅니다. 하루 조회수가 200 안팎처럼 절대량이 작은 데이터는 하루 수십 건 차이만으로도 변화율이 수십 %씩 움직입니다. 작은 숫자의 큰 변화율은 신호보다 노이즈일 가능성이 높습니다.

Step 4. "무엇을 셌는지"가 질문과 같은지 확인합니다

AI가 키워드나 이름으로 데이터를 셌다면, 그 글자가 다른 뜻과 섞이지 않았는지 확인합니다. 키워드 집계는 의미가 아니라 글자를 세기 때문입니다.

예를 들어 "동해 여행"이라는 키워드에는 강원도 동해시 여행과 동해 바다 여행이 섞입니다. 도시를 분석하려는데 바다 이야기까지 같이 세게 됩니다. 반대로 "동해시 여행"으로 좁히면 '시'를 빼고 쓴 글이 빠져서 실제보다 적게 셉니다. 이럴 때는 숫자 하나로 단정하지 말고 "좁게 센 값 ~ 넓게 센 값" 범위로 적는 편이 정직합니다.

같은 단계에서 두 가지를 더 확인합니다.

• 행정명 vs 부르는 이름: 사람들이 실제로 검색하는 이름("제주도")과 행정명("제주특별자치도")이 다르면 둘 다 확인합니다.
• 인구·규모 보정: "서울에서 가장 많이 일어났다"는 인구가 가장 많아서일 수 있습니다. 1인당, 1만 명당처럼 규모로 나눈 값도 같이 봅니다.

이 분석에서 센 키워드나 이름이 다른 뜻(동음이의어, 일반명사)과 섞일 수 있는지 검토해 줘.
섞일 수 있다면 좁은 기준과 넓은 기준으로 각각 세서 범위로 보여 줘.
지역·집단 비교라면 인구나 규모로 나눈 값도 함께 계산해 줘.

Step 5. 데이터를 모은 곳(매체)이 원래 쏠리는 방향인지 확인합니다

매체 편향은 데이터를 어디서 모았느냐 때문에 생기는 쏠림입니다. 블로그 글을 모아 어떤 동네를 분석하면 '카페'가 1위로 나오기 쉽습니다. 그 동네가 카페로 유명해서가 아니라, 블로그라는 매체에 카페 글이 원래 많기 때문일 수 있습니다.

확인하는 방법은 하나입니다. 같은 기준을 다른 대상에도 돌려 봅니다. 다른 동네에서도 전부 카페가 1위라면, 그건 대상의 특징이 아니라 매체의 특징입니다. 비슷한 규모의 대상끼리 비교하면 공통 편향이 상쇄되어 진짜 차이만 남습니다.

매체 편향은 "없는 것"도 만듭니다. 블로그와 후기에는 칭찬이 많고 불만은 적게 올라옵니다. "주차 불만이 거의 없다"는 결과가 나와도, 그건 주차가 편해서가 아니라 그런 글이 원래 잘 안 올라오는 매체여서일 수 있습니다.

이 결과에서 1위로 나온 항목이 데이터 출처(매체)의 일반적인 경향인지 검토해 줘.
같은 기준을 비교 대상 3곳에 적용했을 때도 같은 항목이 1위인지 확인하는 방법을 제안해 줘.
"불만이 없다"처럼 무언가가 적게 나온 결과는 매체 특성 때문일 수 있는지도 짚어 줘.

Step 6. "때문에"라는 말이 있으면 인과 질문 3개를 던집니다

AI 결과에 "개통 덕분에", "캠페인 효과로" 같은 말이 있으면 멈춥니다. 시점이 겹친다는 것만으로는 원인이라고 말할 수 없습니다. 아래 세 가지를 확인합니다.

1. 개입 전 추세: 그 일이 있기 전부터 이미 오르고 있었나요? 평평하다가 그 시점에 꺾였다면 원인일 가능성이 커집니다.
2. 다른 곳 비교: 같은 기간에 그 일이 없었던 다른 곳도 똑같이 올랐나요? 그렇다면 원인은 계절이나 경기 같은 공통 요인일 수 있습니다.
3. 중간 연결고리: "개통 → 이동 시간 단축 → 특정 연령층 유입"처럼 중간 단계를 데이터로 확인할 수 있나요?

이 결과에서 원인을 단정한 문장을 찾아 줘.
각 문장에 대해 (1) 개입 전 추세 (2) 개입이 없었던 비교 대상 (3) 중간 연결고리를
데이터로 확인했는지 표로 정리하고, 확인 못 한 문장은 "관련이 있다" 수준으로 고쳐 줘.

Step 7. 검토 프롬프트로 나머지 함정을 한 번에 돌립니다

Step 1~6이 가장 자주 걸리는 함정입니다. 나머지까지 빠짐없이 보려면, 분석이 끝난 대화창에 아래 프롬프트를 그대로 붙여넣습니다.

방금 만든 분석 결과를 아래 15개 기준으로 검토해 줘.
각 항목마다 [문제 없음 / 의심됨 / 확인 불가] 중 하나로 판정하고,
의심됨이면 근거와 다시 계산할 방법을 한 줄로 적어 줘.
마지막에 결론 문장 중 그대로 써도 되는 것과 고쳐야 하는 것을 나눠 줘.

1. 단위: 행정명이 아니라 사람들이 실제로 부르는 이름으로 셌나?
2. 동음이의어: 키워드가 일반명사나 다른 뜻과 섞이지 않나?
3. 언급량 ≠ 목적지: 언급이 많다는 것만으로 "가고 싶은 곳"이라고 주장하지 않았나?
4. 기준 시점: 코로나·재난·연휴처럼 비정상적인 때를 기준으로 잡지 않았나?
5. 규모 보정: 인구나 규모 차이를 보정하지 않고 절대값으로 비교하지 않았나?
6. 절대값 vs 변화율: 질문이 "큰 곳"인지 "뜨는 곳"인지에 맞는 지표를 썼나?
7. 표본 노이즈: 하루·한 건 같은 한 점 비교가 아닌가? 범위를 넓혀도 같은가?
8. 작은 숫자: 절대량이 작은 데이터의 큰 변화율을 신호로 읽지 않았나?
9. 매체 장르 편향: 출처 매체가 원래 많이 다루는 항목을 대상의 특징으로 읽지 않았나?
10. 매체 긍정 편향: 불만·문제가 "없다"는 결론을 칭찬 위주 매체에서 내리지 않았나?
11. 인과: 시점이 겹친다는 이유만으로 원인이라고 단정하지 않았나?
12. 반복 이벤트: 매년 반복되는 축제·시즌을 올해만의 변화 원인으로 보지 않았나?
13. 관심 ≠ 행동: 검색량·SNS 언급을 실제 방문·구매와 같은 것으로 보지 않았나?
14. 데이터 범위: 수집 기간과 최대 건수 제한을 확인했나?
15. 독자 관점: 누구나 아는 사실을 새로운 발견처럼 쓰지 않았나?

2026년 10월 7일, 이 글의 숫자로 일부러 틀린 분석 세 문장을 만들어 이 프롬프트를 한 번 돌려 봤습니다. "2021년 대비 124.2% 급증했으니 해외여행 수요가 폭발했다", "첫 토요일끼리 비교하니 19.3% 감소, 관심이 식었다", "벚꽃 축제가 끝났기 때문이다"였습니다(Codex CLI, gpt-5.5 모델).

함정	AI 판정
2021년을 기준으로 잡음(4번)	의심됨. 2019년과 함께 회복률로 보라고 제안
토요일 하루끼리 비교(7번)	의심됨. 월 전체 평균, 이동평균으로 다시 보라고 제안
벚꽃 축제 때문이라는 단정(11·12번)	의심됨. 전년도 같은 기간과 비교하라고 제안
국내선이 섞인 여객 수로 "해외여행"을 말함(1번)	문제 없음으로 넘어감
3월 1일이 삼일절 공휴일(7번)	언급 없음

기준 시점, 한 점 비교, 인과 단정은 잡았지만, 무엇을 셌는지(지표에 국내선이 섞여 있다는 것)와 달력 위의 특수일은 놓쳤습니다. 둘 다 데이터 정의서와 달력을 직접 봐야 알 수 있는 것들입니다. 한 번 돌려 본 결과라 다른 모델이나 다른 분석에서는 달라질 수 있습니다. 그래서 AI가 "문제 없음"이라고 해도 Step 1~6은 사람이 직접 확인합니다.

AI가 "의심됨"으로 표시한 항목은 Step 2~6의 재계산 프롬프트로 다시 돌립니다. 다만 매체 편향(9·10번)과 인과(11번)는 AI가 "문제 없음"이라고 해도 사람이 한 번 더 봅니다. 데이터 밖의 맥락을 알아야 판단할 수 있는 항목이기 때문입니다.

처음부터 15개를 다 보려다 분석을 못 끝내는 경우가 많습니다. 시간이 없다면 기준 시점(4번), 표본(7번), 단위(1번) 세 개만 필수로 보고, 나머지는 보고서를 내기 전에 돌려도 충분합니다.

이런 결과가 나오면 이렇게 하세요

확인 결과	의미	할 일
기준 시점을 바꾸니 증가가 감소로 뒤집힘	기준 시점 착시	정상 시점 기준 숫자를 본문에 쓰고, 원래 숫자는 "저점 대비"라고 명시
기간을 넓히니 변화율 방향이 바뀜	표본 노이즈	한 점 비교 결론은 버리고 기간 평균 기준으로 다시 씀
비교한 날짜에 공휴일·연휴가 섞임	특수일 효과	특수일을 빼거나 같은 요일·같은 조건끼리 비교
좁게 센 값과 넓게 센 값 차이가 큼	동음이의어·단위 문제	숫자 하나 대신 범위로 보고
다른 대상도 전부 같은 항목이 1위	매체 편향	"대상의 특징"이라는 결론을 빼고, 비슷한 대상끼리 상대 순위로 다시 비교
개입 전부터 이미 오르는 중이었음	인과 근거 부족	"덕분에"를 "같은 시기에"로 고치고, 비교 대상을 추가로 찾음
AI가 대부분 "확인 불가"로 답함	원본 데이터나 출처 정보가 대화창에 없음	원본 파일과 수집 방법(기간·출처)을 다시 첨부하고 재검토

정리

• 숫자가 클수록 먼저 **"무엇과 비교했나"**를 적습니다.
• 기준 시점, 표본, 세는 단위는 결론의 방향까지 바꿉니다. 항공 여객은 기준만 바꿔도 +124%와 −17.5%가 나왔고, 부산 문서 조회수는 비교 날짜만 바꿔도 감소가 증가로 뒤집혔습니다.
• AI는 계산을 빨리 다시 해 주는 도구로 쓰고, 매체 편향과 인과 판단은 사람이 마지막으로 봅니다.

자동화는 "AI가 다 한다"가 아니라 **"AI가 빨리 처리하고 사람이 의심한다"**에 가깝습니다. 위 검토 프롬프트는 그 의심을 매번 맨손으로 하지 않도록 재사용 가능한 형태로 만든 것입니다.

데이터 출처: World Bank Open Data IS.AIR.PSGR(Air transport, passengers carried, 한국), Wikimedia Pageviews API(ko.wikipedia '부산광역시', 사용자 조회, 2025년 3~4월). 2026년 10월 7일에 내려받아 계산했습니다.