AI에게 2027 수능 전 과목을 풀게 했더니 917문항 중 910개를 맞혔습니다
이 글과 연결된 글 보기
드래그로 이동 · 휠/두 손가락으로 확대 · 방향키로 글 선택 · 0으로 맞춤. 실선: 본문 링크, 점선: 시리즈·주제의 대표 연결.표시된 글 29편 목록
2026년 11월 19일 수능 당일, 한국교육과정평가원이 교시별로 공개한 시험지 PDF를 그대로 받아 AI에게 풀게 했습니다. 정답 파일은 다 풀 때까지 열지 않았고, 채점은 정답표를 스크립트로 읽어 기계적으로 했습니다. 결과는 917문항 중 910개 정답이었습니다.

이 글은 이런 분께 필요합니다
- 요즘 AI가 실제 시험을 어느 정도 푸는지 숫자로 확인하고 싶은 분
- 한국어 PDF(2단 편집, 수식, 그림, 한자·아랍 문자)를 AI에게 읽혀야 하는 업무 자동화를 고민하는 분
- 같은 실험을 다른 모델이나 다른 시험으로 직접 재현해 보고 싶은 분
준비물은 AI 에이전트(이번에는 Aside에서 Claude Opus 5.5 사용), 터미널, pdftotext·pdftoppm(poppler), Python 3입니다.
결과부터 보겠습니다
| 영역 | 문항 수 | 틀린 문항 | 점수 |
|---|---|---|---|
| 국어 (공통 + 화법과 작문 + 언어와 매체) | 56 | 0 | 100점 (선택과목 둘 다) |
| 수학 (공통 + 확률과 통계·미적분·기하) | 46 | 1 | 확률과 통계 100, 기하 100, 미적분 96 |
| 영어 | 45 | 0 | 100점 |
| 한국사 | 20 | 0 | 50점 |
| 사회탐구 9과목 | 180 | 3 | 6과목 만점 |
| 과학탐구 8과목 | 160 | 2 | 6과목 만점 |
| 직업탐구 6과목 | 120 | 1 | 5과목 만점 |
| 제2외국어·한문 9과목 | 270 | 0 | 9과목 모두 만점 |
| 합계 | 917 | 7 |
실제 수험생은 선택과목을 하나씩만 고르지만, 이번에는 모든 선택과목을 다 풀게 해서 문항 수가 917개입니다.
틀린 7문항은 다음과 같습니다(점수는 과목 만점 50점 기준).
| 과목 | 점수 | 틀린 문항 |
|---|---|---|
| 수학 미적분 | 96/100 | 29번 (4점) |
| 생활과 윤리 | 47 | 15번 |
| 세계사 | 47 | 2번 |
| 사회·문화 | 47 | 14번 |
| 생명과학Ⅱ | 47 | 13번 |
| 물리학Ⅱ | 48 | 11번 |
| 수산·해운 산업 기초 | 48 | 4번 |
나머지 과목은 모두 만점입니다. 한국사, 윤리와 사상, 한국지리, 세계지리, 동아시아사, 경제, 정치와 법, 물리학Ⅰ, 화학Ⅰ, 생명과학Ⅰ, 지구과학Ⅰ, 화학Ⅱ, 지구과학Ⅱ, 성공적인 직업생활, 농업 기초 기술, 공업 일반, 상업 경제, 인간 발달, 그리고 독일어·프랑스어·스페인어·중국어·일본어·러시아어·아랍어·베트남어·한문이 여기에 해당합니다.
미적분 29번은 풀이 과정에서 부호 하나를 잘못 본 실수였습니다. 극한값이 1이 되는 경우에 수열이 1보다 "아주 조금 작은지 큰지"를 거꾸로 판단해 조건을 만족하는 값 하나를 빠뜨렸습니다. 흥미롭게도 AI는 풀고 나서 이 문항을 "다시 볼 만하다"고 스스로 표시했습니다.
수능 문제지의 저작권은 한국교육과정평가원에 있습니다. 이 글에는 문제 원문이나 문제지 화면을 싣지 않았습니다. 문제는 평가원 공개 페이지에서 직접 받아 보시기 바랍니다.
이 실험이 실제 수험과 다른 점
숫자만 보면 오해하기 쉬워서 먼저 적어 둡니다.
| 항목 | 이번 실험 | 실제 수능 |
|---|---|---|
| 시간 | 제한 없음. 탐구 24과목은 8개 작업을 동시에 돌려 약 12분, 제2외국어·한문 9과목은 5개 작업으로 약 2분 | 교시별 시간 제한 |
| 영어 듣기 | 음성 파일 대신 평가원이 함께 공개한 듣기 대본을 읽고 풂 | 방송을 한 번(16~17번은 두 번) 들음 |
| 도구 | 경우의 수 문항 일부는 Python으로 전수 검사해 검산 (수학 확률과 통계 28번, 생명과학 유전 문항 등) | 계산기 없음 |
| 선택과목 | 모든 선택과목을 다 풂 | 영역별로 하나씩 선택 |
| 사람 개입 | 문제 해석·답 선택에는 사람이 개입하지 않음 | 해당 없음 |
Step 1. 문제 파일과 정답 파일을 따로 받습니다
평가원은 수능 당일 문제 및 정답 공개 페이지에 교시가 끝날 때마다 PDF를 올립니다. 2027학년도 공개 시각은 국어 10:56, 수학 14:10, 영어 17:04, 한국사·탐구 20:15, 제2외국어·한문 21:48이었습니다.

파일 이름 규칙이 일정해서 스크립트로 받기 쉽습니다. 문제는 27DaeSuneung_<코드>.pdf, 정답은 같은 이름 끝에 a가 붙습니다.
| 코드 | 과목 |
|---|---|
1, 2, 3 | 국어, 수학, 영어 (31은 영어 듣기 대본) |
41 | 한국사 |
42_1 ~ 42_9 | 사회탐구 (생활과 윤리부터 사회·문화까지) |
43_1 ~ 43_8 | 과학탐구 (물리학Ⅰ, 화학Ⅰ, 생명과학Ⅰ, 지구과학Ⅰ, 물리학Ⅱ, 화학Ⅱ, 생명과학Ⅱ, 지구과학Ⅱ) |
44_1 ~ 44_6 | 직업탐구 |
5_1 ~ 5_9 | 제2외국어·한문 |
핵심은 문제 파일만 먼저 받아 AI가 작업하는 폴더에 두고, 정답 파일은 채점 직전에 다른 폴더로 받는 것입니다. 같은 폴더에 있으면 AI가 실수로라도 열 수 있습니다.
mkdir -p q4 && cd q4
curl -sS -o 물리학1.pdf https://cdn.kice.re.kr/27dae-suneung/27DaeSuneung_43_1.pdf
공개 시각 직후 몇 분은 파일이 아직 없어서 NoSuchKey XML이 내려옵니다. 파일 첫 다섯 바이트가 %PDF-인지 확인하고 넘어가면 됩니다.
Step 2. 2단 편집 PDF는 단을 나눠서 텍스트를 뽑습니다
수능 시험지는 A3 크기에 2단 편집이라, pdftotext -layout으로 한 번에 뽑으면 왼쪽 단과 오른쪽 단 문장이 한 줄에 섞입니다. 페이지 폭(842pt)의 절반씩 잘라서 단별로 뽑으면 문단이 깨끗하게 나옵니다.
# 왼쪽 단
pdftotext -f 3 -l 3 -x 0 -y 0 -W 421 -H 1191 국어.pdf -
# 오른쪽 단
pdftotext -f 3 -l 3 -x 421 -y 0 -W 421 -H 1191 국어.pdf -
국어, 영어, 사회탐구, 직업탐구는 이 방법만으로 대부분 읽힙니다.
Step 3. 수식·그림·특수 문자는 이미지로 보여 줍니다
수학과 과학탐구는 수식이 별도 글꼴로 들어 있어 텍스트로 뽑으면 기호가 거의 사라집니다. 지리의 지도, 영어 4번 그림, 25번 도표, 한자·아랍 문자·베트남어 성조도 마찬가지입니다. 이런 과목은 단별로 잘라 이미지로 만든 뒤 AI에게 보여 줬습니다.
# 130dpi로 왼쪽 단, 오른쪽 단을 각각 PNG로
pdftoppm -f 1 -l 1 -r 130 -x 0 -y 0 -W 765 -H 2150 -png 수학.pdf p1L
pdftoppm -f 1 -l 1 -r 130 -x 755 -y 0 -W 770 -H 2150 -png 수학.pdf p1R
한 페이지를 통째로 넣으면 글씨가 작아 숫자를 잘못 읽기 쉽습니다. 단별로 자르면 해상도를 크게 올리지 않아도 수식과 표 숫자가 또렷하게 읽힙니다. 한문과 아랍어처럼 획이 작은 문자는 150~200dpi로 올리고 필요한 영역만 다시 잘랐습니다.
Step 4. 지시문에 "정답을 보지 말 것"을 규칙으로 넣습니다
AI 에이전트는 웹 검색과 파일 탐색을 할 수 있어서, 막히면 해설이나 정답을 찾아보려 할 수 있습니다. 그래서 모든 풀이 지시문에 아래 규칙을 똑같이 넣었습니다.
- 정답을 절대 보지 마세요. 정답 PDF(파일명이 a.pdf로 끝나는 것)를 내려받거나 열지 말고,
웹 검색·웹 페이지 열기·브라우저로 해설/정답을 찾지 마세요.
- 오직 문제지와 본인 추론으로 풉니다.
- 그림·표·지도가 있는 문항은 반드시 이미지를 보고 판단하세요.
- 출력: 1~20번 답(①~⑤)과 한 줄 근거, 자신 없는 문항 번호 목록.
"자신 없는 문항"을 따로 적게 한 것이 쓸모 있었습니다. 틀린 7문항 중 3문항(미적분 29번, 생활과 윤리 15번, 사회·문화 14번)은 AI가 풀이 직후 미리 표시한 목록에 들어 있었습니다. 나머지 4문항은 AI가 확신한 채로 틀렸습니다.
Step 5. 과목이 많으면 하위 작업으로 나눠 동시에 돌립니다
국어·수학·영어는 한 대화 안에서 순서대로 풀었습니다. 한국사·탐구는 24과목이라 하위 에이전트 8개에 나눠 맡겼습니다.
| 작업 | 맡긴 과목 |
|---|---|
| 1 | 한국사, 생활과 윤리, 윤리와 사상 |
| 2 | 한국지리, 세계지리, 동아시아사, 세계사 |
| 3 | 경제, 정치와 법, 사회·문화 |
| 4~7 | 물리학, 화학, 생명과학, 지구과학 (Ⅰ·Ⅱ를 한 작업에) |
| 8 | 직업탐구 6과목 |
제2외국어·한문 9과목은 공개 후 5개 작업(독일어·프랑스어, 스페인어·러시아어, 중국어·일본어, 아랍어·베트남어, 한문)으로 나눴습니다. 과학처럼 계산이 긴 과목은 한 작업에 두 과목만, 암기 위주 과목은 여러 개를 묶었습니다.
Step 6. 정답표를 스크립트로 읽어 채점합니다
정답표 PDF는 "문항 번호, 정답, 배점"이 표로 들어 있어서 정규식 하나로 읽힙니다. AI가 낸 답을 한 줄 문자열로 받아 두고 비교하면 과목별 점수와 틀린 문항이 바로 나옵니다.
import re, subprocess
def read_key(pdf, n):
text = subprocess.run(["pdftotext", "-layout", "-f", "1", "-l", "1", pdf, "-"],
capture_output=True, text=True).stdout
key, pts = {}, {}
for m in re.finditer(r"(\d+)\s+([①②③④⑤])\s+(\d)", text):
q = int(m.group(1))
if 1 <= q <= n and q not in key:
key[q], pts[q] = m.group(2), int(m.group(3))
return key, pts
mine = list("①①③⑤⑤②⑤①③②④②⑤④④③②②③①") # AI가 낸 물리학Ⅰ 답
key, pts = read_key("ans/27DaeSuneung_43_1a.pdf", 20)
wrong = [q for q in range(1, 21) if mine[q - 1] != key[q]]
print(50 - sum(pts[q] for q in wrong), wrong)
정답표는 첫 페이지가 홀수형이므로 -f 1 -l 1로 첫 페이지만 읽습니다. 문제지도 홀수형 기준으로 풀어야 번호가 맞습니다. 단답형(수학 1622번, 2930번)은 숫자라 위 정규식에 걸리지 않으니 눈으로 따로 맞춰 봤습니다.
Step 7. 틀린 문항은 풀이 근거를 다시 봅니다
AI에게 문항마다 한 줄 근거를 같이 쓰게 했기 때문에, 틀린 문항은 어디서 판단이 갈렸는지 근거와 정답을 나란히 놓고 볼 수 있습니다. 이번에 원인까지 직접 확인한 것은 수학 미적분 29번 하나입니다. 식은 맞게 세웠지만, 수열이 1보다 아주 조금 작은데도 크다고 보는 바람에 마지막 조건 판단에서 값 하나를 빠뜨렸습니다. 나머지 6문항은 아직 원인을 따로 분석하지 않았습니다.
한 가지 눈에 띈 점은 "자신 없음" 표시의 정확도입니다. 표시한 문항을 사람이 다시 보는 것만으로도 틀린 문항의 절반 가까이를 잡을 수 있었습니다. 실제 업무에 쓸 때는 이 목록을 사람 검토 대상으로 넘기는 방식이 현실적입니다.
자주 막히는 곳
| 증상 | 원인 | 해결 |
|---|---|---|
| 추출한 문장이 앞뒤 단과 섞여 나옴 | 2단 편집을 한 번에 추출 | -x 0 -W 421, -x 421 -W 421로 단을 나눠 추출 |
| 수학·과학 수식이 빈칸으로 나옴 | 수식이 별도 글꼴로 들어 있음 | 해당 페이지를 pdftoppm으로 이미지로 만들어 보여 줌 |
| 공개 시각인데 PDF 대신 XML이 받아짐 | 업로드가 1~2분 늦음 | 파일 앞부분이 %PDF-가 될 때까지 기다렸다 다시 받기 |
듣기 대본 추출 시 Missing language pack for 'Adobe-Korea1' 경고 | 한글 CMap 패키지 없음 | 영어 본문은 정상으로 나오므로 무시해도 됨. 한글 지시문은 문제지에서 확인 |
| 정답표 채점 시 문항 수가 20개가 안 됨 | 단답형 숫자 정답이 정규식에 안 걸림 | 단답형은 따로 비교 |
| 짝수형 정답으로 채점해 점수가 엉망 | 정답표에 홀수형·짝수형이 같이 들어 있음 | 문제지와 같은 유형(홀수형) 페이지만 읽기 |
마치며
이번 실험에서 점수만큼 쓸모 있었던 것은 준비 과정이었습니다. 2단 편집은 단을 나눠 주고, 수식과 그림은 이미지로 보여 주고, 정답은 물리적으로 다른 폴더에 두는 것만으로 풀이 과정에 사람이 손댈 일이 없었습니다. 회사 문서나 보고서 PDF를 AI에게 읽힐 때도 같은 순서를 그대로 쓸 수 있습니다.
