본문으로 건너뛰기

AI에게 2027 수능 전 과목을 풀게 했더니 917문항 중 910개를 맞혔습니다

· 약 8분
Datapopcorn CEO / AI automation educator
이 글과 연결된 글 보기
29편 · 112개 연결
100%
문자로 온 네이버페이 포인트 기프티콘, AI 브라우저 에이전트에게 등록시켜 봤습니다해외 출장 가이드북, 메일·캘린더·지도에 흩어진 정보로 15쪽 PDF 만들기 (프롬프트 포함)AI는 똑같은데 결과가 다른 이유, 하네스: 초보자가 내 업무에 바로 붙이는 7단계이제 직원 급여도 AI가 보냅니다: 은행 앱 급여 이체부터 급여명세서 발송까지 AI 에이전트에 맡긴 8단계 (ADB)AI 전화 상담원 만들기: 070 번호 받아 예약 접수까지 하루 만에 붙여 본 후기[AI 게임 리그 EP.1] AI 혼자 식물vs좀비 엔딩까지: Claude는 50판을 깼고 ChatGPT는 24판에서 멈췄습니다AI가 내 책을 학습하는 대가, 내 몫은 16만 원이었다AI_TOP_100 예선 회고: 관계자 8명 인터뷰부터 카카오톡 CS 에이전트 배포까지 5시간Aside CLI 사용법: macOS·Linux 설치부터 터미널에서 AI 브라우저에게 일 시키기까지문자로 온 네이버페이 기프티콘, Aside에 한 줄로 등록하기Claude Code 회사 도입 체크리스트: 플랜·로그인·권한·비밀값·공용 설정까지 6단계Claude Code 사용량 한도에 걸려도 작업을 이어가는 법: API 크레딧으로 claude-api 명령 만들기 5단계먼저 연락하는 Claude, Claude Duet 정리: 무엇이 다르고 한국에서 대기자 신청은 어떻게 하나Claude Team 플랜에만 있는 기능과 첫 설정: 개인 Pro·Max 화면 비교부터 월간 API 크레딧(최대 $500) 받기, 슬랙 DM으로 일 시키기까지 14단계AI에게 2027 수능 전 과목을 풀게 했더니 917문항 중 910개를 맞혔습니다Daytona란 무엇인가? AI가 만든 코드를 안전하게 실행하는 샌드박스AI로 코딩은 빨라졌는데 배포는 누가 책임지나: 인포그랩 Next Delivery Stack 2026 후기문자로 쓰는 AI 비서 instinct, 처음엔 무슨 일을 시켜볼까요?LiveKit 사용법: 오픈소스로 한국어 AI 음성 비서 직접 띄우기 (응답 7초 → 3초 줄인 실제 예시)메타 뮤즈(Muse) 가입 방법: 미국 VPN·연령 확인(US$1)·초대 코드부터 첫 작업까지 8단계n8n의 AI 비서 Nod, 무엇을 대신해 주나요? 설치·사용법과 다른 에이전트 비교네이버 스마트플레이스 똑똑하게 채우는 법, AI 에이전트로 관리하기까지OBA.RUN 2nd 해커톤 후기: AI 에이전트 다섯 개로 하루 만에 F&F 트랙 제출까지OpenAI Dots는 Muse 대항마가 아니라 '클라우드 PC 비서'입니다우리 회사 AI 동료를 직접 만든다면? 오픈소스 OpenBot 살펴보기피클(Pickle) AI 에이전트 사용법: 설치부터 첫 일 맡기기까지, Grok Bot·Muse·Dots와 비교REA가 뭔가요? 공식 사례부터 설치·팩맨 실습까지ERP 화면 뒤 API를 읽는 법: REA로 Odoo 판매 흐름을 역추적해 보고, 더존에 적용할 때 지킬 선까지Codex에 영상 넣고 "자막 따줘" 한마디|AI로 영상 자막 자동 생성하는 방법

드래그로 이동 · 휠/두 손가락으로 확대 · 방향키로 글 선택 · 0으로 맞춤. 실선: 본문 링크, 점선: 시리즈·주제의 대표 연결.

표시된 글 29편 목록
전체 글 연결 탐색

2026년 11월 19일 수능 당일, 한국교육과정평가원이 교시별로 공개한 시험지 PDF를 그대로 받아 AI에게 풀게 했습니다. 정답 파일은 다 풀 때까지 열지 않았고, 채점은 정답표를 스크립트로 읽어 기계적으로 했습니다. 결과는 917문항 중 910개 정답이었습니다.

AI 수능 전 과목 풀이 결과 요약

이 글은 이런 분께 필요합니다​

  • 요즘 AI가 실제 시험을 어느 정도 푸는지 숫자로 확인하고 싶은 분
  • 한국어 PDF(2단 편집, 수식, 그림, 한자·아랍 문자)를 AI에게 읽혀야 하는 업무 자동화를 고민하는 분
  • 같은 실험을 다른 모델이나 다른 시험으로 직접 재현해 보고 싶은 분

준비물은 AI 에이전트(이번에는 Aside에서 Claude Opus 5.5 사용), 터미널, pdftotext·pdftoppm(poppler), Python 3입니다.

결과부터 보겠습니다​

영역문항 수틀린 문항점수
국어 (공통 + 화법과 작문 + 언어와 매체)560100점 (선택과목 둘 다)
수학 (공통 + 확률과 통계·미적분·기하)461확률과 통계 100, 기하 100, 미적분 96
영어450100점
한국사20050점
사회탐구 9과목18036과목 만점
과학탐구 8과목16026과목 만점
직업탐구 6과목12015과목 만점
제2외국어·한문 9과목27009과목 모두 만점
합계9177

실제 수험생은 선택과목을 하나씩만 고르지만, 이번에는 모든 선택과목을 다 풀게 해서 문항 수가 917개입니다.

틀린 7문항은 다음과 같습니다(점수는 과목 만점 50점 기준).

과목점수틀린 문항
수학 미적분96/10029번 (4점)
생활과 윤리4715번
세계사472번
사회·문화4714번
생명과학Ⅱ4713번
물리학Ⅱ4811번
수산·해운 산업 기초484번

나머지 과목은 모두 만점입니다. 한국사, 윤리와 사상, 한국지리, 세계지리, 동아시아사, 경제, 정치와 법, 물리학Ⅰ, 화학Ⅰ, 생명과학Ⅰ, 지구과학Ⅰ, 화학Ⅱ, 지구과학Ⅱ, 성공적인 직업생활, 농업 기초 기술, 공업 일반, 상업 경제, 인간 발달, 그리고 독일어·프랑스어·스페인어·중국어·일본어·러시아어·아랍어·베트남어·한문이 여기에 해당합니다.

미적분 29번은 풀이 과정에서 부호 하나를 잘못 본 실수였습니다. 극한값이 1이 되는 경우에 수열이 1보다 "아주 조금 작은지 큰지"를 거꾸로 판단해 조건을 만족하는 값 하나를 빠뜨렸습니다. 흥미롭게도 AI는 풀고 나서 이 문항을 "다시 볼 만하다"고 스스로 표시했습니다.

저작권 안내

수능 문제지의 저작권은 한국교육과정평가원에 있습니다. 이 글에는 문제 원문이나 문제지 화면을 싣지 않았습니다. 문제는 평가원 공개 페이지에서 직접 받아 보시기 바랍니다.

이 실험이 실제 수험과 다른 점​

숫자만 보면 오해하기 쉬워서 먼저 적어 둡니다.

항목이번 실험실제 수능
시간제한 없음. 탐구 24과목은 8개 작업을 동시에 돌려 약 12분, 제2외국어·한문 9과목은 5개 작업으로 약 2분교시별 시간 제한
영어 듣기음성 파일 대신 평가원이 함께 공개한 듣기 대본을 읽고 풂방송을 한 번(16~17번은 두 번) 들음
도구경우의 수 문항 일부는 Python으로 전수 검사해 검산 (수학 확률과 통계 28번, 생명과학 유전 문항 등)계산기 없음
선택과목모든 선택과목을 다 풂영역별로 하나씩 선택
사람 개입문제 해석·답 선택에는 사람이 개입하지 않음해당 없음

Step 1. 문제 파일과 정답 파일을 따로 받습니다​

평가원은 수능 당일 문제 및 정답 공개 페이지에 교시가 끝날 때마다 PDF를 올립니다. 2027학년도 공개 시각은 국어 10:56, 수학 14:10, 영어 17:04, 한국사·탐구 20:15, 제2외국어·한문 21:48이었습니다.

평가원 수능 문제 및 정답 공개 페이지

파일 이름 규칙이 일정해서 스크립트로 받기 쉽습니다. 문제는 27DaeSuneung_<코드>.pdf, 정답은 같은 이름 끝에 a가 붙습니다.

코드과목
1, 2, 3국어, 수학, 영어 (31은 영어 듣기 대본)
41한국사
42_1 ~ 42_9사회탐구 (생활과 윤리부터 사회·문화까지)
43_1 ~ 43_8과학탐구 (물리학Ⅰ, 화학Ⅰ, 생명과학Ⅰ, 지구과학Ⅰ, 물리학Ⅱ, 화학Ⅱ, 생명과학Ⅱ, 지구과학Ⅱ)
44_1 ~ 44_6직업탐구
5_1 ~ 5_9제2외국어·한문

핵심은 문제 파일만 먼저 받아 AI가 작업하는 폴더에 두고, 정답 파일은 채점 직전에 다른 폴더로 받는 것입니다. 같은 폴더에 있으면 AI가 실수로라도 열 수 있습니다.

mkdir -p q4 && cd q4
curl -sS -o 물리학1.pdf https://cdn.kice.re.kr/27dae-suneung/27DaeSuneung_43_1.pdf

공개 시각 직후 몇 분은 파일이 아직 없어서 NoSuchKey XML이 내려옵니다. 파일 첫 다섯 바이트가 %PDF-인지 확인하고 넘어가면 됩니다.

Step 2. 2단 편집 PDF는 단을 나눠서 텍스트를 뽑습니다​

수능 시험지는 A3 크기에 2단 편집이라, pdftotext -layout으로 한 번에 뽑으면 왼쪽 단과 오른쪽 단 문장이 한 줄에 섞입니다. 페이지 폭(842pt)의 절반씩 잘라서 단별로 뽑으면 문단이 깨끗하게 나옵니다.

# 왼쪽 단
pdftotext -f 3 -l 3 -x 0 -y 0 -W 421 -H 1191 국어.pdf -
# 오른쪽 단
pdftotext -f 3 -l 3 -x 421 -y 0 -W 421 -H 1191 국어.pdf -

국어, 영어, 사회탐구, 직업탐구는 이 방법만으로 대부분 읽힙니다.

Step 3. 수식·그림·특수 문자는 이미지로 보여 줍니다​

수학과 과학탐구는 수식이 별도 글꼴로 들어 있어 텍스트로 뽑으면 기호가 거의 사라집니다. 지리의 지도, 영어 4번 그림, 25번 도표, 한자·아랍 문자·베트남어 성조도 마찬가지입니다. 이런 과목은 단별로 잘라 이미지로 만든 뒤 AI에게 보여 줬습니다.

# 130dpi로 왼쪽 단, 오른쪽 단을 각각 PNG로
pdftoppm -f 1 -l 1 -r 130 -x 0 -y 0 -W 765 -H 2150 -png 수학.pdf p1L
pdftoppm -f 1 -l 1 -r 130 -x 755 -y 0 -W 770 -H 2150 -png 수학.pdf p1R

한 페이지를 통째로 넣으면 글씨가 작아 숫자를 잘못 읽기 쉽습니다. 단별로 자르면 해상도를 크게 올리지 않아도 수식과 표 숫자가 또렷하게 읽힙니다. 한문과 아랍어처럼 획이 작은 문자는 150~200dpi로 올리고 필요한 영역만 다시 잘랐습니다.

Step 4. 지시문에 "정답을 보지 말 것"을 규칙으로 넣습니다​

AI 에이전트는 웹 검색과 파일 탐색을 할 수 있어서, 막히면 해설이나 정답을 찾아보려 할 수 있습니다. 그래서 모든 풀이 지시문에 아래 규칙을 똑같이 넣었습니다.

- 정답을 절대 보지 마세요. 정답 PDF(파일명이 a.pdf로 끝나는 것)를 내려받거나 열지 말고,
웹 검색·웹 페이지 열기·브라우저로 해설/정답을 찾지 마세요.
- 오직 문제지와 본인 추론으로 풉니다.
- 그림·표·지도가 있는 문항은 반드시 이미지를 보고 판단하세요.
- 출력: 1~20번 답(①~⑤)과 한 줄 근거, 자신 없는 문항 번호 목록.

"자신 없는 문항"을 따로 적게 한 것이 쓸모 있었습니다. 틀린 7문항 중 3문항(미적분 29번, 생활과 윤리 15번, 사회·문화 14번)은 AI가 풀이 직후 미리 표시한 목록에 들어 있었습니다. 나머지 4문항은 AI가 확신한 채로 틀렸습니다.

Step 5. 과목이 많으면 하위 작업으로 나눠 동시에 돌립니다​

국어·수학·영어는 한 대화 안에서 순서대로 풀었습니다. 한국사·탐구는 24과목이라 하위 에이전트 8개에 나눠 맡겼습니다.

작업맡긴 과목
1한국사, 생활과 윤리, 윤리와 사상
2한국지리, 세계지리, 동아시아사, 세계사
3경제, 정치와 법, 사회·문화
4~7물리학, 화학, 생명과학, 지구과학 (Ⅰ·Ⅱ를 한 작업에)
8직업탐구 6과목

제2외국어·한문 9과목은 공개 후 5개 작업(독일어·프랑스어, 스페인어·러시아어, 중국어·일본어, 아랍어·베트남어, 한문)으로 나눴습니다. 과학처럼 계산이 긴 과목은 한 작업에 두 과목만, 암기 위주 과목은 여러 개를 묶었습니다.

Step 6. 정답표를 스크립트로 읽어 채점합니다​

정답표 PDF는 "문항 번호, 정답, 배점"이 표로 들어 있어서 정규식 하나로 읽힙니다. AI가 낸 답을 한 줄 문자열로 받아 두고 비교하면 과목별 점수와 틀린 문항이 바로 나옵니다.

import re, subprocess

def read_key(pdf, n):
text = subprocess.run(["pdftotext", "-layout", "-f", "1", "-l", "1", pdf, "-"],
capture_output=True, text=True).stdout
key, pts = {}, {}
for m in re.finditer(r"(\d+)\s+([①②③④⑤])\s+(\d)", text):
q = int(m.group(1))
if 1 <= q <= n and q not in key:
key[q], pts[q] = m.group(2), int(m.group(3))
return key, pts

mine = list("①①③⑤⑤②⑤①③②④②⑤④④③②②③①") # AI가 낸 물리학Ⅰ 답
key, pts = read_key("ans/27DaeSuneung_43_1a.pdf", 20)
wrong = [q for q in range(1, 21) if mine[q - 1] != key[q]]
print(50 - sum(pts[q] for q in wrong), wrong)

정답표는 첫 페이지가 홀수형이므로 -f 1 -l 1로 첫 페이지만 읽습니다. 문제지도 홀수형 기준으로 풀어야 번호가 맞습니다. 단답형(수학 1622번, 2930번)은 숫자라 위 정규식에 걸리지 않으니 눈으로 따로 맞춰 봤습니다.

Step 7. 틀린 문항은 풀이 근거를 다시 봅니다​

AI에게 문항마다 한 줄 근거를 같이 쓰게 했기 때문에, 틀린 문항은 어디서 판단이 갈렸는지 근거와 정답을 나란히 놓고 볼 수 있습니다. 이번에 원인까지 직접 확인한 것은 수학 미적분 29번 하나입니다. 식은 맞게 세웠지만, 수열이 1보다 아주 조금 작은데도 크다고 보는 바람에 마지막 조건 판단에서 값 하나를 빠뜨렸습니다. 나머지 6문항은 아직 원인을 따로 분석하지 않았습니다.

한 가지 눈에 띈 점은 "자신 없음" 표시의 정확도입니다. 표시한 문항을 사람이 다시 보는 것만으로도 틀린 문항의 절반 가까이를 잡을 수 있었습니다. 실제 업무에 쓸 때는 이 목록을 사람 검토 대상으로 넘기는 방식이 현실적입니다.

자주 막히는 곳​

증상원인해결
추출한 문장이 앞뒤 단과 섞여 나옴2단 편집을 한 번에 추출-x 0 -W 421, -x 421 -W 421로 단을 나눠 추출
수학·과학 수식이 빈칸으로 나옴수식이 별도 글꼴로 들어 있음해당 페이지를 pdftoppm으로 이미지로 만들어 보여 줌
공개 시각인데 PDF 대신 XML이 받아짐업로드가 1~2분 늦음파일 앞부분이 %PDF-가 될 때까지 기다렸다 다시 받기
듣기 대본 추출 시 Missing language pack for 'Adobe-Korea1' 경고한글 CMap 패키지 없음영어 본문은 정상으로 나오므로 무시해도 됨. 한글 지시문은 문제지에서 확인
정답표 채점 시 문항 수가 20개가 안 됨단답형 숫자 정답이 정규식에 안 걸림단답형은 따로 비교
짝수형 정답으로 채점해 점수가 엉망정답표에 홀수형·짝수형이 같이 들어 있음문제지와 같은 유형(홀수형) 페이지만 읽기

마치며​

이번 실험에서 점수만큼 쓸모 있었던 것은 준비 과정이었습니다. 2단 편집은 단을 나눠 주고, 수식과 그림은 이미지로 보여 주고, 정답은 물리적으로 다른 폴더에 두는 것만으로 풀이 과정에 사람이 손댈 일이 없었습니다. 회사 문서나 보고서 PDF를 AI에게 읽힐 때도 같은 순서를 그대로 쓸 수 있습니다.

전체 연결 보기