본문으로 건너뛰기
Datapopcorn CEO / AI automation educator
모든 저자 보기

데이터분석가 취준생을 위한 실전 가이드 · 11/13

같은 54만 행이 3.5MB도 되고 102.7MB도 됩니다: CSV·Excel·JSON·Parquet 고르는 법

· 약 13분
Datapopcorn CEO / AI automation educator

같은 온라인몰 거래 54만 행을 저장했더니 Parquet은 3.5MB, CSV는 45.0MB, JSON Lines는 102.7MB였습니다. 다시 읽는 데는 Parquet 0.1초, CSV 0.24초, JSON 1.3초, 원본 Excel은 20초 안팎이 걸렸습니다. 더 중요한 차이는 타입입니다. CSV와 JSON은 다시 읽는 순간 날짜가 문자열로, 고객 번호 17850이 17850.0으로 바뀌었고, Parquet은 그대로였습니다. 반대로 151행짜리 작은 데이터에서는 CSV가 Parquet보다 작았습니다. 형식은 용량 하나로 고르는 게 아니라 누가 읽고, 얼마나 자주 읽고, 타입이 살아남아야 하는지로 고릅니다.

데이터분석가 취준생을 위한 실전 가이드 · 10/13

취소율이 99.97%로 나왔습니다: pandas 타입이 메모리와 정답을 함께 바꾸는 이유

· 약 9분
Datapopcorn CEO / AI automation educator

영국 온라인몰의 실제 거래 54만 행을 타입 지정 없이 읽고 취소율을 계산했더니 99.97%가 나왔습니다. 실제 취소율은 1.71%입니다. 에러는 한 번도 나지 않았습니다. 같은 데이터는 기본 설정으로 134.9MB의 메모리를 차지했고, 컬럼마다 타입을 맞추자 16.7MB로 8분의 1이 됐습니다. 다만 범위를 보지 않고 줄였을 때는 수량 74,215가 8,679로 조용히 바뀌었습니다. 타입은 메모리와 정답을 함께 결정합니다.

데이터분석가 취준생을 위한 실전 가이드 · 9/13

총매출 한 줄 코드는 에러 없이 틀립니다: AI 시대에 분석가가 할 일

· 약 9분
Datapopcorn CEO / AI automation educator

영국 온라인몰의 실제 거래 기록 54만 행에 “총매출 구해줘”를 코드 한 줄로 실행하면 £9,747,765.93이 에러 없이 나옵니다. 그런데 같은 데이터로 총매출을 다시 정의하면 약 975만~1,066만 파운드 사이의 네 가지 숫자가 나오고, 주문 수는 541,910건부터 19,773건까지 네 가지로 갈립니다. 코드가 틀린 게 아니라, 무엇을 세는지 확인하지 않은 채 숫자를 믿었기 때문입니다. AI가 코드를 거의 공짜로 써주는 지금, 분석가에게 남는 일은 바로 이 확인입니다.

데이터분석가 취준생을 위한 실전 가이드 · 8/13

제주 컵 반환율 60%의 함정: 지금도 하루 1만 개씩 돌아오지 않는다

· 약 7분
Datapopcorn CEO / AI automation educator

일회용컵에 보증금 300원을 붙인 제주. 시행 3년 만에 반환율이 60%가 됐습니다. 제도를 전국으로 넓히자고 할 때 가장 먼저 나오는 숫자입니다.

그런데 보도된 반환컵 수를 반환율로 거꾸로 나눠 보면 다른 그림이 나옵니다. 제주에서 쓰인 보증금 컵은 2023년 약 904만 개에서 2025년 약 929만 개로, 줄기는커녕 조금 늘었습니다. 그리고 2025년 한 해에만 약 372만 개가 돌아오지 않았습니다. 하루 1만 개꼴입니다.

돌려주는 사람은 분명 늘었습니다. 하지만 쓰레기를 줄이려는 제도라면 봐야 할 숫자는 반환율이 아니라 쓰는 컵의 수입니다. 공식 판매량은 공개되지 않아 이 계산은 어림값이며, 근거와 한계는 본문에 그대로 적었습니다.

데이터분석가 취준생을 위한 실전 가이드 · 7/13

스쿨존 사고 76% 폭증? 같은 해 스쿨존 밖 어린이 사고는 770건 사라졌다

· 약 5분
Datapopcorn CEO / AI automation educator

2025년 스쿨존 어린이 교통사고 927건. 1년 전 526건에서 76% 폭증했습니다. "스쿨존이 더 위험해졌다", "단속카메라 소용없다"는 기사가 나오기 딱 좋은 숫자입니다.

그런데 같은 해 전국 어린이 교통사고 전체를 보면 이야기가 뒤집힙니다. 스쿨존 안 사고가 401건 늘어난 바로 그해, 스쿨존 밖 어린이 사고는 770건 줄었습니다. 전체로는 4.0% 감소입니다. 사망자도 스쿨존 안에서는 2명에서 1명으로 줄었습니다.

4년 내내 5.6~5.9%에 머물던 "어린이 사고 중 스쿨존 비중"은 한 해 만에 10.6%로 두 배가 됐습니다. 도로가 갑자기 위험해졌다기보다, 사고를 세는 방식이 바뀌었습니다. 통계 기관은 2025년부터 사고 장소가 보호구역인지 시스템으로 확인하기 시작했다고 직접 주석을 달아 두었습니다.

데이터분석가 취준생을 위한 실전 가이드 · 6/13

마트 휴업일 바꾸자 전통시장 32% 폭증? 편의점도 23% 올랐다. 진짜 승자는 대형마트

· 약 8분
Datapopcorn CEO / AI automation educator

대구가 대형마트 의무휴업일을 일요일에서 월요일로 바꾼 지 6개월. "전통시장 매출 32.3% 증가"라는 발표가 나왔습니다. 정책이 대성공한 것처럼 보이는 숫자입니다.

그런데 같은 평가 자료를 끝까지 읽으면 이상한 숫자가 나옵니다. 같은 기간 편의점은 23.1%, 음식점은 25.1%, 대구 소매 전체는 19.8% 늘었습니다. 마트 휴업일과 아무 상관 없는 가게들도 다 같이 올랐던 겁니다. 비교 기준인 2022년 봄은 코로나 거리두기가 4월 중순까지 이어지던 때였습니다.

그럼 휴업일을 바꾼 효과는 누가 가져갔을까요? KDI가 휴업일을 평일로 바꾼 4개 지역을 분석하자, 4곳 모두에서 매출이 뚜렷하게 늘어난 쪽은 전통시장이 아니라 대형마트였습니다. 전통시장이 포함된 농축수산·전통유통 범주는 4곳 중 1곳에서만 뚜렷한 증가가 확인됐습니다.

데이터분석가 취준생을 위한 실전 가이드 · 5/13

"역 생기면 매출 뜬다"? 신림선 역 동네와 옆 동네, 매출 차이는 고작 0.2%p

· 약 9분
Datapopcorn CEO / AI automation educator

"역세권 들어오면 매출 뜬다." 상가 분양 광고에서 가장 많이 보는 문장입니다. 2022년 5월 개통한 신림선으로 직접 확인해 봤습니다.

역이 생긴 5개 동의 매출은 개통 후 14.1% 올랐습니다. 역시 역세권이구나 싶죠. 그런데 역이 하나도 안 생긴 같은 관악·동작구의 나머지 31개 동도 13.9% 올랐습니다. 차이는 고작 0.2%p입니다. 12분기 내내 장사한 같은 업종끼리만 비교한 결과입니다.

더 의외인 곳도 있습니다. 서울대 앞 대학동은 역이 생겼는데도 매출이 3.2% 오르는 데 그쳤습니다. 서울 평균 10.5%의 3분의 1도 안 됩니다. 서울시가 공개한 행정동 매출 원자료로 이 비교를 재현하고, 흔히 인용되는 2018년 9호선 사례는 왜 같은 방식으로 확인할 수 없었는지도 함께 정리했습니다.

데이터분석가 취준생을 위한 실전 가이드 · 4/13

중국행 일본 수산물 99.5% 증발. 미국·베트남·태국이 대신 사준 건 3분의 1도 안 됐다

· 약 9분
Datapopcorn CEO / AI automation educator

2022년 일본은 중국에 수산물(HS03)을 5억 3,840만 달러어치 팔았습니다. 2024년 대중국 수출 보고액은 260만 달러였습니다. 99.5%가 증발했습니다. 2023년 8월 24일 중국이 일본 수산물 수입을 전면 중단한 뒤의 일입니다.

그때 많이 나온 말이 "중국이 안 사면 다른 나라에 팔면 된다"였습니다. 실제로 2022년과 비교해 2024년 미국은 6,584만 달러, 베트남은 6,056만 달러, 태국은 2,583만 달러어치를 더 사갔습니다. 합치면 1억 5,223만 달러입니다. 그런데 중국 한 나라에서 빠진 금액의 3분의 1도 안 됩니다.

더 놀라운 건 조치 직후입니다. 2023년 8~12월 다섯 달 동안 중국·홍콩을 뺀 나라들로 더 팔린 금액은 고작 80만 달러였습니다. 빠진 2억 3,817만 달러의 0.3%입니다. "다른 데 팔면 된다"는 말이 현실에서 얼마나 느리게, 얼마나 일부만 작동하는지 UN 무역 원자료로 따라가 봤습니다.

데이터분석가 취준생을 위한 실전 가이드 · 3/13

사드 이후 중국인 390만 명이 사라졌다. 빈자리를 가장 크게 메운 건 뜻밖에도 일본인이었다

· 약 7분
Datapopcorn CEO / AI automation educator

2017년 7월, 여름 성수기에 한국을 찾은 중국인은 28만 명이었습니다. 1년 전 같은 달에는 92만 명이었습니다. 10명 중 7명이 사라진 겁니다. 한 해 전체로 보면 중국 국적 방문객은 807만 명에서 417만 명으로 줄었습니다. 하루 평균 2만 2천 명이던 발길이 1만 1천 명으로, 매일 1만 명씩 끊긴 셈입니다.

여기까지는 다들 아는 이야기입니다. 놀라운 건 그다음입니다. 2019년 한국을 찾은 외국인은 1,750만 명으로, 사드 이전인 2016년보다 오히려 많았습니다. 빠진 중국인 390만 명 가운데 절반도 돌아오지 않았는데 말이죠.

그 빈자리를 가장 크게 메운 건 일본인이었습니다. 일본 국적 방문객은 2016년 230만 명에서 2019년 327만 명으로 97만 명 늘었습니다. 한국에서 일본 불매운동이 한창이던 2019년에도 한국을 찾은 일본인은 전년보다 11% 늘었습니다.

데이터분석가 취준생을 위한 실전 가이드 · 2/13

새벽배송이 늘면 범죄는 줄어들까? 경찰청 데이터로 검증해봤습니다

· 약 12분
Datapopcorn CEO / AI automation educator

2024년에서 2025년 사이 전국의 새벽 절도 건수는 9.3% 줄었습니다. 하지만 이것이 새벽배송 덕분이라는 증거는 아닙니다. 경찰청 원자료, 배송사 진입 시점, 시간미상 사건의 배분을 확인하고, 어떤 가정이 있어야 인과효과를 말할 수 있는지까지 검토했습니다.