본문으로 건너뛰기
데이터분석가 취준생을 위한 실전 가이드 · 1/30시리즈 보기 →

뉴욕 택시 1만 건에 검증 규칙 12개를 걸어봤습니다: Great Expectations 입문

· 약 15분
Datapopcorn CEO / AI automation educator
이 글과 연결된 글 보기
7편 · 21개 연결
100%
2027 데이터 분석 포트폴리오, 무엇을 넣어야 할까요? 공고 153건을 뜯어보고 정한 7단계따릉이 공개 데이터 해부: 데이터셋 19개 지도와 실측 함정 22개, 2년치 7,832만 건으로 확인한 7단계뉴욕 택시 1만 건에 검증 규칙 12개를 걸어봤습니다: Great Expectations 입문고향사랑기금은 정말 안 쓰고 있을까? 243개 지자체 지출을 전부 받아 확인하기의사 피의자 한 해 735명, 의료사고 실형은 3명꼴? 고소된 의사가 실제로 어디까지 가는지 데이터로 보기모던워페어4 흥행, 판매량 대신 검색 데이터로 보기: 콜 오브 듀티 5편 네이버 검색 비교무연고 사망, 독거노인 이야기일까? 서울 4개 구 데이터로 본 50~60대 남성

드래그로 이동 · 휠/두 손가락으로 확대 · 방향키로 글 선택 · 0으로 맞춤. 실선: 본문 링크, 점선: 시리즈·주제의 대표 연결.

표시된 글 7편 목록
전체 글 연결 탐색

뉴욕 택시 실제 운행 기록 1만 건에 Great Expectations(GX) 검증 규칙 12개를 실행했더니 5개가 실패했습니다. 음수 요금 7건과 1마일에 3,004달러가 찍힌 운행처럼 실제로 의심스러운 행도 있었지만, 데이터 사전 버전 차이로 생긴 실패와 제가 규칙을 잘못 세워서 생긴 실패도 섞여 있었습니다. 이 글에서는 GX의 Expectation Gallery에 어떤 규칙들이 있는지 정리하고, 실제 실행 결과를 따라가며 실패를 어떻게 읽어야 하는지 보여드립니다.

합계는 금방 나오지만, 믿어도 되는지는 따로 확인해야 합니다​

이번에 사용한 데이터는 2019년 1월 뉴욕 옐로 택시 운행 1만 건입니다. fare_amount(미터 요금)를 모두 더하면 124,850.31달러, 평균은 12.49달러가 나옵니다. 코드 한 줄이면 나오는 숫자이고, 실행 중 오류도 나지 않습니다.

그런데 이 1만 건 안에는 요금이 음수인 운행이 7건, 1마일을 3분도 안 되게 달렸는데 요금이 3,004달러인 운행이 1건 있습니다. 이 한 건만 빼도 평균 요금은 12.49달러에서 12.19달러로 내려갑니다. 행 하나가 평균을 2% 넘게 움직인 것입니다. 분석 결과를 보고하기 전에 데이터가 어떤 조건을 만족하는지 먼저 확인해야 하는 이유입니다.

Great Expectations는 이런 확인 작업을 규칙으로 적어두고 반복해서 실행할 수 있게 해 주는 Python 오픈소스 도구입니다. 이 글에서 다루는 것은 무료로 쓸 수 있는 GX Core입니다.

Expectation은 데이터에 거는 ‘확인 가능한 조건’입니다​

GX에서 Expectation은 “데이터가 이 조건을 만족해야 한다”는 규칙 하나를 뜻합니다. “요금이 이상하지 않아야 한다”는 말은 검사할 수 없지만, “요금은 0 이상이어야 한다”는 참과 거짓을 가릴 수 있습니다. 막연한 기대를 검사 가능한 문장으로 바꾸는 것이 Expectation입니다.

규칙 이름은 길지만 문장처럼 읽으면 됩니다. ExpectColumnValuesToBeBetween은 “컬럼 값들이(Column Values) 범위 사이에 있기를(To Be Between) 기대한다(Expect)”는 뜻입니다.

한 가지만 먼저 구분해 두겠습니다. Expectation Gallery는 규칙을 찾아보는 카탈로그이고, 내 데이터를 실제로 검사하는 일은 Python 코드에서 합니다. 갤러리를 연다고 CSV가 검사되지는 않습니다.

갤러리에는 무엇이 있나요? 8가지 질문으로 나뉩니다​

2026년 9월 27일 기준으로 갤러리에는 50개의 규칙이 있고, Data quality issue 필터는 8개 분류로 나뉩니다. 택시 데이터에 대입하면 이렇게 읽을 수 있습니다.

갤러리 분류던지는 질문택시 데이터에서의 예
Completeness · 완전성필요한 값이 채워져 있나?승차 시각이 비어 있지 않은가
Uniqueness · 유일성겹치면 안 되는 값이 겹치지 않나?운행 하나를 구분하는 값이 중복되지 않는가
Numeric · 숫자값이나 통계량이 기준 안에 있나?요금이 0 이상인가, 최대 요금이 상식적인가
Validity · 유효성허용된 값과 형식인가?결제 방식 코드가 사전에 정의된 값인가
Schema · 구조컬럼 구성과 자료형이 약속대로인가?18개 컬럼이 빠짐없이 들어왔는가
Volume · 데이터 양행 수가 예상과 맞나?매일 들어오는 운행 건수가 갑자기 0이 되지 않았는가
SQL · 직접 쓴 조건SQL로 잘못된 행을 정의할 수 있나?결제 완료인데 금액이 없는 행을 쿼리로 찾기
Multi-source · 소스 간 비교다른 저장소의 결과와 맞나?원본 DB와 분석용 저장소의 월별 집계 비교

갤러리에서 규칙을 고를 때는 다음 순서가 편합니다.

  1. Data source에서 내 데이터가 있는 곳을 고릅니다. CSV를 Pandas로 읽는다면 Pandas입니다. SQL 분류의 UnexpectedRowsExpectation처럼 Pandas에서는 지원하지 않는 규칙도 있습니다.
  2. Data quality issue에서 지금 확인하려는 문제를 고릅니다.
  3. Search에 null, between, unique 같은 단어를 넣어 좁힙니다.
  4. See more를 눌러 필요한 인자(Args)와 성공·실패 예시를 확인합니다.

실습 데이터: GX 공식 튜토리얼의 뉴욕 택시 샘플​

실습에는 GX 공식 튜토리얼이 쓰는 CSV를 그대로 사용했습니다. 뉴욕시 택시리무진위원회(TLC)가 공개하는 2019년 1월 옐로 택시 운행 기록에서 뽑은 1만 행, 18개 컬럼짜리 파일입니다. 누구나 같은 URL로 내려받아 결과를 재현할 수 있습니다.

컬럼의 의미는 TLC 옐로 택시 데이터 사전을 기준으로 삼았습니다. 이 글에 나오는 코드는 다음 뜻입니다.

  • rate_code_id(요금 코드): 1 일반, 2 JFK 공항, 3 뉴어크, 4 나소·웨스트체스터, 5 협의 요금, 6 합승
  • payment_type(결제 방식): 1 카드, 2 현금, 3 무료, 4 분쟁, 5 알 수 없음, 6 취소된 운행

실행 환경은 Python 3.9.6, GX Core 1.8.1, pandas 2.3.3입니다. 최신 GX(1.23)는 Python 3.10 이상이 필요하지만, 이 글에서 쓴 규칙과 실행 방식은 1.x 버전에서 같습니다. 다른 부분은 해당 위치에 따로 적었습니다.

규칙 12개를 이렇게 세웠습니다​

규칙은 “분석 전에 이것만은 사실이어야 한다”는 기준으로 골랐습니다. 아래 코드는 제가 실제로 실행한 스크립트 전체입니다. pip install great_expectations 후 그대로 실행하면 같은 결과가 나옵니다.

코드가 길어 보이지만 하는 일은 세 가지입니다. 1) 검사할 데이터를 GX에 연결하고, 2) 규칙을 따로 정의한 뒤, 3) 둘을 batch.validate()로 만나게 합니다. 코드를 읽기 전에 이 그림을 먼저 보세요.

이 글에서는 메모리에 올린 DataFrame 전체를 한 번에 검사하므로 Batch Definition이 whole_dataframe 하나뿐입니다. 파일 폴더나 DB 테이블을 연결하면 이 단계에서 날짜별로 나눠 검사하도록 정할 수도 있습니다.

import os
os.environ["GX_ANALYTICS_ENABLED"] = "false" # 사용 통계 전송 끄기
os.environ["TQDM_DISABLE"] = "1" # 진행 막대 숨기기

import great_expectations as gx
import great_expectations.expectations as gxe
import pandas as pd

URL = "https://raw.githubusercontent.com/great-expectations/gx_tutorials/main/data/yellow_tripdata_sample_2019-01.csv"
df = pd.read_csv(URL, parse_dates=["pickup_datetime", "dropoff_datetime"])

# 1) 데이터를 GX에 연결하고, 검사할 묶음(Batch)을 만든다
context = gx.get_context(mode="ephemeral")
batch = (
context.data_sources.add_pandas("taxi")
.add_dataframe_asset("trips_2019_01")
.add_batch_definition_whole_dataframe("whole")
.get_batch(batch_parameters={"dataframe": df})
)

COLUMNS = [
"vendor_id", "pickup_datetime", "dropoff_datetime", "passenger_count",
"trip_distance", "rate_code_id", "store_and_fwd_flag",
"pickup_location_id", "dropoff_location_id", "payment_type",
"fare_amount", "extra", "mta_tax", "tip_amount", "tolls_amount",
"improvement_surcharge", "total_amount", "congestion_surcharge",
]

# 2) 규칙을 정의한다
rules = {
"① 컬럼 구성": gxe.ExpectTableColumnsToMatchSet(column_set=COLUMNS, exact_match=True),
"② 승차 시각 필수": gxe.ExpectColumnValuesToNotBeNull(column="pickup_datetime"),
"③ 혼잡 통행료 필수": gxe.ExpectColumnValuesToNotBeNull(column="congestion_surcharge"),
"④ 승차 시각이 2019년 1월": gxe.ExpectColumnValuesToBeBetween(
column="pickup_datetime",
min_value=pd.Timestamp("2019-01-01"), max_value=pd.Timestamp("2019-02-01"), strict_max=True),
"⑤ 하차가 승차보다 늦음": gxe.ExpectColumnPairValuesAToBeGreaterThanB(
column_A="dropoff_datetime", column_B="pickup_datetime", or_equal=True),
"⑥ 승객 수 1~6명": gxe.ExpectColumnValuesToBeBetween(column="passenger_count", min_value=1, max_value=6),
"⑦ 요금 0 이상": gxe.ExpectColumnValuesToBeBetween(column="fare_amount", min_value=0),
"⑧ 최대 요금 1,000달러 이하": gxe.ExpectColumnMaxToBeBetween(column="fare_amount", max_value=1000),
"⑨ 요금 코드 1~6": gxe.ExpectColumnValuesToBeInSet(column="rate_code_id", value_set=[1, 2, 3, 4, 5, 6]),
"⑩ 결제 방식 1~6": gxe.ExpectColumnValuesToBeInSet(column="payment_type", value_set=[1, 2, 3, 4, 5, 6]),
"⑪ 거리 0 초과 (전체)": gxe.ExpectColumnValuesToBeBetween(column="trip_distance", min_value=0, strict_min=True),
"⑫ 거리 0 초과 (99%)": gxe.ExpectColumnValuesToBeBetween(column="trip_distance", min_value=0, strict_min=True, mostly=0.99),
}

# 3) 규칙마다 검증하고 결과를 출력한다
for name, rule in rules.items():
res = batch.validate(rule)
r = res.result
status = "PASS" if res.success else "FAIL"
if "observed_value" in r:
obs = r["observed_value"]
detail = f"관측값={len(obs)}개 컬럼" if isinstance(obs, list) else f"관측값={obs}"
else:
detail = f"벗어난 행={r['unexpected_count']} ({r['unexpected_percent']:.2f}%)"
print(f"{status} {name} {detail}")

batch.validate(rule)가 규칙 하나를 데이터에 적용하는 부분입니다. 결과의 success는 통과 여부, unexpected_count는 조건을 벗어난 행 수입니다. 평균이나 최댓값처럼 컬럼 전체를 요약하는 규칙은 행 수 대신 observed_value(실제로 관측한 값)를 돌려줍니다.

⑧의 1,000달러는 공식 기준이 아니라 “이 정도면 사람이 한번 봐야 한다”는 뜻으로 제가 정한 값입니다. 이렇게 임의로 정한 기준은 글이나 포트폴리오에 반드시 그렇다고 밝혀야 합니다.

실행 결과: 12개 중 7개 통과, 5개 실패​

실제 출력은 다음과 같습니다.

PASS ① 컬럼 구성 관측값=18개 컬럼
PASS ② 승차 시각 필수 벗어난 행=0 (0.00%)
FAIL ③ 혼잡 통행료 필수 벗어난 행=6327 (63.27%)
PASS ④ 승차 시각이 2019년 1월 벗어난 행=0 (0.00%)
PASS ⑤ 하차가 승차보다 늦음 벗어난 행=0 (0.00%)
PASS ⑥ 승객 수 1~6명 벗어난 행=0 (0.00%)
FAIL ⑦ 요금 0 이상 벗어난 행=7 (0.07%)
FAIL ⑧ 최대 요금 1,000달러 이하 관측값=3004.0
FAIL ⑨ 요금 코드 1~6 벗어난 행=1 (0.01%)
PASS ⑩ 결제 방식 1~6 벗어난 행=0 (0.00%)
FAIL ⑪ 거리 0 초과 (전체) 벗어난 행=64 (0.64%)
PASS ⑫ 거리 0 초과 (99%) 벗어난 행=64 (0.64%)

여기서 멈추고 “실패한 행을 지우자”고 하면 안 됩니다. 실패한 규칙을 하나씩 열어 보면 원인이 모두 다릅니다. 데이터를 탓하기 전에 기준 문서와 규칙부터 의심하면, 아래 순서로 원인이 갈립니다.

실패한 규칙걸린 행원인 분류다음 행동
⑦ 요금 0 이상7건데이터가 의심스러움결제 방식과 함께 확인
⑧ 최대 요금 1,000달러 이하1건데이터가 의심스러움거리·시간과 대조
⑨ 요금 코드 1~61건기준(데이터 사전) 버전 차이최신 사전 기준으로 재판단
③ 혼잡 통행료 필수6,327건규칙을 잘못 세움조건을 붙여 규칙 수정
⑪ 거리 0 초과64건허용 범위를 정하지 않음허용 비율(mostly) 결정

⑦ 음수 요금 7건: 지우기 전에 결제 방식을 봅니다​

요금이 음수인 7건을 결제 방식과 함께 뽑아 봤습니다.

승차 시각거리(마일)요금 코드결제 방식요금(달러)
2019-01-08 14:060.002 (JFK)2 (현금)-52.00
2019-01-09 10:040.022 (JFK)2 (현금)-52.00
2019-01-09 15:530.321 (일반)3 (무료)-4.00
2019-01-16 20:490.551 (일반)4 (분쟁)-5.50
2019-01-17 13:290.005 (협의)3 (무료)-0.01
2019-01-18 18:360.171 (일반)3 (무료)-3.00
2019-01-25 07:470.235 (협의)3 (무료)-0.10

7건 중 5건이 ‘무료’ 또는 ‘분쟁’ 결제이고, 나머지 2건은 이동 거리가 거의 0인 JFK 요금 코드 운행에 -52달러가 찍혀 있습니다. 취소나 정정 기록일 가능성이 있어 보이지만, 이 파일만으로는 확정할 수 없습니다. 그래서 “음수 요금을 삭제했다”가 아니라 **“매출 집계에서는 제외하고, 제외 기준과 건수(7건, 합계 -116.61달러)를 명시한다”**처럼 처리해야 합니다.

⑧ 3,004달러 운행: 평균을 흔드는 한 줄​

ExpectColumnMaxToBeBetween은 행 하나하나가 아니라 컬럼의 최댓값을 검사합니다. 그래서 실패 결과도 “몇 행이 벗어났다”가 아니라 “관측된 최댓값이 3004.0이다”로 나옵니다.

해당 행은 1월 28일 밤 9시 31분에 출발해 1.00마일을 2분 48초 동안 달리고 현금으로 3,004달러를 낸 운행입니다. 일반 요금 코드였으니 입력 실수일 가능성이 매우 높아 보입니다. 앞에서 본 것처럼 이 한 건이 평균 요금을 12.19달러에서 12.49달러로 끌어올립니다. 평균 대신 중앙값(9.00달러)을 함께 보고하는 것도 방법입니다.

⑨ 요금 코드 99: 규칙이 아니라 기준 문서가 달랐습니다​

rate_code_id가 99인 행이 1건 있었습니다. 2015년판 TLC 데이터 사전에는 요금 코드가 1~6까지만 정의되어 있어서, 그 기준으로는 잘못된 값입니다. 그런데 2025년 3월판 사전에는 99 = Null/unknown이 추가되어 있습니다.

즉 99는 오타가 아니라 “요금 코드를 알 수 없음”을 뜻하는 공식 값입니다. 사실상의 결측치인 셈이라 별도로 세어 보고하는 게 맞습니다. 이 사례에서 얻을 교훈은 규칙을 만들 때 어떤 버전의 데이터 사전을 기준으로 삼았는지 기록해야 한다는 것입니다. 참고로 결제 방식도 최신 사전에는 0(Flex Fare)이 추가되어 있지만, 2019년 데이터에는 없어서 ⑩은 통과했습니다.

③ 혼잡 통행료 결측 63%: 제가 규칙을 잘못 세운 경우입니다​

congestion_surcharge(뉴욕주 혼잡 통행료) 컬럼은 1만 건 중 6,327건이 비어 있었습니다. 숫자만 보면 심각한 품질 문제 같지만, 날짜별로 나눠 보면 전혀 다른 모습이 나옵니다.

승차일운행 수빈 값채워진 값
1월 1일 ~ 20일6,3026,302 (100%)없음
1월 21일 ~ 31일3,69825 (0.7%)모두 0

1월 20일까지는 컬럼 자체가 한 번도 채워지지 않았고, 21일부터는 거의 모든 행에 0이 들어 있습니다. 개별 운행의 누락이라기보다 기록 방식이 중간에 바뀐 것으로 보입니다(이 파일만으로 원인을 확정할 수는 없습니다). 이런 컬럼에 “비어 있으면 안 된다”는 규칙을 전 기간에 건 것은 제 실수입니다.

GX에서는 row_condition으로 규칙을 일부 행에만 적용할 수 있습니다. 1월 21일 이후 운행에만 규칙을 걸고, 남은 빈 값 25건을 허용 비율로 처리하면 이렇게 됩니다.

fixed = gxe.ExpectColumnValuesToNotBeNull(
column="congestion_surcharge",
row_condition='pickup_datetime >= "2019-01-21"', # GX 1.8.1 문법
condition_parser="pandas",
mostly=0.99,
)
batch.validate(fixed) # 3,698행 중 25행 누락(0.68%) → 통과

실제로 실행하면 3,698행 중 25행이 비어 있어(0.68%) mostly=0.99 기준을 통과합니다. 최신 GX(1.23) 문서에서는 문자열 대신 from great_expectations.expectations.row_conditions import Column을 불러와 row_condition=Column("pickup_datetime") >= datetime(2019, 1, 21)처럼 조건을 객체로 씁니다. 설치한 버전에 맞는 문법을 확인하세요.

⑪과 ⑫: 같은 64건인데 결과가 다릅니다​

이동 거리가 0인 운행이 64건(0.64%) 있었습니다. 승객이 탔다가 바로 내렸거나 미터기 기록에 문제가 있었을 수 있습니다. ⑪과 ⑫는 같은 64건을 발견했지만, ⑪은 한 건이라도 있으면 실패하고 ⑫는 mostly=0.99, 즉 99% 이상만 조건을 만족하면 통과로 판정합니다.

어느 쪽이 옳은지는 분석 목적에 달려 있습니다. 거리당 요금을 계산한다면 거리 0은 나눗셈을 망가뜨리니 전부 걸러야 합니다. 월간 운행 건수만 센다면 1% 미만은 허용할 수도 있습니다. mostly는 허용 기준을 정하는 도구일 뿐, 기준 자체를 대신 정해 주지는 않습니다.

통과한 7개도 “데이터가 정확하다”는 뜻은 아닙니다​

통과한 규칙은 내가 확인한 조건 안에서는 문제가 없었다는 뜻입니다. 예를 들어 ⑥ 승객 수 1~6명은 통과했지만, 2015년판 데이터 사전에 따르면 승객 수는 기사가 직접 입력하는 값입니다. 실제로 몇 명이 탔는지까지 보장하지는 않습니다.

또 이 데이터에는 운행을 하나씩 구분하는 ID 컬럼이 없습니다. 그래서 ‘같은 운행이 두 번 들어왔는가’를 검사하는 Uniqueness 규칙은 명확하게 세울 수 없었습니다. 몇 개 컬럼을 조합해 ExpectCompoundColumnsToBeUnique를 걸 수는 있지만, 그 조합이 정말 운행 하나를 뜻하는지는 데이터 제공자에게 확인해야 합니다. 검사하지 못한 항목을 적어두는 것도 검증 결과의 일부입니다.

포트폴리오에는 도구 이름보다 판단 근거를 남기세요​

이력서에 “Great Expectations 사용”이라고만 쓰면 별 의미가 없습니다. SQL이나 Pandas만으로도 같은 검사는 할 수 있습니다. 면접관이 보고 싶은 것은 어떤 기준을 세웠고, 결과를 어떻게 해석했는지입니다. 진행 중인 분석 프로젝트에 다음 다섯 가지를 한 페이지로 덧붙여 보세요.

  • 데이터 단위와 출처: 한 행이 무엇을 뜻하고, 어떤 데이터 사전(버전 포함)을 기준으로 삼았나?
  • 핵심 규칙과 근거: 어떤 조건이 깨지면 분석 결과가 틀려지나? 임의로 정한 기준은 무엇인가?
  • 실행 결과: 몇 개가 통과·실패했고, 실패 건수와 예시는 무엇인가?
  • 실패 원인과 처리: 데이터 문제·기준 차이·규칙 설계 문제 중 무엇이었고, 어떻게 처리했나?
  • 남은 한계: 검사하지 못한 것, 원인을 확정하지 못한 것은 무엇인가?

이 글의 택시 사례로 쓰면 “12개 규칙 중 5개 실패. 음수 요금 7건과 3,004달러 1건은 매출 집계에서 제외하고 명시, 요금 코드 99는 최신 사전 기준 ‘알 수 없음’으로 분류, 혼잡 통행료 규칙은 1월 21일 이후로 한정해 재설계, 거리 0은 1% 미만까지 허용”처럼 정리할 수 있습니다. 이 정도면 도구를 써 봤다는 것보다 훨씬 많은 것을 보여줍니다.

참고 자료​

이 글의 수치는 GX 공식 샘플 1만 건 기준이며, 2019년 1월 전체 운행 기록을 대표하지 않습니다.

전체 연결 보기