같은 54만 행이 3.5MB도 되고 102.7MB도 됩니다: CSV·Excel·JSON·Parquet 고르는 법
같은 온라인몰 거래 54만 행을 저장했더니 Parquet은 3.5MB, CSV는 45.0MB, JSON Lines는 102.7MB였습니다. 다시 읽는 데는 Parquet 0.1초, CSV 0.24초, JSON 1.3초, 원본 Excel은 20초 안팎이 걸렸습니다. 더 중요한 차이는 타입입니다. CSV와 JSON은 다시 읽는 순간 날짜가 문자열로, 고객 번호 17850이 17850.0으로 바뀌었고, Parquet은 그대로였습니다. 반대로 151행짜리 작은 데이터에서는 CSV가 Parquet보다 작았습니다. 형식은 용량 하나로 고르는 게 아니라 누가 읽고, 얼마나 자주 읽고, 타입이 살아남아야 하는지로 고릅니다.







