Jev·Claude·GPT Mini, 공룡게임에서 누가 더 오래 버틸까요?

같은 공룡게임 코스에서 녹화한 최고 기록을 비교하니, Jev는 60초 테스트가 끝날 때까지 살아 있었습니다. Claude Haiku 4.5는 게임 시간 15.38초, GPT-5.4 Mini는 17.19초에 충돌했습니다. 모델별 시도 수와 API 요청을 처리하는 서버의 선택 조건이 다른 하이라이트이며, 평균 성능 순위는 아닙니다.

공룡게임으로 확인하려던 것은 판단이 제때 도착하는지였습니다

게임은 장애물이 다가오는 동안 다음 행동을 골라야 하므로 응답 지연을 눈으로 볼 수 있습니다. 처음에는 화면을 보고 점프 시점까지 AI가 고르는 방식이 어려웠습니다. 그래서 공개 Jev 공룡게임 코드를 바탕으로 상태 전달과 실행을 나누었습니다.

이번 실험에서 AI가 받는 것은 스크린샷이 아닙니다. 게임 코드가 장애물 종류·개수·높이와 현재 속도를 읽어 전달하고, 모델은 점프·숙이기·계속 달리기 중 하나와 점프 유형을 고릅니다. 코드는 그 선택을 받아 실제 조작 시점을 계산합니다.

예를 들어 장애물이 다가올 때 AI는 점프할지 고릅니다. 언제 키를 누르고 얼마나 유지할지는 공통 조작 코드가 맡습니다. AI가 매 프레임 키보드를 누르는 방식이 아니므로, 게임이 잘된 정도에는 모델과 조작 코드가 함께 영향을 줍니다.

세 모델에 같은 상태와 선택지를 전달했습니다

모델은 Jev 1.13, Claude Haiku 4.5, GPT-5.4 Mini를 지정했습니다. Claude와 GPT는 OpenRouter의 Chat Completions에서 정해진 선택지를 함수 호출로 반환하게 했고, Jev는 Decisions API의 choice 질문을 사용했습니다. 같은 의미의 상태·질문·선택지를 쓰되 API 형식은 모델에 맞게 변환했습니다.

화면에 표시한 모델	요청에 쓴 모델 ID	응답 방식
Jev 1.13	typesafe/jev-1.13	Decisions API의 정해진 선택
Claude Haiku 4.5	anthropic/claude-haiku-4.5	Chat Completions의 함수 호출
GPT-5.4 Mini	openai/gpt-5.4-mini	Chat Completions의 함수 호출

연결은 게임 상태 읽기, 모델별 API 어댑터, 공통 조작 코드 순으로 만들었습니다. 먼저 한 모델로 상태와 행동이 왕복하는지 확인한 다음, 다른 모델도 같은 선택지를 반환하도록 바꿨습니다. API 키는 브라우저 화면에 넣지 않고 서버에서 읽도록 했습니다.

아래는 AI 코딩 도구에 연결 코드를 만들게 할 때 사용할 핵심 요구사항입니다. 구체적인 API 주소와 응답 형식은 TypeSafe 문서, OpenRouter 문서, GPT-5.4 Mini 공식 문서를 함께 확인해야 합니다.

공개 공룡게임 코드에서 장애물 상태를 읽어 API로 보내 줘.
모델이 고를 것은 jump / duck / keep_running과 short / full 점프야.
점프 시점은 공통 코드가 현재 속도로 계산하게 해 줘.
첫 관측 시 공룡이 점프 중이어도 장애물 도착 때까지 그대로라고 가정하지 마.
짧은 점프는 작은 선인장 1개에만 허용해 줘.
같은 장애물 종류·개수·높이·간격·속도 보정값을 녹화해 재생해 줘.
게임을 API 대기 중 멈추지 말고 원래 속도 설정으로 실행해 줘.
API 오류는 충돌과 따로 기록하고, 대체 행동이나 모의 응답을 쓰지 마.
테스트는 실제 시간으로 60초가 되면 끝내고 응답시간·비용·모델명·실패 이유를 로그로 남겨 줘.

Claude와 GPT의 추론은 끄고 temperature 0, 출력 한도 128토큰으로 맞췄습니다. 자동 재시도, 응답 캐시, API 실패를 감추는 대체 행동은 사용하지 않았습니다. Jev의 신뢰도 숫자로 행동 여부를 바꾸지도 않았습니다.

같은 시드만으로는 부족해 장애물 코스 자체를 고정했습니다

처음에는 난수 시드만 같으면 공정한 비교라고 생각했습니다. 그러나 실행 중 난수가 소비되는 순서에 따라 장애물 간격이나 종류가 달라지는 경우가 있어, 실제 생성된 코스의 속성을 기록해 다른 모델에 재생했습니다. 이번 녹화의 세 모델은 같은 첫 장애물인 작은 선인장 3개를 만났고, 생성된 장애물 기록도 기준 코스와 일치하는 것을 확인했습니다.

게임 설정은 기본 속도 6, 가속도 0.001, 최대 속도 13입니다. 실행은 브라우저에서 실제 시간으로 진행했으며 API를 기다리는 동안 게임을 멈추지 않았습니다. 원본 게임의 가속은 프레임 수에 영향을 받으므로 다른 컴퓨터나 브라우저의 결과까지 일반화할 수는 없습니다.

릴스에는 모델별 가장 오래 버틴 녹화를 골랐습니다

첫 편집의 하이쿠는 첫 장애물에서 끝나 비교 장면이 너무 짧았습니다. 과거 실험에는 14초대 기록도 있었지만 영상은 남아 있지 않아, 같은 코스와 질문·조작 코드로 실제 API 플레이를 추가 녹화했습니다. 게임 속도나 장애물 규칙을 바꾸거나, 더 오래 버틴 것처럼 화면을 늘리지는 않았습니다.

유효한 녹화는 하이쿠 7판, GPT Mini 7판, Jev 4판입니다. 하이쿠와 GPT에는 기본 라우팅 4판과 OpenRouter의 지연 우선 라우팅 3판이 포함됩니다. 라우팅은 API 요청을 어느 제공자 서버에 보낼지 정하는 조건입니다. Jev는 4판 모두 실제 시간 60초가 되어 테스트를 끝낼 때까지 생존했습니다. 추가 녹화의 응답 usage에 기록된 비용 합계는 $0.03890720입니다.

선택한 모델	녹화 판 수	최고 기록	선택된 판의 평균 API 응답	선택된 판의 호출 수 / 비용
Claude Haiku 4.5	7	15.38초 / 충돌	1135ms	10 / $0.01368800
GPT-5.4 Mini	7	17.19초 / 충돌	994ms	13 / $0.00540075
Jev 1.13	4	게임 59.13초 / 60초까지 생존 후 테스트 종료	395ms	59 / $0.00169180

선택된 하이쿠 판은 provider.sort: latency를 사용했고, GPT Mini 판은 기본 라우팅을 사용했습니다. OpenRouter의 공식 문서에 따르면 이 설정은 낮은 지연의 제공자를 우선하도록 요청하는 기능이며, 게임 전체의 응답시간을 보장하지는 않습니다. Jev는 전용 Decisions API를 사용했습니다.

이 릴스는 녹화된 최고 플레이를 보여 주는 하이라이트입니다. 모델마다 시도 수가 다르고 라우팅도 혼합했으므로 공정한 승률·평균 지연 비교나 보편적인 성능 순위로 읽으면 안 됩니다. 호출 비용도 플레이 길이와 호출 수가 달라, 총액만으로 동일 작업의 절감률을 계산하지 않습니다.

60초 생존은 게임 오버가 아니라 테스트를 끝낸 시점입니다

모든 판은 실제 시간으로 최대 60초까지만 실행하도록 정했습니다. 선택된 Jev 녹화의 게임 시간은 59.13초이며, 두 시간은 게임 시작 대기와 녹화 시점 때문에 약간 다릅니다. 릴스의 “60초까지 생존 · 테스트 종료”는 그 시점까지 충돌하지 않았다는 뜻이지, 60초에 게임 오버가 났다는 뜻이 아닙니다.

응답시간은 서버가 API 요청을 보내고 응답을 받을 때까지 측정했습니다. 표의 비용은 성공 응답의 usage에 기록된 달러 금액입니다. 실행 시점·네트워크·모델 제공자 상태가 달라지면 결과도 달라지며, 더 오래 실행했을 때 언제 충돌할지는 이번 녹화로 알 수 없습니다.

GPT Mini의 첫 호출 차단과 실제 충돌을 구분했습니다

처음 GPT-5.4 Mini를 연결했을 때는 첫 요청에서 HTTP 402를 받았습니다. 최대 128토큰을 요청했지만 당시 남은 크레딧으로는 최대 116토큰까지만 허용할 수 있다는 응답이었습니다. 그 실행에는 모델 답변도 충돌도 없었으므로 성적으로 쓰지 않았습니다.

사용 가능한 키로 연결을 갱신한 뒤 출력 한도를 그대로 128토큰으로 유지하고 같은 코스를 다시 실행했습니다. 이번에는 API 응답 13개를 성공적으로 받아 게임 시간 17.19초에 충돌했습니다. 중단된 이전 실행을 낮은 생존시간으로 끼워 넣거나 GPT만 출력 한도를 줄이지 않았습니다.

AI의 선택과 코드의 타이밍을 구분해야 합니다

이 실험은 Jev가 화면을 보고 사람처럼 게임을 플레이했다는 증거가 아닙니다. 장애물을 읽고 조작 타이밍을 잡는 코드는 세 모델이 공유하며, 이런 단순한 장애물 게임은 규칙 기반 코드만으로도 잘할 수 있습니다. 여기서 관찰한 것은 이 연결 구조와 코스에서 API 판단이 제때 도착했는지입니다.

최고 기록 하이라이트에서 Claude와 GPT Mini의 충돌 뒤 장면은 정지 화면으로, 둘이 멈춘 뒤 Jev 후속 플레이는 8배속으로 표시했습니다. 따라 해본다면 같은 수의 판을 녹화하고, 동일한 라우팅 조건에서 전체 결과와 응답시간 분포를 함께 비교하는 편이 좋습니다. 게임 규칙만 사용하는 기준 플레이도 추가하면 모델을 붙인 효과를 더 분명히 볼 수 있습니다. 업무 적용이 궁금하다면 Jev 사례 모음집의 문의 배정·피드 필터·작업 경로 판단 사례를 함께 보세요.