일상 20과제 블라인드 테스트… 단일 최강 AI는 없었어요

“무슨 AI 쓸까?”라는 물음에 답하는 블라인드 테스트에요

MMLU나 HumanEval 같은 합성 벤치마크는 점수만 번지르르하지, 실제로 쓸 때 어느 모델이 잘 작동하는지는 알려주지 못해요. DailySkill이 이번에 20개 일상 과제를 놓고 모델 이름을 가린 채 실측한 결과를 오픈 데이터셋으로 공개했어요. 대상은 ChatGPT(GPT-4o), Claude 3.5 Sonnet, Gemini 2.0 Flash(웹 검색 기반), Grok 4.6 네 가지예요.

80개 응답을 이름 모른 채 5개 기준으로 평가한 방식

평가자는 어떤 모델이 만든 결과인지 모르는 상태에서 작업 완결성·사실 정확성·명료성·실용성·형식 다섯 기준을 각각 5점 만점으로 매겼어요. 그룹 채팅 요약, 여행 일정 짜기, 비즈니스 이메일, 냉장고 재료 레시피, 운동 계획, 면접 대비, 계약서 해설까지 일상에서 주고받는 요청이 고루 들어갔죠. 4개 모델 × 20개 과제로 총 80개 응답이 나왔고, 전 과정은 검증 가능한 원본 데이터로 공개됐어요.

공개 쪽에서 재미있는 점은 집계 과정의 결함까지 고백했다는 거예요. 초기엔 Grok CLI가 작업 공간의 한국어 설정을 물려받고, Claude는 로컬 프롬프트 지침을 이어받는 등 '실험이 오염될 뻔한' 사례가 있었는데, 격리된 환경에서 다시 실험해 전부 정정했다고 밝혔어요. 벤치마크가 주장하는 신뢰성을 스스로 검증하려는 태도로 보이네요.

평균 결과: 모델마다 강한 영역이 뚜렷하게 갈렸어요

전체 20개 과제 중 13개(65%)는 여러 모델이 같은 점수로 함께 1위를 차지했는데, 그래도 4사 간 최고·최저 점수 차이는 2.05점에 그쳤어요. 일상 업무에서는 상위 모델들이 비슷한 수준을 보였다는 뜻이에요.

평균 점수 1위는 Grok(24.35/25)이었어요. 여행 일정(Day 5)에서 공식 운영 시간을 근거로 인용하고, 월요일에 닫히는 벨렘 관광지를 미리 짚어냈죠.

중간 영역에선 역할이 갈렸어요. ChatGPT는 지시를 정확히 지키는 쪽(제한된 재료만 쓰는 레시피 등)에서, Gemini는 트윗 훅과 가사 해석에서 빛을 냈어요. Claude는 가격을 따져 계산해야 하는 숙제에서 두각을 나타냈어요.

제약을 어기고 사실을 지어낸, 교묘하게 파고드는 실패들

블라인드 테스트라 오히려 눈에 띄는 결함도 있었어요. 전체 응답에서 발견된 오류는 다음과 같아요.

• Gemini는 허리 통증이 있는 사용자에게 덤벨 스러스터(Dumbbell Thrusters) 운동을 처방했어요. 허리 부담을 피하라는 조건과 정면으로 배치된 자세라 실제 부상 위험이 있죠.
• Claude는 목록에 없는 기름·소금·후추를 레시피에 추가했어요. 제한된 재료만 쓰라는 지시를 어긴 예시예요. 같은 문제에서 ChatGPT는 토마토 물로 볶는 우회책을 내며 조건을 지켰어요.
• 트윗 요약(Day 26)에서 Grok(304자)과 Claude(289자)는 280자 제한을 넘겼어요. Gemini만 246자로 제한 안에 들어갔죠. 모델이 문자 수를 견적하지 않고 토큰 단위로 생각하기 때문에 생기는 오류예요.
• Claude는 상대적 날짜를 구체적 날짜로 계산하기를 거부하면서, 8월 30일 마감을 9월 1일보다 뒤에 배치하는 정렬 오류를 범했어요. 날짜를 뽑는 일이 핵심인 작업에서 치명적이었죠.
• Gemini는 회의록에서 지원자가 이미 등장한 온보딩 문서를 '담당자 미정'으로 표시해, 실제로 표기되지 않은 것처럼 만들었어요. 회의 내용을 정확히 옮겨야 하는 작업에서 더 큰 신뢰 문제예요.

그래서 실용 시사점: 단일 최강 대신 용도별 선택이 답이에요

이 테스트가 던지는 결론은 어느 모델이 최고냐가 아니라, 상황마다 강한 모델이 다르다는 거예요. 문서 검토·계약 해설에는 Claude, 짧은 홍보 문구에는 Gemini, 정확한 날짜·일정 처리에는 ChatGPT·Grok가 유리하다는 식으로요.

따라서 한 모델에만 의존하기보다 여러 모델을 상황에 맞춰 쓰는 습관이 실전에서 더 유용해요. 아울러 모델이 답한 문자 수는 직접 다시 세어 확인하고, 날짜를 물을 때는 '오늘'이 언제인지 기준을 꼭 알려주는 편이 안전해요. 실제 프로젝트에 적용하기 전에 결과물을 한 번 더 검증하는 습관이 이 벤치마크가 주는 가장 큰 교훈이에요.

참고 링크

• ChatGPT vs Claude vs Gemini vs Grok: 20 Everyday Tasks Tested (Blind Benchmark 2026) - DailySkill