LLM 심판을 계측기로 믿을 수 있을까

왜 이 논문이 지금 필요한가

LLM judge는 이제 훈련 데이터 필터, 생성물 채점, 리더보드 순위까지 좌우하는 핵심 도구가 됐어요. 그런데 같은 모델명에 같은 요청을 보내도 답이 달라질 수 있다는 점은, LLM을 과학적 측정 도구로 쓸 때 가장 먼저 짚어야 할 가정이에요. arXiv 2609.04198은 그 가정을 실제 사전등록 실험으로 검증했고, 결과는 측정 게이트 통과 실패로 끝났어요.

연구 배경과 문제 정의

기존 judge 연구는 position bias, self-consistency, nondeterminism을 개별적으로 보고해왔어요. 그런데 대부분 결과를 사후에 서술했을 뿐, 사전에 고정된 문턱값이 평가 프로그램 전체를 종료시킬 수 있는 instrument-audit 설정은 드물었어요. 이 논문은 공유 추론 엔드포인트 위에서 black-box LLM judge를 과학적 instrument로 쓸 때, frozen threshold와 preregistered protocol 하에서 과연 안정적인지 묻는 측정론적 질문에 답해요.

핵심 실험 설계와 결과

연구진은 두 번의 사전등록 캠페인을 진행했고, 모든 임계값은 실험 전에 고정했어요. 52,988건의 감사된 요청 시도에서, 같은 시간 창 안의 반복 순위가 Spearman 0.400에 그쳐 요구 문턱값 0.90을 크게 밑돌았어요.

하루 뒤 바이트 동일 재생 실험에서는 합의도 0.78로, 요구한 0.99에 못 미쳤어요. 요청 전달, 스키마 유효성, 요청 해시, 기록된 메타데이터는 모두 천장 수준으로 완벽했기 때문에, 엔지니어링 레코드에는 아무 이상이 없었지만 측정 레이어만 문턱을 통과하지 못한 상황이에요.

분석은 31개 유효 작업 그룹, 100쌍의 재생, 보충 프로그램의 10개 시간 창, 3,060건의 constructed-error 판단에 기반해요. metric substitution이나 sampling 보정도 테스트한 범위에선 효과가 없었는데, 748,000번 호출을 쓰는 시뮬레이션 설계가 500번 중 0번 통과했다는 점이 보정이 쉽지 않음을 보여줘요.

불안정을 만드는 세 가지 메커니즘

논문은 관측된 불안정을 세 가지 메커니즘으로 분해해요.

하나는 label-to-meaning mapping bias예요. 카테고리 라벨이 의미에 미치는 영향이 신호 자체와 같은 크기로 편향을 만들어냈어요. 라벨을 뒤집어 해석하는 프로토콜에서 순위가 뒤집히는 게 신호 수준과 맞먹는 크기로 나타났다는 뜻이에요.

또 하나는 candidate gap이 instrument 자체의 noise floor보다 7차수(order of magnitude)나 작아서, 관찰된 분리가 실제 효과 크기가 아니라 측정 기기의 한계에 묻히는 문제예요. 해결해야 할 점수 간격이 기기의 잡음 바닥보다 몇 자리 낮으니, 재현할 때마다 순위가 바뀌는 거예요.

마지막으로 바이트 동일 입력이 순위를 다르게 내는 플랫폼 비결정성이에요. exact-permutation readout은 이 잡음을 오히려 증폭하는 앰플리파이어로 작동했어요. 연속된 잡음이 argmax나 순열을 통과하면 사소한 차이도 순위 사건이 돼버리는 구조죠.

사후 보충 실험으로 본 한계

프리레지스터 후속 실험은 문제의 경계를 더 구체적으로 좁혀요. 같은 날 재생과 다음 날 재생의 합의도는 0.805 대 0.800으로, 시간을 두고 기다려도 개선되지 않았어요.

4개 제공자(3개 관할)를 비교한 실험에서도 모든 플랫폼이 같은 불안정 바닥(중앙값 0.74~0.88)을 공유했어요. 메타데이터로 제공하는 system_fingerprint 필드는 어떤 failure mode에서도 안정성을 예측하지 못했어요.

batch-invariant 커널 위 자체 호스트는 서버가 한가할 때만 도움이 됐고, 동시 요청이 늘어나면 불일치가 8.4배로 커져 공유 엔드포인트 수준으로 돌아갔어요.

실용적 시사점과 규칙

연구진은 L0-L2 snapshot-identity ladder와 8가지 설계 규칙, reporting checklist를 내놨어요. L0는 단순 모델명, L1는 고정 스냅샷이나 전용 배포, L2는 자체 호스트에 웨이트 해시와 하드웨어·시드까지 명시하는 수준이에요. 프리레지스터 평가는 문턱을 동결하기 전에 pilot battery로 instrument의 noise floor와 gap 분포를 측정하고, 운영 특성 곡선까지 확인한 뒤에야 게이트를 고정해야 한다는 게 핵심 메시지예요. 이 연구에서는 전체 호출량의 약 2%에 해당하는 pilot만 돌렸어도 두 게이트가 모두 도달 불가능하다는 걸 미리 드러낼 수 있었어요.

이 논문은 LLM judge를 instrument로 신뢰하려면, 엔지니어링의 견고함과 측정 신뢰성을 따로 보고하고 스냅샷 정체성을 temperature나 seed만큼 필수 메타데이터로 다루라고 제안해요. 모델명은 그 자체로 고정된 계측기가 아니라는 점을, 특히 공유 엔드포인트를 쓰는 연구팀은 기억해두면 좋아요.

참고 링크

• arXiv:2609.04198 — Clean Engineering, Unstable Measurement
• PDF 보기