FID가 감추는 것: 생성 모델 평가의 새로운 지표 ZID

왜 지금 FID인가

생성 모델을 비교할 때 연구자들은 가장 먼저 Fréchet Inception Distance(FID)를 본다. FID는 Inception 네트워크의 특징 분포를 가우시안으로 근사해 두 분포 사이의 거리를 단일 스칼라로 나타낸다. Kernel Inception Distance(KID) 역시 비슷한 역할을 한다. 두 지표는 간결해서 랩 노트 한 줄로 모델 순위를 정리하기 좋지만, 그 단순함이 오히려 평가의 맹점이 된다.

모델이 빨라지고 출력 화질이 높아지면서, 이제 평가 지표가 '정말로 같은 방향의 개선을 잡아내는가'가 중요해졌다. 단일 숫자로는 두 개선이 구분되지 않는 상황에서, FID는 여전히 표준이지만 그 한계도 함께 드러나고 있다.

FID의 첫 두 모멘트 함정

Hao Chen의 새 논문은 FID가 실제로는 첫 번째와 두 번째 모멘트, 즉 평균과 공분산만 비교한다는 점에서 시작해 분포 차이를 놓칠 수 있음을 지적한다. FID가 가우시안 근사를 쓰기 때문에 생기는 structural blind spot이다. 더 심각한 건 스칼라 하나로는 샘플링 변동에 대한 보정 검정도 불가능하다는 점이다.

논문은 ImageNet에서 시각적으로 식별 불가능한 이미지들을 Inception 평균·공분산만 맞추도록 최적화한 경우, FID가 24.7까지 떨어졌다고 보고한다. hold-out 실제 이미지와의 FID는 58.6이었다. 낮을수록 좋다는 FID의 관점에서 보면, 이렇게 인위적으로 만든 이미지가 실제 이미지보다 더 '좋은' 분포를 가진 것처럼 착각하게 만드는 셈이다.

FID와 KID가 스칼라 불일치(scalar discrepancy)라는 점에서 또 하나의 문제가 생긴다. 두 샘플을 교환해도 값이 같기 때문에 분산 변화의 방향을 알 수 없다. mode collapse 같은 under-dispersion과 과도하게 퍼지는 over-dispersion을 구분하지 못한다는 뜻이다. 평가 지표가 방향을 잃으면, 모델 개선이 실제로 더 나은지 나쁜지 판단하는 근거가 사라진다.

ZID: 세 가지 출력의 진단 지표

저자는 이 문제를 풀기 위해 ZID(Z-resolved Integrated Diagnostic)를 제안한다. ZID는 rank graph(RISE)와 가우시안 커널(GPK, 두 가지 대역폭)에서 나온 여섯 개의 표준화된 위치·분산 민감 arm을 결합한다. 핵심은 하나의 스칼라에 세 가지 역할을 모두 시키지 않는다는 점이다.

ZID는 분포 이탈의 크기를 나타내는 순위 지수, 분포 동일성에 대한 순열 검정 p-value, 그리고 부호가 있는 분산 진단 출력을 함께 제공한다. 크기·통계적 유의성·방향을 한 번에 보는 셈이다. 이 세 출력은 서로 다른 질문에 답하도록 설계돼 있어, 단일 숫자에 숨겨진 정보를 분리해서 드러낸다.

RISE는 순위 기반 거리로, 실제 분포와 생성 분포의 거리를 rank level에서 측정해 이상치에 덜 민감하다. GPK는 대역폭을 두 가지로 나눠 평가해, 구조적 차이와 국소적 차이를 구분한다. 두 방식이 의도적으로 다르게 설계된 이유는, 한 가지 커널이나 거리 정의만 쓰면 평가 지표가 데이터 분포나 모델 구조에 따라 편향될 수 있기 때문이다.

실험과 진단 예시

통제된 실험에서 ZID는 여러 종류의 분포 이탈을 감지했고, FID가 평평하거나 역전되는 구간에서도 심각도에 맞춰 점수가 올라갔다. 특히 DiT-XL/2와 SiT-XL/2의 guidance sweep 실험에서 ZID는 실제 데이터에서 벗어나는 지점을 잡아냈다.

Classifier-free guidance scale을 높일수록 화질 지표는 오르는 듯 보이지만 diversity는 실제로 줄어든다. ZID는 부호가 있는 판독으로 이 현상이 단일 방향의 collapse가 아니라 under-dispersion임을 라벨링했다. FID는 이 구간에서 평평하거나 심하면 개선으로 오해할 수 있는 신호를 내지만, ZID는 붕괴의 방향을 정확히 가리킨다.

저자는 permutation test 기반 진단 분석도 함께 제공한다. 랜덤 순열을 반복해 두 분포가 실제로 같은지 검정하는 이 분석은, FID 값만 보고는 알 수 없는 통계적 안정성까지 보여준다. 연구 재현성이나 모델 비교에서 p-value나 permutation profile을 함께 보는 습관이 생기면, 평가 해석의 질 자체가 달라진다.

연구가 남기는 시사점

이 논문은 FID가 '충분히 좋은' 평가 지표라는 오래된 가정에 경고를 보낸다. 연구실이나 대회에서 스칼라 한 개로 모델 순서를 정할 때, 실제로는 평가 지표가 감춘 방향성 정보 때문에 잘못된 결론에 이를 수 있다. ZID는 검정과 진단을 분리해 제안함으로써, 평가 프로토콜 자체를 다시 설계하라는 메시지를 던진다.

생성 모델 연구에서 평가 방법론의 근본을 되짚어보기에 충분한 시도다. 다만 새 지표가 기반 코드·벤치마크 생태계에 스며들려면 시간이 걸린다. 당장 연구 실습에 바로 도입하기보다는, 기존 FID 순위를 ZID로 교차 검증하는 용도부터 시작하는 게 현실적이다.

논문은 평가 지표가 단순할수록 오해하기 쉽다는 점도 분명히 한다. 단일 스칼라가 주는 안정감은 실제로는 방향 정보를 버린 결과일 수 있다. 지금 생성 모델 경쟁이 '한 숫자'로 정리되는 문화에 대한 반성점으로도 읽힌다.

참고

• Hao Chen, "What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation", arXiv:2608.24881, 2026. arXiv 링크