안정적인 critic 학습 레시피, 6단계로 정리해요

배경

RLHF 파이프라인에서 reward model 다음에 오는 critic 학습은 불안정하기로 유명해요. 값이 조금만 달라져도 policy gradient 추정이 크게 흔들리면서 실제 성능이 떨어지는 경우가 많습니다.

이 논문은 이 문제를 6단계 레시피로 정리해요. 저자 Qi, Zhou, Lee는 arXiv 2608.23566에서 단계별로 어떤 수정이 필요한지, 왜 그 수정이 효과가 있는지 실험과 함께 설명합니다.

6단계 레시피

저자들이 제안하는 핵심 레시피는 다음과 같아요.

1. DPPO로 시작합니다.
2. 값 보정을 적용합니다.
3. MC 탐색을 추가합니다.
4. 정규화 제거를 검증합니다.
5. privileged baseline을 활용합니다.
6. 거리 기반 GAE로 마무리합니다.

이 순서는 ablation study로 확인했어요. 각 단계를 건너뛰면 validation reward나 policy consistency가 떨어집니다.

핵심 하이퍼파라미터

저자들은 critic loss에서 lambda_pi=0.99, lambda_V=1 비율을 사용했어요. critic 헤드는 [0,1] 범위의 arctan 함수로 제한했고, reward scaling 없이도 안정적인 학습 곡선을 얻었다고 보고합니다.

sanity test 결과

sanity test는 1.5B 모델, 1,460문제, 1,500 iterations 조건에서 일치를 확인했어요. 같은 설정에서 reward와 policy gradient 추정이 모두 안정적으로 움직입니다.

더 큰 스케일

데이터 규모는 40.3K, 모델은 30B-A3B MoE에서도 같은 경향이 유지된다고 저자들은 밝혀요. 이 부분은 ablation이 아니라 관측 결과라, 재현 여부는 별도 확인이 필요합니다.

코드와 참고 자료

저자들은 QPHutu/golden_critic 저장소를 공개했어요. 아키텍처와 학습 루프를 직접 확인할 수 있습니다. 원문은 arXiv 2608.23566에서 볼 수 있고, full HTML 버전도 제공됩니다.