크리틱 없이 추론을 키우는 새 강화학습, Bellman Policy Optimization

이 논문을 한 문장으로 요약하면

챗GPT 같은 대형 언어모델(LLM)의 추론 능력을 키우는 데 쓰는 강화학습 방식, RLVR(검증 가능한 보상 기반 강화학습)이 있어요. 풀이 과정이 맞는지는 검증 프로그램이 점수를 주는 식이죠. 그런데 정책을 갱신하는 과정에서 현재 상태가 얼마나 유망한가를 추정하는 가치 모델, 즉 크리틱이 필요했어요.

이 논문은 그 크리틱을 통째로 빼는 방법을 제시해요. 벨만 방정식(Bellman equations)을 이용해 중간 상태의 가치를 계산하지 않고도 Policy Mirror Descent(PMD)라는 기존 공식을 궤적(트레이젝토리) 단위 목적식으로 다시 써버리고, 실제로 효과가 있다는 걸 수학 벤치마크로 증명했어요.

RLVR에서 크리틱이 왜 문제였나

RLVR은 언어모델이 문제를 풀고, 검증기가 모은 최종 답에만 점수를 매겨요. 이렇게 끝 단계 보상만 있는 구조에서 정책을 바로 세우려면, 생성 중간의 각 토큰 위치에서 지금까지 쓴 답이 얼마나 유망한가를 아는 가치 함수가 필요해요. 이걸 학습하려면 별도로 크리틱(비평 모델)을 키워야 하는데, 크리틱은 메모리와 계산 비용을 크게 늘리고 특히 추론 문제에서는 배운 가치 추정이 부정확할 때가 많아요.

그래서 요즘 널리 쓰는 GRPO(Group-Relative Policy Optimization) 계열은 보상 그룹 안에서 상대화한 어드밴티지로 크리틱을 피해가는 길을 택했어요. 하지만 GRPO는 토큰별로 중요도 비율(importance-sampling ratio)이라는 보정값을 따로 들고 다니고, 그 구조가 언제나 정확하다는 보장은 없어요. 이 논문은 GRPO 같은 근사가 아니라 PMD라는 원칙적인 공식에서 출발해 크리틱을 수학적으로 없애는 경로를 보여줘요.

BPO의 핵심: 벨만 방정식으로 중간자를 지운다

논문이 내세우는 이름 Bellman Policy Optimization(BPO)의 출발점은 PMD예요. PMD는 현재의 롤아웃 정책에서 KL 발산 제약을 붙여 한 발 앞선 정책을 구하는 방식인데, 문제는 각 상태의 어드밴티지를 알아야 한다는 거예요. 이 논문은 여기서 벨만 방정식을 끌어옵니다.

끝 보상만 있는 환경에서는 연속된 상태 사이의 가치 차이가 토큰별 어드밴티지가 되고, 응답을 따라 이 차이를 더해 나가면 결국 마지막 보상과 처음 상태의 가치만 남는다는 사실을 증명해요. 이 텔레스코프(Telescoping) 성질 때문에 중간 상태의 가치를 하나하나 추정할 필요가 없어져요. 처음 상태의 가치는 프롬프트별로 샘플한 응답들의 평균 보상으로 쉽게 구할 수 있고, 마지막 보상은 검증기가 이미 줘요.

논문은 이렇게 만든 목적식이 원래 PMD 목적식과 롤아웃 정책 아래 도달 가능한 상태에서 정확히 같은 유일한 최적해를 갖는다는 정리를 증명했어요. 근사가 아니라 동치라는 점이 이 방법의 무게감이에요.

실전 손실: 보정 가중치가 중요도 비율을 대신해요

이론 목적식을 그대로 쓸 수는 없으니 논문은 현실적인 손실 함수로 근사하는 과정도 보여줘요. 제곱 잔차 목적식을 선형화하고, 그룹 보상을 평균과 표준편차로 정규화해 GRPO와 같은 어드밴티지 형태를 유지해요. 전체 KL 발산은 비싸서 그 토큰인지 아닌지만 보는 이진 KL로 바꾸고, 이 과정에서 나온 미스매치 보정 가중치(mismatch-correction weight)에 덧셈 평활화와 상한 캡을 씌워 안정화합니다.

여기서 눈여겨볼 점은, 그 보정 가중치가 토큰의 여집합 확률(1에서 해당 토큰 확률을 뺀 값)의 평활된 비율로 표현된다는 거예요. GRPO에서는 토큰별 중요도 비율이 이 자리를 차지했는데, BPO는 벨만 정리에서 자연스럽게 나온 이 보정값으로 바꿔치기해요. 즉 임의로 붙인 근사가 아니라 이론에서 유도된 가중치라는 뜻이에요.

하이퍼파라미터도 두 개(평활화 입실론, 상한 C)뿐이라 튜닝 부담이 작아요.

벤치마크: Qwen3-30B-A3B에서 AIME 평균 50.5%

실험은 MoE(혼합 전문가) 구조인 Qwen3-30B-A3B-Base를 DAPO-Math-17k 영어 데이터로 400 스텝 학습하며 진행했어요. 비교 대상은 GRPO-ClipHigher, GSPO, CISPO, DPPO 네 방법이며 정책 손실만 바꾸고 나머지 설정은 동일하게 맞췄어요. 평가는 AIME 2024~2026 수학 문제에서 문제당 32개 응답을 샘플해 Pass@1을 추정하는 Avg@32 기준이에요.

BPO는 평균 50.5%로 가장 강한 비교군인 CISPO(47.4%)보다 3.1%p, GRPO-ClipHigher(39.5%)보다 11.0%p 앞섰어요. AIME24, AIME25, AIME26 세 벤치마크 모두에서 가장 높은 정확도를 기록했죠. 학습 종료 시점(400 스텝)에서도 49.4%로, 그때 가장 좋았던 DPPO(45.5%)를 눌렀어요.

하이퍼파라미터에 강한가, 그리고 한계

보정 가중치가 하이퍼파라미터에 민감하면 실전에서 쓰기 어려우니 논문은 Qwen3-4B-Base에서 민감도 분석도 진행했어요. 평활화 입실론을 0.050.2로 바꿔도 평균 정확도가 25.425.8%로 거의 비슷했어요. 상한 C를 2.04.0으로 넓혀도 25.325.8%로 편차가 0.5%p에 그쳤어요.

두 경우 모두 기준선인 GRPO-ClipHigher(20.5%)를 꾸준히 웃돌아 비교적 덜 까다로운 방법이에요.

다만 검증 벤치마크가 수학 추론에 한정돼 있고, 스케일 실험은 400 스텝 비교라는 점은 그대로 남아요. 코드가 공개되지 않은 상태라 재현 실험을 직접 돌려보기 어려운 것도 참고할 부분이에요.

참고 링크

• Bellman Policy Optimization (arXiv:2609.15987)
• 논문 HTML(실험 세부·표·부록 포함)