ENCP: 길찾기 AI에 확률 보증이 있는 불확실성을 더하다

길을 잃은 로봇, 언제 사람을 부르나

집 안을 돌아다니는 로봇에게 "두 번째 문으로 들어가서 왼쪽 방에 있는 컵을 가져와"라고 말을 하면, 로봇은 말과 눈에 보이는 장면을 이어가며 한 걸음씩 길을 찾아요. 이걸 비전-언어 내비게이션(Vision-and-Language Navigation, VLN)이라고 해요.

문제는 이런 에이전트가 잘 모른 채 한 걸음 틀리면 걷잡을 수 없게 된다는 점이에요. 길만 틀리는 게 아니라, 지나친 장면이 어긋나서 그 다음 판단에 쓰는 시야 정보 자체가 잘못되거든요. 벤치마크 점수라면 그냥 낮아지는 걸로 끝나지만, 실제 공간에서는 벽에 부딪히거나 임무가 통째로 실패할 수 있어요. 그래서 에이전트가 여기서 자신 없어요하고 알려주고 사람에게 도움을 요청할 줄 아는 게 중요해요.

출처: arXiv 2609.17499, Fig. 1

컨포멀 예측이 가진 '보증' 카드

에이전트가 자신 없을 때 어떻게 양심적으로 알려줄 수 있을까요. 딥러닝이 내는 소프트맥스 확률을 그대로 "자신감"으로 쓰면 안 되는 이유가 있어요. 신경망은 실제보다 과신하는 경우가 흔하고, 배포 환경이 학습 때와 달라지면 불확실성 추정도 무너지기 마련이에요. 확률 자체가 교정(calibrated)되어 있다는 보장이 없는 한, 그 숫자를 어디 선으로 자른다고 안전해지지 않아요.

이때 컨포멀 예측(Conformal Prediction)이 등장해요. 사용자가 정한 오류 허용치 α가 있으면, 예측 결과를 **집합(set)**으로 바꿔주면서 "정답이 집합 안에 있을 확률이 1−α 이상이다"라는 분포 없는(finite-sample) 보증을 줘요. 집합에 후보가 한 개면 그대로 행동하고, 여럿이면 "모르겠다"고 도움을 요청하는 방식으로 쓸 수 있어요. 로봇 플래닝이나 사람 도움 시스템에서 이미 쓰이는 아이디어기도 하죠.

표준 컨포멀이 VLN에서 무너지는 이유

그런데 표준 컨포멀 예측은 단일 예측 하나에 대한 보증이에요. VLN처럼 여러 스텝으로 이어지는 경로에서는 문제가 생겨요. 각 스텝을 독립적인 캘리브레이션 샘플로 보면, 한 에피소드 안의 스텝들은 공유된 관찰·행동 이력 때문에 서로 의존하고, 에피소드 길이도 제각각이며, 앞선 행동이 뒤 관찰을 바꿔버리거든요. 그렇게 스텝을 한데 모아 캘리브레이션하면 교환성(exchangeability)이 깨져서 보증이 무너져요.

실제로 논문의 Fig. 2와 표를 보면, 스텝-풀(step-pooled) 방식은 거의 모든 설정에서 목표 커버리지에 미달해요. α=0.30일 때 DUET·HAMT의 APS·RAPS는 그나마 최고 확률 액션 하나만 내놓는, 사실상 argmax 정책으로 뭉개지고요. 이름만 컨포멀이지, 정한 위험 수준을 실제로 반영하지 못하는 상태예요.

ENCP: 에피소드 하나에 최댓값 하나

Monash University와 SEACrowd 연구진이 제안한 Episode-Normalized Conformal Prediction(ENCP)는 접근을 바꿔요. 스텝을 모으는 대신, 에피소드(경로) 하나를 캘리브레이션 단위로 보고 그 안에서 한 번만 대표값을 뽑는 방식이에요.

구체적으로 두 가지가 핵심이에요. 먼저 각 스텝의 비컨포멀 스코어를 정책의 "잔여 자신감"으로 나눠 조정해요. 정책 최대 확률을 p_max라 하면 s_norm = s_base / (2 − p_max)로요. 자신이 없을수록 분모가 커져 유효 임계값이 올라가고 더 많은 후보를 허용하게 돼요. 그다음, 에피소드 안 스텝들의 조정 스코어에서 최댓값 하나를 캘리브레이션 스코어로 써요. 최댓값을 잡으면 에피소드 모든 스텝을 한 번에 덮으므로, 교환 가능한 에피소드들 아래에서 경로 전체의 정답 커버리지가 1−α 이상이 된다는 보증(Theorem 1)이 성립해요.

재미있는 점은 가중치를 파라미터 없는 규칙으로 둬도 성능이 충분하다는 거예요. 학습 기반 가중치는 스텝 특성(엔트로피, 최대·2위 확률 차이, 액션 집합 크기 등)으로 네트워크를 학습시키는데, α=0.10에서 스텝 커버리지 차이는 최대 0.006에 불과했고 오히려 예측 집합이 커지는 비용만 있었어요. 그래서 논문은 별다른 학습 없이 쓰는 파라미터-프리 버전을 주 결과로 선정해요.

실험 결과와 정직한 한계

실험은 R2R·REVERIE 두 데이터셋에서 DUET, HAMT, Recurrent VLN-BERT(PREVALENT·OSCAR 초기화) 네 정책과 THR·APS·RAPS 세 스코어를 조합해 진행했어요. 훈련에 나온 건물에서 캘리브레이션하고 보지 못한 건물에서 평가하는 seen-to-unseen 설정에서, ENCP는 보고된 스텝 커버리지 목표를 전부 맞췄어요. 예를 들어 R2R val-unseen, THR, α=0.10에서 DUET은 표준 방식 0.854에서 ENCP로 0.965까지 올랐어요.

도움 요청 실험도 흥미로워요. DUET·R2R에서 도움 없이는 성공률 71.2%였는데, 예측 집합 크기로 요청 시점을 조절하면요:

다만 한 가지 정직한 한계가 있어요. Theorem 1의 보증은 에피소드들이 교환 가능할 때만 성립해요. 훈련 건물에서 보지 못한 건물로 넘어가는 분포 이동(seen-to-unseen) 아래에서는 엄밀한 보증이 깨지고 실측 커버리지만 확인됐어요. 또 도움 요청 실험은 실제 사람이 아닌, 목표와 지도를 아는 시뮬레이터가 답을 주는 방식이라 실배포 성능을 그대로 뜻하지는 않아요. 집합 크기 임계값도 val-unseen을 보고 정한 것이라, 실제로 쓸 땐 보류된 데이터에서 다시 고르고 분포 이동이 오면 재캘리브레이션해야 한다는 점을 논문도 짚고 있어요.

그래서 알맹이는 뭐예요

ENCP의 가치는 모델을 손대지 않고, 정책을 그대로 둔 채 불확실성에 확률 보증을 붙였다는 점이에요. 상태 기반 보증을 주는 기존 접근들이 특정 정책·설정에 묶였던 것과 달리, ENCP는 에피소드 단위로 스코어 하나만 다시 캘리브레이션하면 어떤 VLN 정책에도 끼워 쓸 수 있는 포스트-트레이닝 도구예요. 예측 집합의 크기를 사람 도움을 받을 트리거로 쓴다는 발상은, "언제 사람이 필요하냐"를 정책이 아니라 사용자가 고르는 위험 수준 α에서 정한다는 의미에서 실용적이에요.

이런 보증을 VLN에 처음 도입한 연구이니만큼, 앞으로 연속 제어나 실제 사람-로봇 협업으로 확장하려면 스코어 설계와 사람 평가 연구가 더 필요할 거예요. 흥미로운 방향이에요.

참고 링크

• 원문 논문: ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation (arXiv:2609.17499)
• HTML 원문(공식 이미지 포함): arXiv HTML