셀프-임프루빙 에이전트는 왜 취약한가

에이전트 시대, 신뢰성은 아직 미완성

코딩 에이전트가 프로덕션에 들어가고, 모델 게이트웨이가 대형 결제 인프라와 결합하는 요즘(오늘 뉴스의 OpenRouter·Stripe 결합, Codex 전면 사용량 리셋이 그 예다), 실제로 에이전트가 '잘 동작한다'는 신뢰는 여전히 얕은 모래 위에 서 있다. 오늘 살펴볼 세 편의 논문은 에이전트 AI의 공통 분모인 측정의 어려움을 각각 다른 층위에서 다룬다. 온라인으로 학습·개선하는 '셀프-임프루빙 에이전트'의 취약성, 토크나이저 평가의 부재, 그리고 사람이 에이전트에 대화를 위임할 때의 양방향 수용성. 세 편 모두 메시지는 하나로 모인다. 에이전트를 믿기 전에, 그 성능을 제대로 재고 있는지부터 점검해야 한다.

메모리 기반 셀프-임프루빙 에이전트의 취약성

On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification 논문은 온라인 과제 스트림에서 학습하며 텍스트 메모리 뱅크를 유지해 점진적으로 성능을 개선하는 '메모리 기반 셀프-임프루빙 에이전트'의 신뢰성을 정면으로 다룬다. 연구진은 기존 평가를 두 축으로 넓혀 재검증했다.

확장 축	내용	발견한 문제
여러 실행 반복	동일 설정을 여러 번 돌려 분산을 정량화	평가 자체가 복잡한 환경·멀티스텝 과제에서 원래 시끄럽고, 셀프-임프루빙 루프가 그 노이즈를 증폭함
과제 순서 셔플	과제를 무작위로 섞어 순서 효과 확인	성능 향상이 과제 순서에 크게 의존함

결과적으로 두 가지 관찰이 두드러진다. 첫째, 평가 노이즈의 증폭이다. 에이전트 평가는 원래 노이즈가 많은데 셀프-임프루빙 루프를 겹치면 그 노이즈가 더 커진다. 둘째, 과제 순서 의존성이다. 이전 연구들이 흔히 쓰는 기본 순서에는 암묵적 커리큘럼이 내장되어 있어, 사실상 성공의 숨겨진 전제 조건으로 작동했다.

숨겨진 커리큘럼이 만드는 착시

'가만히 둬도 자동으로 나아지는 에이전트'라는 결론이 사실은 과제 순서가 만들어낸 관성 덕택이었다면, 그 성과는 다른 환경·다른 시작점에 이식 불가능한 착시다. 연구진은 이 취약함의 근원으로 과제와 환경의 언더스펙(구체성 부족)을 지목하고, 상세 루브릭과 환경 피드백 같은 더 나은 명세 정보를 메모리 구성에 주입해 가설을 검증했다. 그 정보를 넣으면 이전 실험에서의 성능 저하가 부분적으로 좁혀졌지만, 여전히 유의미한 격차가 남아 추가 원인이 존재함을 시사한다.

엔지니어링 함의는 명확하다. 셀프-임프루빙 에이전트를 도입할 때는 한 번의 실행 결과를 믿지 말고 여러 번 반복해 분산을 살피고, 과제 순서·초기 상태를 바꿔 로버스트니스를 확인하며, 평가 지표와 과제 명세를 충분히 구체화해야 한다.

토크나이저도 미평가의 늪: TokEval

두 번째 논문 TokEval: A Tokenizer Evaluation Suite는 에이전트의 기반이 되는 LM 성능을 좌우하는 토크나이저가 거의 평가 없이 선택되는 문제를 지적한다. 표준 지표인 fertility·압축률 너머로, UTF-8 문자 경계 무결성이나 수학의 자릿수(자리값) 경계 정렬 같은 언어적·구조적 의미를 포착하는 평가 메트릭을 제안한다.

통제된 사전학습 실험에서 토크나이저의 훈련 데이터 혼합·프리토크나이제이션 전략·학습 알고리즘만 바꿔가며 검증한 결과는 흥미롭다.

지표 유형	예측하는 능력	상관도
정보이론 지표(압축류)	언어모델링 능력	Spearman rho 최대 0.80
구조 민감 지표(자릿수·줄바꿈 처리)	과제 정확도(수학·코드 등)	과제 정확도와 상관

토크나이저 설계 선택이 모델 능력에 다르게 작용한다는 것은, 무거운 사전학습 스윕 대신 내재 지표로 미리 걸러 보는 정량 평가가 가능하다는 뜻이다. TokEval은 두 접근이 어긋날 때 내재 측정으로 대체할 수 있는 근거를 제공한다.

에이전트 위임의 비대칭: 위임은 쉬워도 응답은 어렵다

세 번째 논문 Delegation Asymmetry in Agentic Recommender Systems는 매칭 플랫폼에서 사용자 대신 대화하는 자율 LLM 에이전트가 성립하려면, 고객이 에이전트에 '위임'하는 것뿐 아니라 상대편이 보내는 에이전트 대화를 '수용'해야 한다는 양방향 조건을 측정했다. 실제 데이팅 플랫폼의 대규모 설문(생성 프로필 특성 N=2,894 / 자율 대화 에이전트 N=2,617, 두 언어)을 잠재변수 측정 모델로 분석했다.

결과적으로 보내기·받기 의향은 별개의 구성개념으로 분리됐고(상관 rho=0.92지만 분리 가능), 체계적 위임 비대칭이 정량화됐다. 내 에이전트를 배치하는 데 필요한 수용 임계값(-0.38)은 상대 에이전트와 상호작용하는 값(+0.32, 완전 참여 +1.39)보다 훨씬 낮았고, 배치 성향은 참여 성향보다 대략 3배 높았다. 무작위 페어링 역사실 계산상, 에이전트 배치와 수신자 참여가 결합되는 방향성 쌍은 4~13%에 그친다.

즉 '에이전트가 나를 대신해 말해주는 세상'은 기술만으로 열리지 않는다. 양쪽 수용(수신 동의)을 설계에 반영하지 않으면, 위임자는 있어도 받아줄 상대가 없는 불균형이 생긴다.

정리: 에이전트 신뢰성은 '측정'부터

세 논문은 층위는 달라도 한 방향을 가리킨다. 에이전트 AI가 실제로 동작한다고 믿기 전에, 그 동작을 제대로 재고 있는가를 먼저 답해야 한다. 셀프-임프루빙 에이전트는 반복 실행 분산과 과제 순서를, 토크나이저는 내재 평가 지표를, 에이전트 도입 제품은 양방향 수용을 각각 기억해야 하는 이유다.

오늘의 산업 뉴스(대형 모델 게이트웨이의 결합, 코딩 에이전트의 전면 사용량 리셋)는 에이전트가 본격 상업화되고 있음을 보여준다. 그럴수록 위 논문들이 지적하는 측정 공백이 사고로 이어질 가능성도 함께 커진다. 에이전트를 내보내기 전에, 당신의 평가 지표가 노이즈에 강한지 먼저 점검해 보라.