셀프-임프루빙 에이전트는 왜 취약한가

에이전트를 믿기 전에 측정부터

이 글은 서로 다른 세 편의 arXiv 논문을 다뤄요. 주인공은 셀프-임프루빙 에이전트의 취약성을 보인 논문이고, 나머지 두 편(토크나이저 평가, 에이전트 위임)은 에이전트의 자기 개선과 직접 관련이 없어요. 셋을 묶는 건 "성능이 좋다는 주장이 어떻게 측정됐는가"라는 질문이라서, 이어지는 연결은 제가 붙인 주제적 해석이에요.

메모리 기반 셀프-임프루빙 에이전트의 취약성

On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification(Qinyuan Ye 등)은 메모리를 쌓아 가며 스스로 개선하는 에이전트를 다뤄요. 연구진은 기존 평가를 두 방향으로 넓혀서 다시 봤어요.

이전 연구가 쓰던 기본 순서에는 암묵적인 커리큘럼이 들어 있어서 성공의 숨은 전제가 됐다는 게 논문의 지적이에요. 연구진은 메모리를 직접 분석한 뒤 과제와 환경의 명세가 부족한 게 취약성의 원인이라고 가설을 세웠어요. 상세 루브릭과 환경 피드백을 메모리에 넣어 보니 격차가 부분적으로만 좁혀졌다고 해요. 논문은 여러 번 실행해 분산을 보고, 다양한 조건에서 스트레스 테스트를 하고, 사람이 감독할 수 있는 시스템을 권해요.

이 결과를 내 에이전트 평가에 적용하면

셀프-임프루빙 에이전트로 얻은 개선을 보고할 때는 세 가지를 같이 적는 게 좋아요. 몇 번 반복했는지, 반복 사이의 분산이 얼마인지, 과제 순서를 바꿨을 때도 같은 방향이 나오는지예요. 한 번의 실행에서 "초반 10개 과제는 못 풀고 후반 10개는 푼다"는 곡선이 나왔다면, 그건 학습이 아니라 뒤쪽 과제가 쉬웠기 때문일 수 있어요. 순서를 뒤집은 실행에서 곡선이 사라지면 그게 신호예요.

이 논문의 가장 실용적인 지점은 비용 쪽이에요. 여러 번 반복과 순서 셔플은 실행 비용을 몇 배로 늘리니, 모든 실험에 적용하기 어려울 수 있어요. 그래서 개선 폭이 분산 범위보다 큰지 먼저 보고, 작다면 개선이라고 부르지 않는 쪽이 현실적인 기준이에요. 이건 논문의 권고에서 제가 정리한 운영 기준이고, 논문이 수치 기준을 제시한 건 아니에요.

남는 한계도 있어요. 논문 자신이 명세 보강으로도 격차가 완전히 닫히지 않았다고 말하듯, 원인은 아직 일부만 설명돼요. 이 글은 초록 수준의 내용을 확인한 것이라, 구체적인 분산 크기나 어떤 벤치마크에서 가장 크게 나타났는지는 원문을 봐야 해요.

토크나이저 평가 스위트 TokEval

두 번째 논문 TokEval: A Tokenizer Evaluation Suite(Clara Meister, COLM 2026 채택)는 토크나이저를 내재 지표로 평가하는 틀이에요. 문자 경계 무결성이나 수학 자릿수 정렬처럼 언어학적으로 의미 있는 속성을 봐요.

통제된 사전학습 실험에서 정보이론 지표는 언어모델링 능력을 예측했고(Spearman rho 최대 0.80), 구조 민감 지표는 과제 성능과 상관을 보였어요. 평가 범위는 언어 이해, 수학 추론, 코드 생성 벤치마크예요. 논문의 목표는 두 접근이 일치하는 범위에서 무거운 사전학습 스윕을 내재 측정으로 대체하는 거예요. 이 결과는 "토크나이저를 고를 때 압축률만 보면 안 된다"는 방향을 주지만, 어떤 지표가 내 도메인에서 맞는지는 별도 확인이 필요해요.

에이전트 위임의 비대칭

세 번째 논문 Delegation Asymmetry in Agentic Recommender Systems는 데이팅 플랫폼처럼 사용자를 대신해 대화하는 에이전트가 성립하려면, 내가 에이전트를 내보내는 일과 상대 에이전트의 대화를 받아들이는 일이 모두 필요하다고 봐요. 두 언어에서 각각 2,894명과 2,617명의 활성 사용자를 설문한 결과, 배치 의향과 수신 의향은 상관이 rho=0.92로 높지만 분리 가능한 별개 구성개념이었어요.

수용 임계값은 내 에이전트 배치가 -0.38, 상대 에이전트와의 상호작용이 +0.32, 완전한 참여가 +1.39였어요. 무작위 짝짓기를 가정하면 양쪽 조건이 모두 맞는 쌍은 4~13%에 그쳤어요. 임계값은 척도 값이라 퍼센트로 읽으면 안 돼요. 또 이 연구는 데이팅 플랫폼 설문이라서 채용이나 고객 지원 같은 다른 영역으로 일반화하는 건 이 글의 범위 밖이에요.

정리

세 논문이 말하는 공통점은 측정 조건을 같이 밝히지 않으면 숫자를 비교할 수 없다는 거예요. 셀프-임프루빙 에이전트는 반복 분산과 과제 순서를, 토크나이저는 내재 지표의 종류를, 에이전트 도입 서비스는 양쪽 수용 조건을 함께 보고해야 한다는 식이에요.