자율 AI 연구 10주 만에 사람 성과의 90%에 도달했대요

자율 AI 연구, 진짜 ML 문제엔 통했을까

LLM이 점점 똑똑해지면서 "AI가 사람 대신 연구를 한다"는 시나리오가 현실로 다가왔어요. 이미 언어 모델 손실 최적화나 생물의학 벤치마크 같은 좁은 문제에서는 자율연구(autonomous research) 프레임워크가 꽤 성과를 내고 있죠. 그런데 과연 이런 에이전트가 표현 방식·아키텍처·학습 데이터 생성까지 마음대로 골라야 하는 '개방형' 문제에서도 통할까요?

지난 9월 올라온 arXiv 논문 "Autonomous Research for Open-Ended Problems: A Case Study on Telecom Ticket Retrieval"이 이 질문에 직접 답해줬어요. 조지타운대와 노키아 벨연구소 팀(Junghyun Min, Huseyin Uzunalioglu, Mohamed Trabelsi)이 실제 통신사 장애 티켓 검색이라는 산업 과제에 에이전트를 투입했어요. 그 결과가 꽤 흥미로워요.

왜 '티켓 검색'이 좋은 시험대였나

통신 네트워크에 장애가 나면 운영팀에 티켓(incident ticket)이 접수돼요. 이 티켓에는 사고 원인·맥락이 담겨 있는데, 문제를 처리하려면 과거에 비슷한 사고를 어떻게 해결했는지 기록(해결 문서)을 찾아야 해요. 여기서의 과제는 쿼리 티켓이 주어지면 관련 해결 문서를 제대로 찾아내는 문서 검색(retrieval) 이에요.

이 과제가 특별한 이유는 검색 공간이 넓다는 점이에요. 하이퍼파라미터만 고르는 게 아니라 ① 문서 표현 방식(어떻게 정제·임베딩할지) ② 학습 데이터 생성(네거티브 샘플을 어떻게 뽑을지) ③ 모델 아키텍처까지 전부 결정해야 하거든요.

언어 모델링처럼 검색 공간이 좁던 기존 자율연구와 달라서, 에이전트의 진짜 한계를 시험하기 좋았다는 거예요.

데이터는 실제 장애 처리 기록으로, 장애 보고서(T) 25만 건, 고장 분석(FA) 약 20.4만 건, 기술 분석(TA) 약 8.9만 건으로 구성됐어요. 같은 사고를 다루는 문서들은 하나의 클러스터로 묶였고, 평가는 보류된 쿼리 7.6천 개가 대상 문서 1.2천 개를 맞히는 방식으로 진행됐어요.

자율연구 캠페인, 어떻게 설계했나

팀은 세 가지 설계 축을 바꿔가며 여러 자율연구 캠페인을 돌렸어요. 프레임워크 구조는 단일 에이전트 루프(a.k.a. autoresearch)와 다중 에이전트 팀(AutoScientists)을 비교했고, 에이전트는 상용 모델 두 개(Claude Sonnet 5, Cursor Composer 2.5)와 오픈가중치 모델(GPT-OSS 120B)을 골랐어요. 마지막으로 기존 최고 성능(SoTA)의 구성 요소를 문서로 알려주는 'informed' 설정과 아무 정보 안 주는 'uninformed' 설정도 나눴죠.

여기서 주목할 점은 에이전트가 스스로 잘 돌아가도록 보조하는 운영 하네스(harness) 를 별도로 만든 거예요. 무인으로 돌리면 에이전트가 GPU 메모리를 충분히 안 쓰거나, "멈추지 마"라고 지시해도 중간에 멈추거나, 같은 실험을 반복 실행하는 일이 잦다고 해요. 그래서 과제 정의 문서화·탐색 공간 명시·결정적 외부 루프 스크립트를 하네스에 넣었어요.

결과: 10주에 기존 성능의 90%까지

가장 좋은 결과를 낸 시스템은 단일 파인튜닝 MPNet 검색 모델이었어요. 아래 표처럼 사람이 만든 단일 모델이나 앙상블을 뛰어넘었고, 가장 정교한 내부 SoTA 모델에 근접했어요.

Recall@1 기준 0.343은 내부 SoTA(0.380)의 약 90% 수준이에요. 초록이 "최고 성능의 90%(0.34 대 0.38)"라고 한 게 바로 이 수치예요.

더 인상적인 건 시간·비용이에요. 최고 캠페인은 1 GPU-주(단일 GPU 1주 분량)의 계산 자원과 10주간의 실행으로 끝났고, 반면 사람이 설계한 비교 시스템들은 개발에 약 10개월이 걸렸어요. 비용은 Cursor 기준 캠페인당 약 150200달러(API 요금만), Claude는 약 23배(300~600달러), GPT-OSS는 로컬 GPU로 호스팅해 거의 무료였답니다.

예상 밖이었던 발견들

흥미롭게도 논문은 가설이 여럿 빗나갔다고 보고해요.

• 다중 에이전트가 더 나은 건 아니었어요. 에이전트 간 토론이 탐색 폭을 넓힐 것 같았지만, 실제 최고 모델은 단일 에이전트 루프에서 나왔어요.
• 에이전트 추론 성능은 결과와 큰 상관이 없었어요. Claude > Cursor > GPT-OSS 순일 거라 예상했지만, 캠페인 절반이 Recall@1 0.30~0.34의 비슷한 성능 대역으로 수렴했어요.
• SoTA 정보를 문서로 알려줘도 써먹질 못했어요. 아무 에이전트도 재순위화·데이터 증강·앙상블을 시도하지 않고, 계속 단일 모델 파인튜닝에 머물렀어요.

핵심 한계는 에이전트의 창의성 부족이에요. 하이퍼파라미터는 잘 조정하는데, 예를 들어 "학습을 1에폭에서 2에폭으로 늘린다" 같은 파라미터만 만지고 손실 곡선 분석이나 조기 종료를 제안하지 않았어요. 앙상블·재순위화 같은 시스템 수준의 고민은 아예 수행하지 못했다는 게 논문의 핵심 지적이에요.

그래서 '사람 + AI 하이브리드'가 현실 해법

논문의 결론은 자율연구가 사람을 대체했다기보다 좁은 탐색 공간에서 결정적인 최적화를 잘 해내는 도구라는 거예요. 실무 교훈은 이렇게 정리돼요. (1) 탐색 공간 정의와 에이전트 감독(방향 지정)은 사람 몫이고, (2) 잘 최적화된 단일 모델을 얻으면 여기에 사람이 앙상블·재순위화 같은 고수준 기법을 얹으면 시너지가 나며, (3) 운영 이슈 때문에 사람의 '베이비시팅'이 여전히 필요하다는 거예요.

한계도 명확해요. 단일 산업 과제와 세 가지 에이전트로 얻은 관찰이라 일반화엔 한계가 있고, 캠페인이 사람이 만든 문서화·데이터·베이스라인에서 출발했으니 "처음부터 무인 연구 재현"으로 해석하면 안 돼요.

그럼에도 10주 대 10개월이라는 시간 단축은 실무에 꽤 매력적인 숫자예요. 당장 완전 무인 연구는 어렵더라도, 자율연구로 최적화를 빠르게 돌리고 사람이 창의적 설계를 더하는 하이브리드가 가장 현실적인 조합이라는 결론이에요.

참고 링크

• 논문 초록 (arXiv)
• 논문 전문 (arXiv HTML)