수학 연구를 에이전트로, 구글 스텔라 콜로세움 분석

수학 연구를 할 에이전트가 전략을 고르는 방식

언어 모델이 짧은 증명에는 그럴듯한 답을 내놓지만, 연구 수준의 긴 문제에서는 아직 불안정하다는 건 많이 지적돼 왔어요. 문제는 단순히 답을 더 길게 쓰는 게 아니라, 이후의 모든 단계에 영향을 주는 결정을 여러 번 연속으로 내려야 한다는 데 있어요. 구글 리서치 연구진이 2026년 9월 공개한 스텔라 콜로세움(Stellar Colosseum)은 이 "긴 호라이즌(long-horizon) 연구"를 여러 에이전트가 협력해 처리하도록 조직화한 하네스입니다.

이 시스템은 증명을 작성하기 전에 여러 전략을 먼저 탐색하고, 어느 전략이 분해할 만큼 성숙했는지 판단하는 게이트를 통과시킨 뒤에야 증명 계획을 세워요. 구체적으로 어떤 원리로 움직이는지, 어떤 결과를 냈는지 차근차근 풀어볼게요.

긴 증명이 어려운 네 가지 이유

콜로세움을 설계할 때 출발점이 된 건 "연구 수준의 수학 문제는 왜 이렇게 어려운가"라는 진단이에요. 논문은 크게 네 가지 도전을 꼽아요.

• 전략 불확실성: 문제가 정확히 주어져도 그 증명으로 가는 길이 보이지 않아요. 유용한 표현·환원·중간 목표를 찾으려면 상당한 탐색이 필요하죠.
• 분산된 기술적 난점: 한 증명 안에는 서로 의존하는 여러 병목이 있어요. 한 곳을 해결하면 다른 곳이 드러나고, 부분 수정이 주변 논증 전체를 바꿔야 할 수도 있어요.
• 긴 출력에서의 오류 누적: 한 번의 응답 길이로는 끝나지 않는 긴 증명은 생략된 부분이 생기기 쉬워요. 정의와 가정이 떨어져 있는 섹션 사이에서도 일관돼야 하는데, 하나의 검증되지 않은 단계가 재사용되면 오류가 증명 전체로 퍼져요.
• 실패와 부분 진전: 실패한 시도도 유용한 반례·제약·중간 결과를 남길 수 있어요. 이 정보를 구체적인 수학 명제나 이의(objection)로 기록해야 나중 작업에 쓸 수 있고, 막연한 "실패" 판정만으론 무엇이 유효한지 알 수 없어요.

요점은 진척이 "무엇을 발전시키고, 무엇을 고치고, 언제 방향을 바꿀지"에 달려 있다는 거예요.

두 층위로 나뉜 워크플로

출처: arXiv 2609.15983, Figure 1

콜로세움은 추론을 두 층위에서 조직해요. 워크플로 층위에서는 핵심 성분으로 분해할 수 있을 만큼 한 전략이 구체화될 때까지 여러 대안 전략을 만들고 검증해요. 선택된 경로는 의존 관계가 명시된 섹션별 계획으로 나뉘고, 독립적인 하위 문제는 병렬로 풀려요. 완성된 섹션은 하나의 증명으로 조립되며, 검증 피드백은 고쳐야 할 부분으로, 전략이 유효하지 않게 되면 다시 탐색으로 되돌아가요.

스테이지 층위에서는 전략 탐색·증명 계획·증명 구성 같은 각 단계의 어려운 결정을 하나의 모델 연속 생성에 맡기지 않아요. 대신 후보를 여럿 생성하고, 이를 표적검증(falsification)으로 공격하며, 후보와 그에 붙은 비판을 함께 겹치는 무작위 샘플 트리로 합성해요. 여기서 핵심은 비판이 그 비판이 다루는 제안에 그대로 붙어 다닌다는 점이에요. 다수결 투표처럼 서로 다른 의견을 평균해서 지워버리지 않고, 유용한 생각은 살려내면서 반례·실패 증거는 남겨요.

간단히 말하면 워크플로 층위가 "어느 단계에 추가 추론을 쓸지"를 정하고, 스테이지 층위가 "그 단계의 어려운 결정을 어떻게 합의로 모을지"를 정하는 구조예요.

전략 탐색과 준비 게이트

증명을 바로 작성하지 않고 전략부터 탐색하는 이유는, 첫 번째 그럴듯한 아이디어를 중심으로 증명을 짜면 놓치는 게 많기 때문이에요. 병렬 시도는 서로 다른 재구성·중간 주장·기존 결과와의 연결을 바탕으로 경로를 발전시켜요. 이 단계의 목표는 각 경로가 무엇을 요구하고, 어느 부분이 아직 추측이며, 주요 기술적 어려움이 어디 있는지를 드러내는 일이에요.

준비 게이트(readiness gate)는 이 경로들 중 하나가 증명 계획을 뒷받침할 만큼 구체적인지 묻죠. 남은 불확실성이 안정된 증명 구조 안에 국한될 수 있는지가 기준이에요. 핵심 환원이나 메커니즘이 안정적이고, 미해결 주장이 증명 섹션에 할당할 만큼 정확하며, 남은 다리가 표적이나 구조를 바꿀 가능성이 없으면 통과해요. 중심 보조정리가 어려워도 상관없어요. 중요한 건 그 명제·역할·증명 경로가 명시적이라는 거죠. 조건이 맞지 않으면 탐색이 계속돼요.

분해 단계에서는 선택된 경로를 번호가 매겨진 섹션 증명 골격으로 바꾸고, 각 섹션에 확립해야 할 수학 내용을 담은 하위 문제를 붙여요. 의존성 모서리가 "어떤 완성 섹션을 쓸 수 있는지"를 기록해 방향성 비순환 그래프(DAG)를 만들고, 문서 순서는 서술 흐름을, 의존성 그래프는 수학 작업이 진행될 순서를 통제해요. 하위 문제는 의존성이 완료되면 풀 수 있게 되므로, 독립 섹션은 병렬로 해결돼요.

검증과 리비전, 공유 지식

지역 검토는 섹션을 골격에 반영하기 전에 할당된 하위 문제와 그 의존 자료에 맞는지 확인해요. 미완성이거나 검토가 결함을 찾으면, 실패한 섹션과 검토를 추가 입력으로 같은 하위 문제를 다시 돌려요. 재시도는 해당 하위 문제에 국한되어 다른 곳의 완성된 작업은 보존돼요. 그리고 전역 검증자는 원래 문제와 완성 문서를 별개의 논증으로 읽어요. 각각 그럴듯한 섹션들이 모여도, 잘못된 가정으로 의존을 쓰거나 표기·정의가 섹션 간에 어긋나거나 경우를 빠뜨리면 증명이 실패할 수 있죠. 검증은 여러 독립 검토와 트리 합성으로 이루어지며, 진짜 결함 하나가 있으면 증명을 기각하고 구체적 피드백이 어느 섹션·명제에 생기는지 짚어요.

전역 검증이 기각하면 두 갈래로 나뉘어요. 현재 전략이 유효하다면 리비전으로, 섹션 본문을 바꾸거나 증명 개요를 다듬은 뒤 다시 검증해요. 전략 자체가 흔들리면 탐색으로 돌아가요. 이 과정에서 직전 시도 증명과 검증 피드백은 다음 라운드로 그대로 넘어가고, 공유 지식 디렉토리에는 검색 동안 얻은 재사용 가능한 결과(정리·실패 접근법·문헌·관찰)가 축적돼 다음 에이전트가 활용해요.

벤치마크에서 낸 성과

연구 수준 검증을 위해 콜로세움은 TCS-Bench에서 평가됐어요. 이 벤치마크는 2020~2026년 FOCS·STOC·SODA에 발표된 논문에서 추출한 300개 정리 증명 과제로, 각각 자체 포함 증명을 요구해요. 데모로 직접 모델만 쓰면 Gemini 3.1 Pro가 30.3%, Gemini 3.1 DeepThink가 52.0%, GPT-5.6 Pro(최대 설정)가 68.0%였어요. 콜로세움으로는 Gemini 3.1 Pro가 54.0%, Gemini 3.7 Flash가 55.0%에 올랐고, 두 모델 결과를 크로스-모델로 선택하면 71.0%까지 올라가요. 선택 규칙은 3.7 Flash가 3.1 Pro 증명에 대해 8개 비판을 독립 샘플링해 5개 이상이 옳다고 판단하면 그 증명을 제출하는 방식이에요. 비판 신호가 옳음과 틀림을 구분하는 AUC는 0.896이었다고 해요.

경쟁 프로그래밍으로도 전이를 확인했어요. 난이도 추정치 1500 이상인 222개 Codeforces 문제로 평가했는데, 실행 프로브(C++ 컴파일·스테레스 테스트)를 켠 설정은 218개를 정답 처리해 성능 레이팅 4263을 기록했어요. 실행 피드백이 없는 비교 설정은 213개·3918이었죠. 여기서 흥미로운 건 콜로세움이 코드 전용 컨트롤러로 대체되지 않고 수학 연구용 증명 지향 아키텍처를 그대로 유지했다는 점이에요. 분해는 소프트웨어 컴포넌트가 아니라 수학·알고리즘 하위 문제의 DAG로 표현하고, 끝점 구현 하위 문제만 C++ 프로그램으로 실현합니다.

왜 주목할 만한가

가장 인상적인 부분은 구글 안티그래비티(Antigravity) 팀워크 프레임워크에 "롱 프루프(Long Proof)" 패턴으로 통합됐다는 거예요. 즉 실험실 개념이 아니라 실제 에이전트 플랫폼에 올라탄 워크플로라는 뜻이에요. 논문은 또한 이 하네스가 FOCS·JMLR 같은 저명 학회·저널 논문에서 비롯된 여러 미해결 문제에 대한 새 결과를 만드는 데 기여했다고 보고해요(예: p>2일 때 ℓp 부분공간 근사의 강한 코어셋, 희소 최소제곱의 조건수 장벽, 최대 내적 임베딩의 차원 하한 등).

다만 이 결과를 과대 해석하면 안 돼요. 콜로세움은 언어 모델이 쓰는 자연어 증명 초안을 검토하는 방식이라, 기계가 확인 가능한 정식 증명(Lean 같은 형식 체계로 검증된 것)을 항상 요구하지는 않아요. 실행 가능한 테스트나 형식 검사가 있을 때는 그 증거를 비판과 함께 쓰지만, 갭이 완전히 사라지는 건 아니랍니다. 그래서 수학 연구를 완전히 대체하는 수준이라기보다, 탐색·분해·검증이라는 연구의 인지 구조를 에이전트로 체계화한 초기 프레임워크로 보는 게 정확해요. 향후 방향으로 논문은 전략을 비슷한 아이디어끼리 클러스터링해 탐색하고, 검증된 연구 궤적을 사후 학습 데이터로 써 모델을 개선하는 확장을 제시해요.

참고 링크

• 원문 논문: Stellar Colosseum: A Many-Agent Harness for Long-Horizon Research in Mathematics and Theoretical Computer Science (arXiv:2609.15983)
• 논문 HTML 전문: arXiv HTML (2609.15983v2)