MAxBench: 동물 개념은 직선이 아니라 아핀 부분공간이에요

'거절'은 직선 하나로 조종됐는데, '동물'은 왜 안 될까요

LLM 해석 연구에서 가장 실용적인 성과 중 하나가 '스티어링'이에요. 모델 내부의 활성화 공간에서 어떤 개념을 나타내는 방향을 찾아내고, 그 방향을 밀어 넣으면 모델의 답변 성격을 바꾸는 기술이죠. 거절(refusal) 같은 이진 개념은 한 개의 직선 방향만 잡아도 충분히 잘 조종되는 것으로 알려져 있어요.

하지만 '동물', '국가', '식물' 같은 개념은 얘기가 달라요. 여기에는 포유류·조류 같은 수많은 하위 범주가 있고, 각 범주 안에도 사자·비버·말 같은 수많은 개체가 있어요. 이런 '다항(multinomial) 개념'을 어떤 기하 구조로 나타내야 하는지, 어떤 기법이 가장 잘 복구하는지는 아직 명확하지 않았어요. MAxBench는 바로 이 빈틈을 겨냥한 벤치마크예요.

문제의 시작은 '개념이 어떤 모양인지 모른다'는 점이에요

기존 인터프리터빌리티 연구는 '개념은 활성화 공간의 (보통 1차원) 선형 부분공간이다'라는 가정에서 출발했어요. 이 가정이 이진 개념에서는 잘 먹혔지만, 다항 개념에서는 어려움이 생겨요.

가능한 기하 구조가 훨씬 다양해져요. 단일 방향부터 시작해 방향들의 모음, 가우시안 구름, 선형·아핀 부분공간, 비선형 매니폴드(곡면)까지 후보가 너무 많죠. 개념 표현의 차원(등급)을 미리 알 수 없고 개념마다 크게 달라요.

예를 들어 '요일'은 월요일부터 일요일까지 원(circle)을 그리는 질서 있는 구조로 알려져 있지만, 그런 구조를 아무 개념에나 가정할 순 없어요. 저자들은 이 때문에 '기하에 구애받지 않는(geometry-agnostic)' 평가 방식이 필요하다고 봤어요. 그래서 실제로 개념을 얼마나 잘 잡아내는지를 '복구한 표현에서 표본을 뽑아 모델을 조종해보는' 방식으로 측정하게 됐어요.

연구자들이 만든 평가 파이프라인

MAxBench는 보스턴대학교(디비야 아파포구, 프레야 베렌스, 에런 뮬러)와 테크니온·하버드(요나탄 벨린코프) 연구자들이 arXiv(2609.13072, 2026년 9월 11일 게재)에 발표한 벤치마크예요. 평가는 크게 세 단계로 돌아가요. 먼저 다양한 개념 국소화(localization) 기법으로 LLM 활성화 공간에서 개념 기하를 복구하고, 그 표현에서 샘플을 뽑아 모델 활성화에 개입한 뒤, 산출물의 '배타성'과 '완전성'을 점수로 매겨요.

출처: arXiv:2609.13072 MAxBench, Figure 1 배타성은 개념에서 벗어난 내용이 섞이지 않는 정도(정밀도에 비유), 완전성은 개념의 다양한 하위 개체를 얼마나 폭넓게 커버하는지(재현율에 비유)를 뜻해요.

다항 개념에 맞춰 새로 제안한 '다양성 점수(diversity score)'는 개체 단위와 범주 단위 두 수준의 정규화 샤넌 엔트로피 합으로 구성되고, 최종 MAxBench 점수는 개념·유창성·지시 수행·다양성 네 점수의 조화 평균으로 계산해요.

비교한 내용과 핵심 결과

이 벤치마크로 10가지 개념 국소화 기법을 5가지 기하 유형, 6개 개념, 4개 모델(Llama-3.1-8B, Gemma-3-1B, Gemma-3-27B, Qwen-3.5-4B)에 걸쳐 비교했어요. 6개 개념은 동물·국가·차량·식물(계층·비순서)과 요일·연도(순서)였고, 개입은 모델마다 다른 후반~중간 레이어에서 이뤄졌어요.

가장 중요한 발견 세 가지는 이래요.

• 아핀 부분공간이 단일 방향·선형 부분공간보다 안정적으로 조종했어요. 다항 개념은 한 개의 방향으로는 잘 담기지 않고, 다차원 부분공간에서 큰 이득을 얻었어요.
• 그 장점의 상당 부분은 기저 선택이 아니라 '오프셋' 덕분이었어요. 원점이 아닌, 개념 관련 포인트의 평균으로 중심을 잡아 샘플을 흩뿌리는 방식(아핀)이 원점 중심(선형)보다 일관되게 높은 점수를 냈어요. Gemma-3-1B에서는 개념 중심 주변에 등방적으로 샘플을 뿌리는 단순한 기준선조차 일부 선형·1차원 기법을 이겼고, 개념의 '중심'을 잘 잡는 게 방향 자체만큼(때로는 그보다) 중요하다는 점을 시사했어요.
• 매니폴드(곡선) 기법은 적용 가능한 범위에서 최고 기법과 경쟁적이었어요. 순서가 있는 '요일' 개념에서 전체 개념값을 갖고 스플라인 곡선을 맞추는 방식이 이 개념 안에서 가장 높은 성능을 냈고, 일부 값을 숨겼을 때보다 좋았어요.

반면 흥미로운 한계도 나왔어요. 모델이 충분히 크면 어떤 기법도 프롬프팅을 일관되게 이기지 못했어요. 이진 개념에 대한 기존 연구와 일치하는 결과로, 스티어링이 생각보다 만능이 아니라는 걸 보여준 셈이에요. 추가로 비지도 기법(요인 분석, MFA)이 학습에 없던 새로운 개념 개체를 가장 많이 생성해, 복구된 표현이 학습 데이터를 넘어 일반화될 수 있음을 나타냈어요.

메타평가로 볼 수 있는 프레임이에요

이 연구의 가치는 '기하 모양을 미리 가정하지 않는' 비교 방법론 자체에 있어요. 기존 연구는 주로 이진 개념에 치우쳐 있었는데, 실제 사용할 때는 다항 개념이 훨씬 흔하죠. 개념의 질을 배타성·완전성·다양성으로 한 번에 보는 프레임은 이후 해석 연구의 메타평가 기준이 될 수 있어요.

다만 한계도 분명해요. 실험은 단일 개입 레이어에 묶여 있고, 샘플링 강도 같은 하이퍼파라미터 튜닝에 의존하며, 평가된 기법 대부분이 (가장 일반적인) 아핀 표현 계열에 머물러요. 저자들은 더 다양한 비선형 기하 표현으로 벤치마크를 확장하는 걸 향후 과제로 남겼어요. 코드는 공개 저장소(baaigl/MAxBench)에서 확인할 수 있어요.

참고 링크

• 원문(arXiv): MAxBench: A Multinomial Concept Recovery Benchmark
• HTML 전문: https://arxiv.org/html/2609.13072v1
• 공개 코드: github.com/baaigl/MAxBench