임베딩 모델이 물리량을 겉모양 문자열로만 재요

'1미터'와 '100센티미터'는 가까이 있어야 할 텐데요

임베딩 모델은 본질적으로 '어느 문장이 어느 문장과 비슷한가'를 벡터 거리로 표현하는 모델이에요. 그런데 이 거리가 실물 세계의 물리량에서도 말이 맞는지는 잘 검증된 적이 없어요. 취리히 대학 연구진(Juri Opitz, Andrianos Michail)이 2026년 9월 arXiv에 올린 논문 'Embedding Models Measure in Peculiar Ways'는 이 문제를 아주 날카롭게 좁혀 물었어요.

질량·거리·시간·부피 같은 물리 측정은 모호함 없이 고정된 거리 관계를 갖는 몇 안 되는 대상이에요. 그 덕분에 임베딩의 '의미적 거리'가 실제 물리 거리를 얼마나 닮았는지 객관적으로 잴 수 있어요. 이 연구는 바로 그 점을 이용해 대표 임베딩 모델 24종을 한 축으로 놓고 검증했어요.

실험 설계가 아주 꼼꼼했어요

실제로 무게를 재듯 실험을 꾸몄는데, 길이는 미터(m), 질량은 킬로그램(kg), 부피는 리터(l), 시간은 초(s)를 기본 단위로 썼어요. 각 수량은 범위를 다르게 해서 — 010의 'Local', 01,000의 'Medium', 10만까지의 'log', 음수를 포함하는 'Sign', 과학적 지수 표기까지 — 총 5가지 척도로 테스트해요.

그리고 1부터 10까지는 숫자 표기('5미터')와 영어 단어 표기('five meters')를 번갈아 넣었어요. 수치와 단어 사이의 의미 동등성도 함께 보기 위해서죠. 테스트 모델은 과거 BERT 계열 인코더(all-mpnet-base-v2 등)부터 최근 LLM 디코더 기반 임베딩(Qwen3-Embedding-0.6B 등)까지 폭넓게 골랐고, 차원 수는 MiniLM의 384부터 Qwen3-Embedding-8B의 4,096까지 다양하게 포함했어요.

모든 모델이 '이상한' 측정 패턴을 보였어요

결과는 명확했어요. 24종 어디에서도 이상적인 측정 공간(물리 거리가 멀수록 유사도가 부드럽게 떨어지는 형태)이 나오지 않았고, 대신 아주 독특한 패턴들이 관찰됐어요. 대표적인 게 '체커보드(checker)' 패턴이에요.

출처: arXiv:2609.20821 원문 Figure 1

Local 척도에서 2.5미터는 3미터보다 오히려 7.5미터에 더 가깝다고 판단했어요. 정수-정수 끼리는 높은 유사도를, 정수-소수 끼리는 낮은 유사도를 주는 식의 규칙 없는 요철이 생기는 거죠. 이건 숫자의 실제 거리가 아니라, 표기가 '비슷해 보이는가'에 좌우된다는 단서예요.

숫자 표기와 단어 표기('one liter'와 '1 liter')의 대조도 인상적이에요. Qwen은 'one/1', 'one/0'에 높은 유사도를 주면서 'nine liters'를 다른 모든 리터 수치와 멀리 두는 기이한 행동을 보였어요. 심지어 'nine/9', 'ten/10'처럼 같은 숫자의 자기 비교조차 약하게 나와요.

벤치마크 PhysScore: 최고 성적도 53점뿐

연구진은 모델들을 한 축으로 비교하기 위해 'PhysScore'라는 소형 벤치마크를 직접 만들었어요. 모든 거리 관계에서 순위 정확도를 재는 Kendall의 τ(tau) 지표와 Pairwise Accuracy(PAC)를 써서 각 모델에 점수를 매겼어요.

모든 모델이 랜덤 기준선(τ=0)보다는 나았지만, 어떤 모델도 Kendall τ 54를 넘지 못했어요. 최고 성적은 multilingual-e5-large-instruct의 τ=53으로, 충실한 정렬과는 거리가 한참 멀어요. 특히 흥미로운 건 모델 규모가 정렬 능력에 유의미한 효과를 주지 않는다는 점이에요. 오히려 가장 작은 Qwen 모델이 큰 모델보다 나은 결과를 내는 '역효과'도 보였어요.

가장 어려운 수량은 질량(킬로그램, 평균 τ 34.5)이었고, 거리(미터)와 시간(초)이 그나마 상대적으로 잘 정렬됐어요. 척도에서는 'Medium'(0~1,000)이 모델들 평균으로 가장 어려웠다고 해요.

겉모양 문자열 유사도가 범인으로 떠올랐어요

패턴의 원인을 밝히기 위해 실험을 추가했어요. '단순히 유사도 함수가 잘못 보정된 것일 뿐인가'라는 가설을 선형 프로브(linear probe)로 검증해봤어요. 재보정으로 Kendall τ가 최대 +12.3점 개선된 모델도 있었지만, 절대값이 여전히 τ 47에 그쳤고 어느 모델도 54를 넘지 못했어요. 곧 유사도 계산 방식의 문제가 아니라 표현 자체에 물리 정보가 부족하다는 결론이에요.

표면 유사도 실험도 해봤어요. 숫자 문자열들 사이의 임베딩 유사도를, 문자 단위·토큰 단위 레벤슈타인(Levenshtein) 거리와 실제 수치 거리 각각에 대비시켰어요. 그 결과 대부분의 모델은 임베딩 유사도가 진짜 수치 거리보다 '문자/토큰 겉모양'과 더 강하게 상관했어요.

출처: arXiv:2609.20821 원문 Figure 2

흥미롭게도 최신 LLM 기반 모델일수록 이 경향이 오히려 뚜렷해졌는데, 구글의 LLM 기반 임베딩(embeddinggemma-300m)이 문자열 유사도와 가장 강한 상관을 보이고 수치 거리와는 가장 약한 상관을 보였다고 해요. 공간 차원보다는 대조 학습(contrastive learning)이라는 학습 목적 자체가 물리적·수량적 관계를 벡터로 정리하도록 충분한 압력을 주지 못한다는 해석이에요.

그래서 뭘 챙겨야 할까요

이 연구가 실제 파급을 주는 곳은 '거리 기반 검색'이라기보다, 수량 추론이 필요한 과학·공학 또는 에이전트 시스템이에요. 일반 검색·클러스터링에서 어휘 유사도가 유용한 귀납 편향으로 작용할 때도 많지만, '2킬로미터'와 '2000미터'를 '2킬로미터'와 '2미터'보다 유사하게 판단해야 하는 작업에서는 지금의 임베딩이 명백히 실패해요. 코드는 공개 저장소에서 재현할 수 있어요.

참고 링크

• 논문 원문(arXiv)
• 재현 코드 저장소