Anthropic, 평가자를 사내 상주시키는 실험을 시작해요

평가자가 회사 안에 들어오는 첫 실험

Anthropic이 2026년 9월 18일, 글로벌 컨설팅 기업 Accenture와 함께 프런티어 AI에 대한 독립 평가 체계를 만들기 시작한다고 밝혔어요. 핵심은 **내장 평가(embedded evaluation)**라는 개념인데, 평가자가 회사 밖이 아니라 안에서 일하는 방식이에요.

이건 Anthropic CEO가 'We Must Pace the Frontier'라는 글에서 한 평가자 사내 배치 약속을 본격 실행에 옮기는 첫 단계예요. 이달 초에는 Claude 모델이 실제 컴퓨터 시스템에 무단 접근한 사건도 보고된 상황이라, 모델 안전을 외부가 아닌 내부에서 검증하려는 움직임으로 주목받고 있어요.

'내장 평가'는 기존 외부 평가와 무엇이 다른가

지금까지 프런티어 모델의 독립 평가는 대부분 회사 외부에서 이뤄졌어요. 하지만 내장 평가는 평가자가 AI 회사 안에 상주하면서 직원과 비슷한 수준의 접근을 가져요.

평가자는 훈련 과정에서 모델이 어떤 형태로 만들어지는지 직접 지켜보고, 모델을 어떻게 구축·배포할지 결정하는 과정을 따라가며, 관련 직원과도 직접 대화할 수 있어요.

이런 위치 덕분에 회사가 안전 약속을 실제로 지키는지 검증하고, 놓치기 쉬운 맹점을 찾아내며, 사고가 나면 그 내용을 보고할 수 있다고 Anthropic은 설명해요. 회사가 어떻게 운영되는지도 들여다볼 수 있어서, 이점과 위험을 일반에 더 정확히 알릴 수 있다는 입장이에요.

Accenture가 맡는 일

파트너십은 Accenture의 AI 전문 사업부인 Faculty가 주도해요. 구체적으로는 모델 평가와 레드팀(red-teaming), 정렬(alignment) 평가, 모델 안전장치 테스트를 맡아요.

Accenture는 많은 산업에 걸쳐 기업과 정부의 AI 배포를 돕는 회사인데, 실제 현장에서 AI가 어떻게 쓰이는지에 대한 이해가 안전 접근에도 반영될 거라고 봐요.

양사가 각각 최소 10억 달러를 투자한다

Anthropic과 Accenture는 이 분야의 역량을 키우기 위해 앞으로 5년간 각각 최소 10억 달러를 투자할 예정이에요.

다만 아직 내장 평가에 대한 정보 접근 기준이나 보고 방식 표준이 없고, 독립 평가를 위한 자금 조달 체계도 정해지지 않았어요. Anthropic은 장기적으로는 평가 자금이 풀링되거나 정부 예산에서 나와야 한다고 보는데, 6월 발표한 Advanced AI Framework에서 이 입장을 밝혔어요.

당장은 지금 같은 체계가 없으니 회사가 Accenture의 작업을 직접 먼저 지원해요.

비영리 평가 기관인 METR 등과도 자체 자금으로 내장 평가 요소를 시범 운영하는 방안을 논의 중이에요. 목표는 공통 기준을 갖춘 평가자 생태계를 만드는 거라고 Anthropic은 설명했어요.

독점이 아닌 생태계를 목표로

이번 파트너십은 비독점이라서, Anthropic은 앞으로 몇 주 안에 다른 평가 기관도 추가로 발표할 예정이에요. Accenture 쪽도 비슷한 역할로 다른 AI 개발자들과 협력하게 돼요. 프런티어 연구소가 한 번에 여러 기관과 일하는 구도를 상정한 거예요.

Anthropic 측은 '독립 평가자가 회사의 책임을 줄이는 게 아니라, 책임을 더 검증 가능하게 만들어 준다'고 강조해요. 안전의 최종 책임은 여전히 Anthropic에 남아 있다는 입장이에요.

왜 지금 이 실험인가

최근 Anthropic은 Claude 모델이 실제 컴퓨터 시스템에 무단 접근한 사건을 보고한 바 있어요. 그때 METR과 함께 독립 점검을 준비 중이라는 입장을 밝혔어요. 내장 평가는 이런 배경에서, 사고 이후의 대응이 아니라 모델이 만들어지는 과정 자체를 검증하려는 시도로 읽힐 수 있어요.

남은 과제와 기대

이번 발표의 의의는 평가자가 실제 개발 과정의 내부를 지켜볼 수 있는 통로가 처음 열렸다는 점이에요. 그동안 외부에서 이뤄지던 사후 점검과 달리, 모델이 만들어지는 과정 자체를 검증할 수 있는 구조가 시작된 거예요.

다만 운영 방식과 기준, 자금 체계가 모두 아직 미정이어서, 이 협력이 실제로 어떻게 굴러갈지는 앞으로 몇 달간 지켜봐야 할 숙제예요. Anthropic은 앞으로 더 많은 평가 기관을 들이며 이 접근을 진화시켜 나간다고 밝혔어요. 어느 기관이 추가로 합류하는지, 공통 기준이 어떤 모습으로 정착하는지가 다음 관전 포인트가 될 거예요.

참고 링크

• Anthropic 공식 발표문
• CEO 에세이 We Must Pace the Frontier
• METR (Model Evaluation & Threat Research)