생각하며 말하는 AI, Gemini 3.8 Live를 만나보세요

구글 딥마인드가 9월 15일, 음성 대화에 특화된 두 모델을 내놓았어요. 바로 Gemini 3.8 Live와 Gemini 3.8 Live Extended Thinking이에요.

둘 다 'AI와 목소리로 더 자연스럽게 대화하는' 일에 집중한 모델이에요. 단순히 말을 잘 알아듣는 수준을 넘어, 생각하면서 말하는 능력까지 들어갔어요.

음성 비서의 새 방향

지금까지의 음성 AI 비서를 떠올려 보세요. "날씨 알려줘" 같은 간단한 명령은 잘 알아듣지만, 대화 도중 화제가 바뀌거나 뒤에서 여러 단계를 거치는 작업을 맡기면 어색해지는 경우가 많았어요. 말하는 중간에 끊기지 않고 이어지도록, 그리고 복잡한 일은 대화를 계속하면서 처리하도록 만드는 게 이번 모델의 목표예요.

구글은 두 모델을 서로 다른 역할로 나눠 준비했어요. Gemini 3.8 Live는 빠르고 비용 효율적인 대화용 모델, Gemini 3.8 Live Extended Thinking은 높은 복잡도의 작업과 다단계 추론에 특화된 모델이에요. 필요에 따라 골라 쓰는 구조예요.

대화의 흐름을 유지하는 3.8 Live

Gemini 3.8 Live의 가장 큰 특징은 대화를 끊지 않는 것이에요. 시각 정보를 거의 실시간으로 처리해 문맥을 더 풍부하게 살리고, 대화 중간에 97개 언어를 자동으로 감지하고 전환하기도 해요.

한국어를 쓰다가 대화의 일부만 영어로 바꿔도 자연스럽게 따라온다는 뜻이에요.

또 하나 눈에 띄는 건 백그라운드 실행이에요. 모델이 대화를 계속하면서 뒤에서는 도구나 API 호출을 동시에 처리해요. 레스토랑 예약을 예로 들면, 손님이 추가로 요청을 할 때도 예약 가능한 자리와 시간을 뒤에서 알아서 조율해 두는 식이에요. 말이 멈추는 대신 일이 진행되는 거죠.

생각하고 말하는 Extended Thinking

Extended Thinking 버전은 이름처럼 '생각'에 초점을 맞췄어요. 심층 추리가 필요할 때는 생각하면서 동시에 말하는 방식으로 작동해요. 추론을 위해 말을 멈추는 대신 "잠깐만 확인해 볼게요" 같은 짧은 말로 대화를 이어가면서 뒤에서는 다단계 추리와 도구 실행을 진행해요.

공식 데모를 보면, 이 모델이 사용자가 던진 낙서(sketch)를 실시간 음성 피드백과 함께 실제로 동작하는 리액트 컴포넌트로 변환하는 장면이 나와요. 눈으로 보고, 말로 설명하고, 그대로 코드로 만드는 흐름이 한 번에 이어지는 거예요.

벤치마크로 본 성능

딥마인드가 공개한 수치를 보면 Extended Thinking 모델이 특히 강해요. AI 벤치마크 분석 업체인 아티피셜 애널리시스(Artificial Analysis)의 Speech to Speech 품질 지수에서 82.6점으로 1위를 차지했어요.

에이전트 작업 성능에서도 τ-Voice에서 68.6%, 시에라(Sierra)의 τ-Voice-banking에서 35.1%를 기록했어요. 음성 이해 기준인 Big Bench Audio에서는 97.7%에 달해요.

아티피셜 애널리시스 Speech to Speech 지수 차트 출처: DeepMind 공식 블로그

아티피셜 애널리시스 에이전트 성능 차트 출처: DeepMind 공식 블로그

Gemini 3.8 Live는 음성 에이전트 분야에서 사용자 선호도 2위를 기록했어요. 서비스나우(ServiceNow)의 EVA-Bench에서는 정확도와 대화 품질을 동시에 잡아 파레토 최적 경계에 도달했다는 평가도 받았어요.

흥미로운 점은 이 모든 성능이 다른 프론티어 모델과 견줘 경쟁력 있는 가격대에서 나온다는 거예요.

사용 경로와 제공 범위

두 모델 모두 오늘부터 사용할 수 있어요. 개발자는 Gemini API와 구글 AI 스튜디오에서 바로 쓸 수 있고, 기업은 Gemini Enterprise에서 프라이빗 프리뷰로 제공돼요.

일반 사용자는 구글 검색의 Search Live와 Gemini 앱에서 이용할 수 있어요. 워크스페이스에서는 도큐, 지메일, 킵에 음성으로 문서 작업하는 기능이 추가됐어요.

개발자 생태계도 넓어졌어요. 아고라(Agora), LangChain, 라이브킷(LiveKit), 파이프캣(Pipecat), Vercel처럼 실시간 음성 인프라를 다루는 플랫폼이 Gemini Live API를 지원하기 시작했어요. 실시간 미디어 스트리밍 인프라는 이들 플랫폼이 관리하고, 개발자는 사용자 경험에만 집중할 수 있게 된 거예요.

안전성 측면에서는, AI가 만든 오디오 전부에 SynthID 워터마크를 넣어요. 눈에 보이지 않는 표시가 오디오에 새겨져서, AI가 만든 음성인지 사람이 만든 음성인지 사후에 감지할 수 있게 해요. 딥페이크성 음성 피해를 줄이기 위한 장치예요.

한계와 고민

실시간으로 말하면서 뒤에서 작업을 처리하는 방식은 아직 프라이빗 프리뷰 단계인 기능이 많아요. 적용 범위도 모델과 기능마다 차이가 있고, 기업용 고객센터 기능은 '곧 제공 예정' 단계예요. 벤치마크 수치가 실제 사용 환경의 체감 품질과 완전히 일치한다고 단정하기는 어려워요.

그래도 음성 AI가 '명령 수행 도구'에서 '대화하며 함께 일하는 파트너'로 넘어가는 흐름은 뚜렷해요. 다음 단계에서 이 모델들이 실제 개발자·기업 환경에서 어떤 작업을 끝까지 해내는지가 관건이 될 거예요.