AI 에이전트 '컴퓨터 사용' 시대 개막... 엔터프라이즈는 프라이버시·RAG 청크 문제로 몸살
구글 제미나이 3.5 플래시가 네이티브 컴퓨터 사용 기능을 추가하며 AI 에이전트의 UI 자동화 시대가 열렸습니다. 하지만 엔터프라이즈 현장에서는 프롬프트 이후 데이터 흐름을 놓치는 프라이버시 갭과, 토큰 단위 무분별 청킹으로 망가지는 RAG 검색이 실제 배포의 걸림돌로 지목됩니다. 오픈AI 코덱스 사용량 리셋 사태와 최신 논문 8편, 빅테크 연구 동향 10건까지 한눈에 정리합니다.
제미나이 3.5 플래시, 네이티브 '컴퓨터 사용' 지원
구글 딥마인드가 제미나이 3.5 플래시에 컴퓨터 사용(Computer Use) 기능을 정식 추가했습니다. 마우스 클릭, 키보드 타이핑, 애플리케이션 내비게이션까지 — 사람이 컴퓨터를 조작하듯 모델이 직접 UI를 제어할 수 있게 된 것입니다. 제미나이 API와 구글 AI 스튜디오에서 바로 쓸 수 있으며, 요금은 토큰 사용량 기준으로 부과됩니다.
이미 지난 10월 앤트로픽 클로드 3.5 소넷이 컴퓨터 사용을 선보였고, 오픈AI 오퍼레이터(Operator) 연구 프리뷰도 유사한 능력을 시연한 바 있습니다. 프런티어 모델 전반으로 이 기능이 확산되면서, '텍스트 생성'을 넘어 '소프트웨어 직접 조작'이 기본 스펙으로 자리 잡는 분위기입니다.
엔터프라이즈 LLM 배포의 진짜 구멍: 프롬프트 이후 데이터 흐름
AI 트렌드 X의 샤크티 V(Shakthi V)는 기업 현장의 맹점을 짚습니다. 팀들은 프롬프트에 들어가는 데이터 분류에만 몰두하고, 그 데이터가 인프라를 떠난 뒤 어떻게 처리되는지는 간과한다는 것입니다. 벤더 계약, 서브프로세서 목록, 로깅 정책, 데이터 보관 기간 — 이 모든 것이 민감 정보 보호의 연장선에 있습니다. 프라이버시 경계는 프롬프트에서 끝나지 않고, 다운스트림 프로세서 전체를 관통합니다.
RAG 실패의 90%는 '청킹' 탓이다
같은 지적에서 또 하나: RAG 검색 품질 저하의 주범은 모델이 아니라 청킹(Chunking) 전략입니다. 문서를 의미 단위가 아닌 임의 토큰 경계로 쪼개면 문맥이 끊겨 검색 성능이 급락합니다. 특히 조항·참조가 중첩된 법률·정책 문서는 토큰 수 기준 분할이 치명적입니다. 시맨틱 경계(문단, 섹션, 조항)와 청크 경계를 맞춰야 하며, 토큰 수 제한은 그 다음 문제입니다.
오픈AI 코덱스, 전 사용자 사용량 강제 리셋
오픈AI 코덱스 팀이 뱅크드 리셋(누적 보너스)까지 포함한 전면 사용량 리셋을 단행했습니다. 티보 소티오(Tibo Sottiaux)에 따르면 팀은 일요일 '워룸'을 가동해 예기치 않은 사용량 폭증 원인을 조사 중이었습니다. 엔터프라이즈급 코딩 에이전트가 프로덕션에 진입하면서 비용·보안·신뢰성 관리가 새로운 과제로 떠오른 단면입니다.
현대 AI를 구성하는 6가지 핵심 아이디어
비주아라 AI(Vizuara AI)는 현대 AI를 토크나이제이션 → 어텐션 → RAG → 디퓨전 → 비전 모델 → 월드 모델 여섯 레이어로 분해해 설명합니다. 이 스택 관점에서 보면 AI는 '마법'이 아니라 '엔지니어링 스택'으로 보입니다. 교육용 콘텐츠지만, 최신 AI 트렌드를 레이어별로 정리하는 데 훌륭한 레퍼런스입니다.
트랜스포머 이전: RNN·LSTM·GRU가 풀던 시퀀스 메모리
같은 채널에서 트랜스포머 이전 시대를 복기합니다. RNN은 은닉 상태를 시간 축으로 흘려보내 과거 문맥을 미래 예측에 연결하려 했으나, 기울기 소실(Vanishing Gradient) 문제로 긴 시퀀스에서 성능이 붕괴했습니다. 이를 극복하려 LSTM·GRU가 게이팅 메커니즘을 도입했고, 결국 어텐션 기반 트랜스포머가 이 계보를 잇습니다. 오늘날 LLM·생성형 AI를 깊이 이해하려면 이 기초 구조를 다시 짚어볼 필요가 있습니다.
빅테크 연구 동향 10선 (6월 말~7월)
| 기관 | 제목 | 링크 |
|---|---|---|
| Google AI | Gemini API Managed Agents: 3.6 Flash, hooks, and more | 링크 |
| Google AI | 5 ways AI Mode in Search helps you enjoy the real world | 링크 |
| Google DeepMind | Gemini Robotics ER 2: video understanding, task orchestration, multi-robot collaboration | 링크 |
| Google DeepMind | Lyria 3.5 in Google Flow Music: musicality, lyrics, vocals, creative control | 링크 |
| Google DeepMind | Gemini Robotics 2: whole-body intelligence for robots | 링크 |
| MS Research | Echoverse: deep evolving environments for computer-use agents | 링크 |
| MS Research | EvoLib: turning experience into evolving knowledge | 링크 |
| Anthropic | Research @ Anthropic | 링크 |
| Hacker News | Machine Learning Crash Course (Google) | 링크 |
| Hacker News | ML 101 slidedeck: 2 years of headbanging | 링크 |
구글은 제미나이 관리형 에이전트·로보틱스·음악 생성(리라)까지 전방위로 밀어붙이고, MS는 컴퓨터 사용 에이전트용 진화 환경(Echoverse)과 경험 지식화(EvoLib)를 공개했습니다. 안트로픽은 연구 허브를, HN 커뮤니티는 ML 입문 코스·슬라이드덱을 재조명했습니다.
아카이브(arXiv) 최신 논문 8편 — 핵심만 요약
| 제목 | 링크 | 한 줄 요약 |
|---|---|---|
| Learning to Trace Seiberg Dualities | 2607.28628 | 물리학 사이버그 듀얼리티 추적을 머신러닝으로 자동화 |
| ReToken: One Token to Improve Vision-Language Models for Visual Retrieval | 2607.28627 | 단일 토큰 추가로 VLM 시각 검색 성능 대폭 향상 |
| AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis | 2607.28618 | 화학 문헌 합성을 '주장(Claim)' 중심으로 구조화 |
| KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models | 2607.28608 | 임상 리스크 모델의 서브그룹 공정성 감사 재현 프레임워크 |
| Change2Task: From Repository Changes to Executable Coding Agent Tasks | 2607.28591 | 레포 변경분을 코딩 에이전트 실행 태스크·환경으로 변환 |
| PAC-MAN: Perception-Aware CBF-RL for Whole-Body Safety in Humanoid Dodgeball | 2607.28623 | 휴머노이드 전신 안전 제어를 위한 지각 인식 CBF-RL |
| AISPA: User-Centric System Prompt Auditing for LLM Applications | 2607.28617 | 사용자 중심 시스템 프롬프트 감사 프레임워크 |
| ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine | 2607.28625 | 인간 중심 앰비언트 캡처를 구현 데이터 엔진으로 활용 |
특히 Change2Task(코드 변경→에이전트 태스크 자동 변환)와 AISPA(시스템 프롬프트 감사)는 엔터프라이즈 LLM 운영·거버넌스와 직결돼 실무 참고 가치가 높습니다.
요약: 지금 챙겨야 할 세 가지
- 컴퓨터 사용 기능은 프런티어 모델 표준이 됐습니다. 제미나이·클로드·오퍼레이터 중 팀 스택에 맞는 쪽을 조기 테스트하세요.
- 프라이버시 경계는 프롬프트 너머까지 이어집니다. 벤더·서브프로세서·로그·보관 정책을 계약서 수준에서 검증하세요.
- RAG 검색 품질은 청킹 전략에서 갈립니다. 토큰 수가 아닌 문서 시맨틱 구조(조항·섹션·참조)에 맞춰 분할하세요.
한국어 요약
구글 제미나이 3.5 플래시가 네이티브 컴퓨터 사용 기능을 추가하며 AI 에이전트의 UI 자동화 시대가 본격화되었습니다. 앤트로픽 클로드와 오픈AI 오퍼레이터에 이은 세 번째 주자입니다. 하지만 엔터프라이즈 현장에서는 프롬프트 이후 데이터 흐름(벤더 계약, 서브프로세서, 로깅, 보관 정책)을 놓치는 프라이버시 갭과, 문서 의미 구조를 무시한 토큰 단위 무분별 청킹으로 망가지는 RAG 검색이 실제 배포의 가장 큰 걸림돌로 지목됩니다. 오픈AI 코덱스 팀의 전 사용자 사용량 강제 리셋 사태는 에이전트 프로덕션화에 따른 비용·보안·신뢰성 관리 과제를 보여줍니다. 빅테크 10건 연구 동향과 아카이브 최신 논문 8편(Change2Task, AISPA 등 실무 직결 포함)까지 한눈에 정리했습니다.
주요 용어: 컴퓨터 사용(Computer Use) · 프라이버시 갭(Privacy Gap) · RAG 청킹(Chunking) · 시스템 프롬프트 감사(System Prompt Auditing) · 구현 데이터 엔진(Embodied Data Engine)
Related posts
ChatGPT Ads Hits $1B Annual Run Rate Within 200 Days of Launch
OpenAI hit a $1B annual run rate for ChatGPT Ads within 200 days and expanded self-serve ads to India, Europe, the Middle East, and North Africa, showing AI monetization entering a growth phase.
OpenAI Launches 8-Week Thailand AI Startup Accelerator With 10 Startups
OpenAI and Thailand MHESI launched an 8-week accelerator for 10 healthcare, wellness, and education AI startups. Each team gets $2,000 in API credits plus mentoring, leading to a Demo Day in November.
Google rolls out 'Expert Intelligence' feature in NotebookLM
NotebookLM now supports Expert Intelligence from Google Play Books, letting users query purchased ebooks directly with insights and quizzes.
Curated, fact-checked, and edited by a single operator before publishing.