제미나이 3.5 플래시 컴퓨터 사용부터 RAG 청킹 실패까지 — 2026년 7월 AI 트렌드 총정리

제미나이 3.5 플래시, 컴퓨터 사용 기능으로 에이전트 시대 열다

구글 딥마인드가 6월 24일 제미나이 3.5 플래시에 컴퓨터 사용(computer use) 기능을 추가했다고 발표했습니다. 이는 모델이 화면을 보고, 마우스·키보드 입력을 제어하며, 실제 소프트웨어 인터페이스를 사람처럼 조작할 수 있게 해줍니다. 기존 함수 호출(function calling)을 넘어 GUI 기반 자율 에이전트로의 확장을 의미합니다.

딥마인드 블로그에 따르면 이 기능은 개발자가 샌드박스 환경에서 브라우저 자동화, 폼 작성, 코드 실행, 스프레드시트 조작 등을 자연어 지시만으로 수행하게 합니다. 특히 **제미나이 API 매니지드 에이전트(Managed Agents)**와 연계해 3.6 플래시 버전부터 훅(hooks)·상태 관리·멀티턴 대화를 공식 지원합니다.

핵심 포인트: 컴퓨터 사용은 단순 자동화를 넘어 에이전트형 워크플로의 기반 인프라가 됩니다. 기업 내 레거시 시스템에 API가 없어도, 모델이 직접 UI를 조작해 업무를 수행할 수 있습니다.

기업 LLM 도입, 프롬프트 아닌 '이후 데이터'가 진짜 위험

AI 트렌드 X의 샤크티(@v_shakthi)가 지적한 데이터 프라이버시 갭은 기업이 LLM을 프로덕션에 올릴 때 가장 간과하는 지점입니다. 대부분의 보안 검토는 **"프롬프트에 무슨 데이터가 들어가는가"**에 집중하지만, **"그 데이터가 벤더·하위처리자·로그·보존·삭제 정책 아래 어떻게 처리되는가"**는 방치됩니다.

검토 영역	일반적인 커버리지	놓치기 쉬운 부분
프롬프트 입력 데이터	분류·마스킹·승인	—
모델 출력 데이터	부분적 검토	PII 포함 가능성
벤더 로그 저장	거의 검토 안 함	학습 데이터 재사용 여부
하위처리자 체인	계약서에만 명시	실제 데이터 흐름 불투명
보존·삭제 정책	SLA 수준만 확인	완전 삭제 검증 불가능

실무 조언: 데이터 분류 단계에서 공격자·하위처리자·로그·보존·삭제 조건까지 5단계 분해를 의무화하세요. 법무·보안·엔지니어링이 공동으로 검토하는 '데이터 수명 주기 매트릭스'를 문서화해야 합니다.

RAG 실패의 90%는 모델이 아니라 '청킹' 때문

같은 스레드에서 샤크티는 **"내가 본 RAG 실패 대부분은 모델 실패가 아니라 청킹 실패다"**라고 단언합니다. 문서를 임의 토큰 경계(예: 512토큰 고정)로 자르면 의미 단위가 깨지고, 검색 정확도가 급락합니다.

# 나쁜 예: 고정 토큰 청킹
chunks = [text[i:i+512] for i in range(0, len(text), 512)]

# 좋은 예: 의미 단위 청킹 (마크다운 헤더·문단·코드 블록 기준)
from langchain.text_splitter import MarkdownHeaderTextSplitter
splitter = MarkdownHeaderTextSplitter(headers_to_split_on=[
    ("#", "h1"), ("##", "h2"), ("###", "h3")
])
chunks = splitter.split_text(document)

핵심 원칙: 문서 유형별(기술 문서·법률·코드·FAQ) 최적 청킹 전략이 다릅니다. 토큰 수 기준이 아니라 **의미론적 경계(헤더, 문단, 함수, 조항)**를 기준으로 분할하세요. 청킹 품질 평가는 **검색 재현율(recall@k)·정밀도(precision@k)**로 정량화해야 합니다.

오픈AI 코덱스, 전면 사용량 리셋 — 에이전트형 코딩 도구의 운영 리스크

오픈AI 코덱스 팀이 일요일 워룸을 열고 전 사용자 대상 사용량 하드 리셋을 단행했습니다. 티보 소티오(Tibo Sottiaux)가 공유한 바에 따르면 "예상치 못한 사용량 드레인(unexpected usage drains)" 조사 중 공정성을 위해 뱅크드 리셋(banked resets) 포함 전면 초기화를 결정했습니다.

이 사건은 에이전트형 코딩 도구(Codex, Claude Code, Cursor Agent 등)가 프로덕션급 워크로드를 감당할 때 운영·비용·신뢰성 관리가 얼마나 미성숙한지 보여줍니다. 엔터프라이즈 도입 시 사용량 모니터링·쿼터 알림·비용 상한선·감사 로그를 자체 인프라로 구축해야 합니다.

현대 AI는 '마법'이 아닌 엔지니어링 스택 — 토큰화·어텐션·RAG·확산·비전·월드 모델

비주아라 AI(@VizuaraAI)는 현대 AI를 단일 모델이 아닌 아이디어의 스택으로 설명합니다:

토큰화(Tokenization) — 텍스트를 모델이 처리할 단위로 분해
어텐션(Attention) — 문맥 내 관련성 가중치 계산
RAG — 외부 지식 검색·주입으로 환각 억제
확산(Diffusion) — 노이즈에서 데이터 생성(이미지·오디오·비디오)
비전 모델 — 픽셀 공간 이해·추론
월드 모델(World Models) — 환경 역학 학습·시뮬레이션

이 6개 블록이 조합돼 제미나이 로보틱스 ER 2(비디오 이해·태스크 오케스트레이션·멀티 로봇 협업), 리리아 3.5(음악 생성·가사·보컬·창작 제어), 에코버스(컴퓨터 사용 에이전트용 심층 진화 환경), 에볼리브(경험→진화 지식 변환) 같은 복합 시스템이 나옵니다.

트랜스포머 이전, RNN·LSTM·GRU가 남긴 교훈

비주아라의 또 다른 스레드는 RNN이 시계열 은닉 상태(hidden state)로 과거 문맥을 미래 예측에 연결했음을 상기시킵니다. 그래디언트 소실(vanishing gradient) 문제가 LSTM·GRU를 낳았고, 결국 **어텐션 메커니즘(트랜스포머)**으로 해결됐습니다.

오늘의 LLM·생성형 AI를 이해하려면 이 기초 구조를 다시 짚어야 합니다. 어텐션이 왜 병렬 처리가 가능한지, 위치 인코딩이 왜 필요한지, 컨텍스트 윈도우 한계가 어디에서 오는지 — 모두 RNN 시절 제약에서 비롯된 설계 선택입니다.

구글·마이크로소프트·앤트로픽, 에이전트·로보틱스·연구 인프라 동시 공략

구글 딥마인드: 로보틱스·음악·에이전트 3축

제미나이 로보틱스 2 / ER 2: 전신 지능(whole-body intelligence), 비디오 이해, 태스크 오케스트레이션, 멀티 로봇 협업
리리아 3.5 (Google Flow Music): 음악성·가사·보컬·창작 제어 전방위 향상
제미나이 API 매니지드 에이전트 3.6 플래시: 훅·상태 관리·멀티턴 공식 지원
AI 모드 검색 5가지 실생활 활용법: 쇼핑·여행·요리·학습·창작에서 실질 효용 입증

마이크로소프트 리서치: 에이전트 환경·지식 진화

에코버스(Echoverse): 컴퓨터 사용 에이전트를 위한 깊고 진화하는 환경 — 벤치마크 겸 훈련장
에볼리브(EvoLib): 에이전트 경험을 구조화된 진화 지식으로 변환 — 평생 학습 인프라

앤트로픽: 연구 포털 통합

anthropic.com/research 단일 진입점으로 안전·해석가능성·정렬 논문 공개

2026년 7월 아카이브(arXiv) 주목 논문 8선

논문	핵심 기여	링크
Learning to Trace Seiberg Dualities	물리학 듀얼리티 추적을 ML로 자동화	2607.28628
ReToken: One Token to Improve VLM for Visual Retrieval	단일 토큰 추가로 비전-언어 모델 검색 성능 대폭 향상	2607.28627
AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis	화학 문헌 클레임 중심 합성 인프라	2607.28618
KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models	임상 위험 모델 하위집단 공정성 재현 가능 감사	2607.28608
Change2Task: Repository Changes to Executable Coding Agent Tasks	레포 변경사항을 실행 가능한 코딩 에이전트 태스크·환경으로 변환	2607.28591
PAC-MAN: Perception-Aware CBF-RL for Humanoid Dodgeball Safety	지각 인식 CBF-RL로 휴머노이드 전신 안전성 확보	2607.28623
AISPA: User-Centric System Prompt Auditing for LLM Applications	사용자 중심 시스템 프롬프트 감사 프레임워크	2607.28617
ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine	인간 중심 앰비언트 캡처를 구현 데이터 엔진으로 활용	2607.28625

주목 포인트: Change2Task는 코딩 에이전트 자동화 파이프라인의 결절점, AISPA는 프롬프트 보안·감사의 실무 표준 후보, ReToken은 경량 VLM 개선 트릭으로 즉각 적용 가능합니다.

요약: 2026년 7월, 무엇을 준비해야 하나

컴퓨터 사용 에이전트 샌드박스 환경 구축 — 제미나이 3.5 플래시·매니지드 에이전트 API로 PoC 시작
데이터 수명 주기 매트릭스 문서화 — 프롬프트 이후 벤더·하위처리자·로그·보존·삭제까지 5단계 검토
RAG 청킹 전략 재설계 — 고정 토큰→의미 단위(헤더·문단·함수·조항) 분할, 검색 지표로 품질 관리
에이전트형 코딩 도구 거버넌스 — 사용량·비용·쿼터·감사 로그 자체 인프라 구축 필수
AI 스택 이해도 심화 — 토큰화·어텐션·RAG·확산·비전·월드 모델 6블록 조합 관점에서 아키텍처 설계
아카이브 논문 3편 즉시 리뷰 — Change2Task(코딩 자동화), AISPA(프롬프트 감사), ReToken(VLM 경량화)

English Summary

This post covers the key AI trends from July 2026:

Gemini 3.5 Flash Computer Use — Google DeepMind added GUI automation capabilities, enabling agents to operate software like humans. Managed Agents API (3.6 Flash) adds hooks, state management, and multi-turn support.
Enterprise Data Privacy Gap — Most teams only classify prompt inputs, ignoring how vendors, subprocessors, logs, retention, and deletion policies handle data post-inference. A 5-stage data lifecycle matrix is recommended.
RAG Failures Are Chunking Failures — Fixed-token chunking breaks semantic units. Use structure-aware splitting (Markdown headers, paragraphs, code blocks) and measure recall@k/precision@k.
OpenAI Codex Hard Reset — Unexpected usage drains triggered a full quota reset, exposing operational immaturity of agentic coding tools. Build your own governance: quotas, cost caps, audit logs.
Modern AI as an Engineering Stack — Tokenization, Attention, RAG, Diffusion, Vision, World Models combine into systems like Gemini Robotics ER 2, Lyria 3.5, Echoverse, EvoLib.
RNN to Transformer Lineage — Hidden states, vanishing gradients, LSTM/GRU led to attention. Understanding this history clarifies context windows, positional encoding, and parallelization.
Big Tech Moves — Google (robotics, music, agents), Microsoft (agent environments, knowledge evolution), Anthropic (research portal).
8 arXiv Papers — Highlights: Change2Task (repo changes to agent tasks), AISPA (system prompt auditing), ReToken (single-token VLM boost).

Action items: sandbox computer-use agents, document data lifecycle, redesign RAG chunking, govern agentic coding tools, study the AI stack, review 3 priority papers.