이메일 AI 비서 Fyxer, 초안 53%를 그대로 쓰게 만든 비결

같은 이메일, 사람마다 다른 답장

AI가 메일 하나에 답장을 써주는 건 이제 흔해졌어요. 그런데 진짜 어려운 건 「누구에게, 어떤 상황에서, 어떤 답장」을 쓸지 정하는 일이에요. 같은 메일이라도 상대와의 관계, 지난 대화의 맥락, 지금 내가 원하는 바에 따라 완전히 다른 답변이 나와야 하거든요.

이 지점을 제대로 파고든 스타트업이 있어요. 영국·유럽 기반의 Fyxer라는 회사로, 오픈AI가 공식 고객 사례로 소개했어요.

핵심 수치부터 보면 이렇습니다.

50만 시간의 비서 노하우

Fyxer의 시작은 AI가 아니라 '인간 비서' 서비스였어요. 제품을 만들기 전부터 몇 년간 사람이 돌보는 이그제큐티브 어시스턴트 서비스를 운영하다 보니, 50만 시간이 넘는 주석(annotation)된 업무 기록이 쌓였습니다.

이 데이터가 단순히 양이 많은 것만은 아니에요. 언제 빨리 답하고 언제 기다려야 하는지, 어느 이전 대화가 지금 답장에 중요한지, 똑같은 요청이라도 사람마다 어떻게 다르게 응답해야 하는지 같은 작은 판단들이 담겨 있기 때문이에요. 즉 일 자체에서 나온 훈련 데이터죠.

여기에 오픈AI 모델이 결합됩니다. 초안 생성 같은 주관적 작업에서 파인튜닝 성능이 좋다는 점, 내부 벤치마크에서 가장 잘 나온다는 점을 이유로 오픈AI를 골랐다고 해요.

메일을 요약해 이해하는 일부터 맥락을 뽑아 재정렬하는 일, 실제 이메일을 생성하는 일까지 여러 단계를 오픈AI 모델이 맡아요.

이메일을 통째로 주지 말고 쪼개라

Fyxer가 강조하는 첫 번째 교훈은 이메일을 하나의 생성 작업으로 보지 말라는 거예요. 시스템 전체를 30~50개의 전문화된 모델로 나눠서, 각각이 이메일 업무의 좁은 한 부분만 담당하게 만들었죠.

메일이 들어오면 먼저 답변 필요 모델이 분류해요. 받은 편지가 답장이 필요한 건지, 일정을 잡는 건지, 그냥 알면 되는 정보인지 구분하는 거예요.

답장이 필요하면 이번엔 의도를 분석하는 모델이 이 대화가 회의 일정 쪽으로 흘러가는가, 요청 해결로 가는가, 오래 이어지는 관계의 쓰레드인가를 예측합니다.

기억(memory)도 핵심이에요. 어떤 세부사항은 대화를 넘어 계속 남겨야 하고, 어떤 건 한 번의 교환 후 사라져야 하는지를 Fyxer가 정해야 하거든요. 새 메일이 오면 검색(retrieval) 모델이 저장된 상호작용을 비교해 그 사람·그 대화에 가장 관련 높은 기억을 꺼내옵니다.

공동창업자 아키 홀링스워스(Archie Hollingsworth)는 하나의 큰 모델에게 좋은 이메일을 쓰라고 하는 것보다 여러 작은 모델로 문제를 쪼개는 게 훨씬 잘 작동한다고 말해요.

수정한 초안은 그대로 학습 데이터

다음 교훈은 학습과 피드백 루프에요.

Fyxer는 시스템 전반에 지도 파인튜닝(supervised fine-tuning)과 LoRA(Low-Rank Adaptation)를 써서 작업별 모델 변형을 만들면서도 학습 비용을 통제했어요. 초기엔 정확도가 중요한 작업에 오픈AI 파인튜닝 플랫폼을 쓰다가, 최근에는 오픈AI의 관리형 파인튜닝 팀과 함께 새 체크포인트를 운영에 올렸죠.

배포 전에는 이메일 초안·분류·우선순위 등 자체 이메일 태스크로 만든 검증 세트로 평가합니다. 정확도와 함께 응답 시간·비용을 같이 저울질하면서 작업별로 최선을 고른다는 접근이에요.

배포 후의 개선 루프가 특히 인상적인데, 사용자가 초안을 수정해서 보내면 그 차이가 곧 선호 신호가 됩니다.

원본 초안과 사용자가 고친 최종본을 하나의 쌍으로 엮어 DPO(Direct Preference Optimization) 학습 데이터로 쓰는 거예요. 수동으로 라벨링할 필요 없이 실제 사용 행동이 데이터가 되는 구조죠.

변경된 초안은 전부 A/B 테스트를 거쳐, 통계적으로 유의미한 개선이 있을 때만 배포돼요. 사용자 볼륨이 커서 하루 만에 유의성 기준을 넘기도 한다고 합니다.

그 결과 생성 초안의 53%가 그대로 채택되는 수준까지 올라왔어요.

유지율이 진짜 힘

홀링스워스는 다들 ARR을 말하지만 진짜 자랑은 유지율이라며 사용자의 90% 이상이 90일 시점에도 돈을 내며 매일 쓰고 있다고 말하죠.

기술적이지 않은 사용자가 많고, 어떤 이에겐 매일 쓰는 첫 AI 시스템이라는 점을 고려하면 단순한 재미 때문은 아닐 가능성이 커요.

Fyxer는 앞으로 답장 초안을 넘어 선제적(proactive) AI 비서로 진화하겠다는 계획이에요. 사용자가 정말 좋아하는 일에만 집중할 수 있게, 컴퓨터를 켜지 않아도 Fyxer가 모든 걸 관리해주는 상태를 만들고 싶다는 게 공동창업자의 비전입니다.

단순히 AI가 이메일을 대신 쓴다는 걸 넘어, 어떻게 하면 사람이 다시 고치고 싶지 않은 답장을 만들 수 있는지 보여주는 사례예요. 추천·재정렬·분류 같은 좁은 작업의 조합과 실제 사용 피드백을 학습으로 되돌리는 구조는 비슷한 프로덕트를 만드는 분들이라면 한 번쯤 참고해볼 만한 설계랍니다.

참고 링크

• 오픈AI 고객 사례: How Fyxer built an AI executive assistant people trust

• Fyxer 공식 웹사이트