VK가 194M 사용자 그래프에 GNN 랭커를 실제로 올린 방법

왜 이 논문이 지금 눈에 띄나요

소셜 그래프 기반 추천은 오래된 주제지만, 1억 명 이상 규모에서 message-passing GNN을 실제 랭커로 운영한 사례는 여전히 드뭅니다. 이번 연구는 VK의 실제 그래프에서 multi-hash 임베딩과 temporal neighbor sampling이라는 두 설계 선택이 어떻게 규모를 관통하는지 보여줍니다. 아직 GNN 추천을 검토 중이거나, 임베딩 테이블 용량/샘플링 지연에 부딪힌 경우 참고할 부분이 많아요.

어떤 문제를 다루나요

친구 추천은 보통 후보 생성 → 랭킹의 2단계 퍼널로 이뤄집니다. 이 논문은 랭킹 단계를 learning-to-rank 문제로 보고, 사용자-후보 쌍을 GNN로 스코어링합니다. 핵심 신호는 사용자 속성이 아니라 소셜 그래프 구조 자체라는 점이 중요해요.

하지만 실제 규모에서 세 가지 제약이 큽니다. 첫째, 저장 공간입니다. 2억 명 노드에 280억 엣지를 갖는 그래프에서 기본 ID 임베딩 테이블만 200GB를 넘습니다. 둘째, 노드 콘텐츠 자체의 신호가 약합니다. 셋째, 그래프가 동적이라 시간 순서가 없는 말단 집계는 미래 엣지를 누설하는 문제가 생깁니다.

핵심 방법

첫 번째 핵심은 multi-hash ID embeddings입니다. 기존 GNN 시스템은 보통 trainable user ID를 아예 쓰지 않거나, |V|×d 크기의 전체 임베딩 테이블을 받아들입니다. 이 연구는 ID를 작은 공유 해시 테이블 B로 매핑하는 multi-hash layer를 노드 표현의 1순위 입력으로 씁니다. 해시 충돌은 있지만, 테이블 크기는 200GB 이상에서 22GB로 98% 이상 줄이면서 랭킹 품질은 유지했습니다.

두 번째 핵심은 temporal neighbor sampling입니다. 기존 구현은 인접 리스트 전체를 스캔하므로, 친구가 수만 명인 허브 사용자에서 병목이 됩니다. 연구진은 timestamp-sorted CSR storage에 이진 탐색을 적용해 샘플링 복잡도를 O(deg(v)+k)에서 O(log deg(v)+k)로 낮췠습니다. 실제 학습 시간에서 약 2.5배에 달하는 오버헤드를 줄였다고 보고합니다.

GNN 본체는 GATv2이며, recipient/candidate 역할별 두 헤드를 사용합니다. impression log 기반 binary classification으로 학습하고, GNN 스코어는 downstream gradient-boosted ranker 입력으로도 사용합니다. 오프라인 임베딩 리프레시와 CPU 샘플링/GPU 학습 분리로 단일 8-GPU 호스트에서도 225GB 그래프를 운용할 수 있게 했습니다.

결과와 의의

194M 사용자·28B 엣지 그래프에서 offline ablation으로 각 설계의 기여를 분리 검증했고, online A/B 테스트에서는 강한 production baseline 대비 추천으로 인한 친구 추가 16%, 고유 추가자 11.5% 증가를 기록했습니다. 코드는 GitHub에 공개되어 있습니다.

이 논문의 가치는 특정 모델 구조보다 산업 규모 GNN을 포기하지 않고 운용하려면 무엇을 바꿔야 하는지를 구체 수치와 함께 보여준 점입니다. 임베딩 메모리와 샘플링 복잡도는 추천 시스템 외에도 temporal graph를 다루는 많은 연구에서 반복되는 병목이라, 해결책의 참고 가치가 큽니다.

참고 링크

• Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling
• VK-GNN 코드
• arXiv PDF