Para-Pipe, SoC에서 ML 연산자 병렬성을 115% 끌어내는 방법

왜 지금 이 논문인가

임베디드 기기와 모바일 SoC에서 ML 추론/학습을 돌릴 때 성능이 기대만큼 안 나오는 경우가 많다. 크기와 전력 예산이 타이트한데 GPU/NPU 같은 유닛이 제한적이니, 같은 칩 안에서 연산을 어떻게 배치하느냐가 곧 성능이다. 이번에 살펴볼 Para-Pipe는 이 배치 문제를 연산자 수준 병렬성에서 다시 풀어본 연구다.

배경: 기존 스케줄러는 어디서 막히나

ML 프레임워크는 계산 그래프를 만들면 일반적으로 데이터 병렬성이나 레이어 단위 파이프라인으로 나눠서 실행한다. SoC 안에도 big.LITTLE 코어, GPU, NPU, DSP가 섞여 있으니 가능성은 크다. 문제는 연산자 단위 병렬성을 제대로 쓰지 못하는 점이다. 기존 스케줄러는 coarse-grained하게 묶어서 내부 유닛 활용도가 떨어진다.

핵심: coarse/fine ILP와 fan-in 분류

Para-Pipe는 크게 두 계층으로 나눠서 스케줄링한다. coarse ILP는 큰 서브그래프 단위에서 실행 순서를 정하는 단계고, fine ILP는 그 안에서 개별 연산자 간 의존성을 풀어서 동시에 날리는 단계다. 논문은 또 fan-in 구조와 linear-chain 구조를 구분해서, 통신이 집중되는 fan-in을 어떻게 합치느냐에 따라 성능이 크게 달라진다고 본다.

이 구조를 실제 SoC 두 종에서 검증했는데, A311D는 ARM big.LITTLE + GPU 조합이고, BST는 NPU + 2x DSP 구성이다. 두 경우를 다 커버하는 게 중요하다. CPU 위주와 가속기 위주 하드웨어에서 동일한 원리가 먹히는지 확인해야 하기 때문이다.

결과: latency, throughput, 에너지 함께 개선

주요 수치는 다음과 같다. latency 기준으로 pipe-only에 비해 최대 115% 향상됐다. throughput만 보면 para-only는 오히려 26% 떨어졌다. 대신 hybrid-A는 throughput 7.9%, latency 33.1%가 개선됐고, hybrid-B는 throughput 6.2%, latency 11.5%다. 에너지 효율은 throughput 최적화 설정에서 11.0%, latency 최적화 설정에서 23.3%까지 좋아졌다.

또 논문은 Inception 모델과 transformer 모델 각각 2~4개를 섞은 워크로드로 테스트했다. 모델마다 연산자 패턴이 다르니 실제 배치에서 트레이드오프도 달라진다는 의미다.

왜 중요한가

지금까지 SoC 스케줄링은 주로 프레임워크가 자동으로 처리해주는 영역처럼 여겨졌다. Para-Pipe는 그래프 구조 자체를 분석해서 coarse/fine 단계를 분리하면, 같은 칩 안에서도 latency와 throughput을 동시에 개선할 수 있다는 점에서 실무적이다. 특히 latency와 energy 두 개를 함께 개선한 수치는, 모바일 추론 서비스에서 배터리와 응답 속도 둘 다 중요한 경우에 직접 참고할 만하다.

시사점과 한계

계층적 ILP를 명시적으로 분리하는 접근은 상위 컴파일러/런타임에도 적용할 수 있어 보인다. 다만 fan-in을 줄이기 위해 그래프 변환을 추가하면 통신량 자체가 늘어날 수 있어서, 실제 디바이스 메모리 대역에 따라 결과가 달라질 수 있다. SoC 아키텍처마다 유닛 연결이 다르니, 논문의 A311D/BST 결과를 그대로 다른 칩에 적용하기는 어렵다. 그래도 ‘연산자 병렬성을 스케줄러 레벨에서 다시 설계하라’는 방향은 분명하다.

참고 링크

• Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs