카이스트, ‘엔비디아 통합메모리’ 없이 세계 최고속 그래프 연산 성공 A fast GPU-based out-of-memory multi-hop query processing framework for trillion-edge graphs

한 대의 GPU 컴퓨터로 처리할 수 있는 세계 최고 성능의 연산 프레임워크 개발

인공지능 분야에서 지식 체계나 데이터베이스를 그래프로 저장하고 활용하는 사례가 급증하지만, 일반적으로 복잡도가 높은 그래프 연산은 GPU 메모리의 제한으로 인해 매우 작은 규모의 그래프 등 비교적 단순한 연산만 처리할 수 있다는 한계가 있다. 우리 연구진이 25대의 컴퓨터로 2,000초가 걸리던 연산을 한 대의 GPU 컴퓨터로 처리할 수 있는 세계 최고 성능의 연산 프레임워크를 개발하는데 성공했다.

사진 1. (왼쪽부터) 윤희용 박사과정, 한동형 박사과정, 오세연 박사과정, 김민수 교수

카이스트 홍보실

우리 대학 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 1조 간선 규모의 초대규모 그래프에 대해 다양한 연산을 고속으로 처리할 수 있는 스케줄러 및 메모리 관리 기술들을 갖춘 일반 연산 프레임워크(일명 GFlux, 지플럭스)를 개발했다고 27일 밝혔다.

연구팀이 개발한 지플럭스 프레임워크는 그래프 연산을 GPU에 최적화된 단위 작업인 ‘지테스크(GTask)’로 나누고, 이를 효율적으로 GPU에 배분 및 처리하는 특수한 스케줄링 기법을 핵심 기술로 한다. 그래프를 GPU 처리에 최적화된 자체 개발 압축 포맷인 HGF로 변환해 SSD와 같은 저장장치에 저장 및 관리한다.

기존 표준 포맷인 CSR로 저장할 경우, 1조 간선 규모의 그래프 크기가 9테라바이트(TB)에 이르지만, HGF 포맷을 활용하면 이 크기를 4.6테라바이트(TB)로 절반 가까이 줄일 수 있다. 또한 GPU에서는 메모리 정렬 문제로 그간 사용되지 않았던 3바이트의 주소 체계를 최초로 활용, GPU 메모리 사용량을 약 25% 절감했다.

또한, 엔비디아(NVIDIA) 쿠다(CUDA)의 통합 메모리(Unified Memory)에 전혀 의존하지 않고, 메모리 부족으로 인한 연산 실패를 방지할 수 있도록 메인 메모리와 GPU 메모리를 통합적으로 관리하는 GTask 전용 메모리 관리 기술을 주요 핵심 기술로 포함하고 있다.

그림은 GFlux의 전체 실행 구조를 나타내는 아키텍처로, 스케줄링 계층, 실행 계층, 저장 계층(HGF)의 세 부분으로 구성된다. ■ 상단의 스케줄링 계층에서는 column-wise, row-wise, activation-wise, 3-hop, 4-hop과 같은 다양한 질의 유형에 따라 질의를 분해하며, 각 질의는 GTask라는 단위 작업으로 변환된다. ■ 중단의 실행 계층은 생성된 GTask를 실제로 수행하는 구성 요소들로 이루어진다. Task Manager는 질의 유형에 따라 생성된 GTask들을 관리하며, Attribute Manager는 질의 처리를 위한 정점 속성 데이터를 제공한다. GPU Load Balancer는 다중 GPU의 실시간 유휴 상태를 평가하여 GTask를 실행 시점에 동적으로 분산 배치한다. Hbuf Manager와 Gbuf Manager는 각각 호스트 메모리(Hbuf)와 GPU 메모리(Gbuf)의 데이터 버퍼를 관리하며, 각 GTask는 이 두 버퍼 계층을 효과적으로 활용하여 중복 데이터 이동을 최소화하고 질의를 고속으로 처리한다. ■ 하단의 저장 계층은 GFlux의 핵심 저장 포맷인 HGF로 이루어져 있으며, 이는 압축된 그래프 데이터와 이를 효율적으로 인덱싱하는 구조체들로 구성된다. 그래프는 수많은 샤드로 분할되어 저장되며, Qmap과 Qtree는 샤드 간의 연결 관계와 계층 구조를 표현한다. 이 저장 계층은 그래프 데이터의 효율적인 저장과 빠른 접근을 지원하며, GFlux의 공간 효율성 및 확장성을 구현하는 핵심 요소이다.

김민수 교수 연구팀은 삼각형 개수 세기*와 같은 고난도 그래프 연산을 통해 지플럭스 기술의 성능을 검증했다.

*삼각형 개수 세기: 그래프에서 서로 연결된 세 개의 정점이 이루는 삼각형 형태의 관계를 모두 찾고 개수를 세는 연산으로 데이터 분석 및 인공지능에서 널리 활용됨

약 700억 간선 규모의 그래프를 대상으로 한 실험에서, 기존의 최고 성능 기술은 고속 네트워크로 연결된 컴퓨터 25대를 이용해 약 2,000초가 걸리던 삼각형 개수 세기 연산을 지플럭스는 GPU가 장착된 단일 컴퓨터만으로 약 두배 빠른 1,184초 만에 처리하는 데 성공했다.

이는 단일 컴퓨터로 삼각형 개수 세기 연산을 성공적으로 처리한 현재까지 알려진 최대 규모의 그래프다.

김민수 교수는 “최근 그래프 RAG(검색증강생성), 지식 그래프, 그래프 벡터 색인 등 대규모 그래프에 대한 고속 연산 처리 기술의 중요성이 점점 커지고 있다”며, “지플럭스 기술이 이러한 문제를 효과적으로 해결할 것으로 기대한다”고 말했다.

이번 연구에는 전산학부 오세연, 윤희용 박사과정이 각각 제 1, 2 저자로, 김 교수가 창업한 그래프 딥테크 기업인 (주)그래파이 소속 한동형 연구원이 제3 저자로, 김 교수가 교신저자로 참여했고. 연구 결과는 IEEE 주최 국제데이터공학학술대회(ICDE, International Conference on Data Engineering)에서 지난 5월 22일에 발표됐다.

※ 논문제목: GFlux: A fast GPU-based out-of-memory multi-hop query processing framework for trillion-edge graphs

※ DOI: https://doi.ieeecomputersociety.org/10.1109/ICDE65448.2025.00075

한편, 이번 연구는 과기정통부 IITP SW스타랩과 한국연구재단 중견과제의 지원을 받아 수행됐다.

KCONTENTS