여러 부서의 특화 모델과 사내 도우미 모델을 함께 운영하는 GPU 클러스터를 들여다보면, 정작 추론 요청은 간헐적으로 들어오는데 GPU 메모리(HBM) 점유율은 하루 종일 90% 이상에 묶여 있는 모습을 흔히 보게 됩니다. 낮 시간에만 쓰이는 업무용 모델이나 하루 몇 차례 배치 요약만 수행하는 모델도, 요청이 전혀 없는 유휴 시간에 수십 GB의 HBM을 그대로 붙잡고 있습니다.
수요가 없을 때 컨테이너나 프로세스를 아예 종료(Scale-to-Zero)했다가 요청이 들어올 때 다시 띄우면 될 것 같지만, 실제 운영 환경에서는 그렇게 하기 어렵습니다. 한 번 내린 대형 언어 모델(LLM) 서빙 프로세스를 처음부터 다시 띄우는 데 수십 초에서 몇 분이 걸리는 콜드 스타트(Cold Start) 지연 때문입니다. 첫 응답을 받기까지 1분 넘게 기다려야 한다면 대화형 서비스는 사실상 장애 상태나 다름없습니다.
결국 운영자는 응답 속도를 지키려고 모든 모델을 메모리에 상주시킬지, GPU 대수를 아끼려고 재기동 지연을 감수할지 고민하게 됩니다. 앞선 1편에서 요청 중간 결과물인 KV Cache의 계층 오프로드를 살펴보았다면, 이번 글에서는 회수할 GPU 메모리와 다시 사용하기 위해 남겨 둘 초기화 상태를 구분해 유휴 GPU를 회수하는 구조를 살펴봅니다.
HBM 점유량과 재기동 비용을 나누어 보는 이유
실행 중인 LLM 추론 엔진이 GPU와 호스트에서 유지하고 있는 상태를 뜯어보면 크게 세 덩어리로 나뉩니다.
- 모델 가중치(Model Weights): 모델의 파라미터 텐서들입니다. 예를 들어 설명용 계산으로 270억(27B) 파라미터 모델을 BF16(파라미터당 2바이트)으로 적재하면 가중치만 약 54 GB의 HBM을 고정 점유합니다.
- 사전 할당된 KV Cache 풀(Pre-allocated KV Cache Pool): vLLM 같은 서빙 엔진은 실행 도중 메모리 단편화와 할당 지연을 막기 위해, 가중치를 올리고 남은 HBM의 상당 부분(예: 15~25 GB)을 기동 시점에 미리 KV 블록 풀로 예약해 둡니다. 현재 처리 중인 요청이 0건이어도 이 공간은 다른 프로세스가 쓸 수 없습니다.
- 런타임 컨텍스트와 실행 그래프(CUDA Context, NCCL, CUDA Graphs): 파이썬 인터프리터, 프레임워크 런타임, 다중 GPU 간 통신 채널(NCCL Communicator), 그리고 커널 실행 오버헤드를 줄이기 위해 배치 크기별로 미리 캡처해 둔 **CUDA 그래프(CUDA Graph)**입니다.
이 구성 요소들은 메모리를 많이 차지하는 정도와 다시 준비하는 비용이 다릅니다. 콜드 스타트에는 가중치 I/O뿐 아니라 런타임 초기화, 컴파일, 그래프 캡처 비용도 포함됩니다. 어느 단계가 가장 오래 걸리는지는 모델·스토리지·컴파일 캐시 상태에 따라 달라집니다. 실제로 NVIDIA의 모델 로딩 실험에서는 로더를 바꾸는 것만으로 전체 준비 시간이 줄었습니다. 따라서 런타임 초기화를 언제나 가장 큰 병목으로 보아서는 안 됩니다.
| 구성 요소 | HBM 점유 비중 | 처음부터 다시 만들 때 걸리는 작업 | 재사용 가능 여부 |
|---|---|---|---|
| 런타임·통신·CUDA 그래프 | 낮음 (수백 MB ~ 수 GB) | 파이썬 모듈 임포트, CUDA 컨텍스트 생성, NCCL 링 초기화, 커널 JIT 컴파일, 배치별 CUDA 그래프 캡처 | 프로세스를 죽이지 않으면 그대로 유지 가능 |
| 모델 가중치(Weights) | 매우 높음 (수십 GB) | 디스크·네트워크 스토리지에서 체크포인트 파일 파싱 후 텐서 배치 | 호스트 CPU RAM에 올려 두면 PCIe 고속 복사만 수행 |
| KV Cache 메모리 풀 | 높음 (수십 GB) | 풀 재할당과 요청에 필요한 KV 계산. 유휴 중에도 재사용 가능한 prefix가 남을 수 있음 | 휴면 시 내용까지 폐기하고 기상 시 빈 풀 재할당 |
유휴 모델을 내릴 때 서빙 프로세스와 CUDA 컨텍스트까지 통째로 종료할 필요는 없습니다. 이미 준비된 런타임과 CUDA 그래프를 유지하면서 가중치와 KV Cache 풀의 GPU 메모리를 회수할 수 있습니다. 다만 활성 요청이 없다는 말은 캐시까지 비었다는 뜻이 아닙니다. vLLM의 prefix cache는 요청이 끝난 뒤에도 재사용 가능한 블록을 남길 수 있습니다. Sleep/Wake는 이 캐시를 잃는 비용과 GPU 메모리를 돌려받는 이득을 함께 비교해야 합니다.
프로세스는 살려 두고 HBM만 비우는 Sleep / Wake 메커니즘
vLLM의 슬립 모드(Sleep Mode)는 프로세스를 종료하지 않고 가중치와 KV Cache가 사용하는 GPU 메모리를 반환합니다. 프로세스와 초기화 상태를 유지하므로 전체 기동 과정을 반복하는 비용을 줄일 수 있습니다. 반환 후 남는 GPU·호스트 메모리는 모델과 그래프·통신 설정에 따라 달라집니다.
이때 모델 가중치를 어디까지 치우느냐에 따라 두 가지 단계(Level 1, Level 2)로 동작 방식이 갈립니다. 아래 그림은 요청을 모두 마친 모델의 가중치 54 GB, KV 풀 20 GB, GPU에 남길 컨텍스트·그래프 등 1 GB를 가정한 예입니다. 그래프 오프로드와 별도 KV 저장소 복원은 생략합니다. 표시된 이동 속도는 실제 기상 시간을 뜻하지 않습니다.
런타임은 유지하고 가중치와 KV 풀의 GPU 메모리를 반환합니다
활성 요청이 끝난 예입니다. KV 풀(20 GB)의 prefix 내용도 폐기하고, 가중치(54 GB)는 호스트 RAM으로 복사합니다.
조건별 결과를 함께 읽기
Sleep Level 1 (RAM 대피): 가중치의 CPU 백업은 해제됩니다. 기존 prefix는 없어졌으므로 새 요청에서 KV 계산이 필요합니다.
Sleep Level 2 (가중치 폐기): 가중치를 다시 적재하고 빈 KV 풀을 할당했습니다. 유지한 런타임을 재사용하며 기존 prefix는 다시 계산합니다.
프로세스 종료 (Cold Start): 메모리는 같은 상태로 준비됐지만 전체 기동 과정을 거쳤습니다. 어느 단계가 가장 느린지는 환경에 따라 다릅니다.
흐름을 단계별로 살펴보기
- 활성 요청이 끝난 예입니다. KV 풀(20 GB)의 prefix 내용도 폐기하고, 가중치(54 GB)는 호스트 RAM으로 복사합니다.
- 프로세스는 유지합니다. 이 예에서는 GPU 컨텍스트·그래프 등 1 GB가 남고, 회수한 74 GB를 다른 모델이 쓸 수 있습니다.
- 프로세스 재시작 없이 호스트 RAM에 대기하던 가중치를 PCIe 버스로 HBM에 다시 매핑·복사합니다.
- 가중치의 CPU 백업은 해제됩니다. 기존 prefix는 없어졌으므로 새 요청에서 KV 계산이 필요합니다.
Level 1은 가장 빠른 재기동(Wake)을 목표로 합니다. 슬립 명령이 내려지면 엔진은 두 가지를 수행합니다.
- 활성 요청을 정리한 뒤 **KV Cache 메모리 풀을 해제(Discard)**합니다. 남아 있던 prefix cache도 함께 사라집니다.
- 용량이 큰 **모델 가중치는 호스트의 고정 메모리(Pinned CPU RAM) 버퍼로 복사(Offload)**한 뒤 GPU HBM에서 해제합니다.
기상(wake_up) 신호가 들어오면 파이썬 프로세스를 새로 띄우거나 체크포인트 파일을 다시 파싱할 필요가 없습니다. GPU 메모리를 다시 매핑하고 호스트 RAM의 가중치를 HBM으로 복사한 뒤 빈 KV Cache 풀을 할당합니다. 이전 prefix cache는 복구되지 않으므로, 다음 요청에서 KV를 재계산하거나 별도로 구성한 외부 KV 저장소에서 가져와야 합니다. 따라서 기상 시간뿐 아니라 첫 토큰 지연(TTFT)도 함께 측정해야 합니다. 예를 들어 50 GB를 실효 대역폭 3240 GB/s로 옮기는 설명용 계산은 순수 복사에 약 1.251.56초가 걸린다는 뜻이며, 전체 기상·첫 응답 시간을 보장하지는 않습니다.
다만 Level 1에는 분명한 제약이 있습니다. 잠들어 있는 모델들의 가중치를 호스트 CPU RAM이 온전히 떠안아야 하므로, 한 서버에서 너무 많은 모델을 Level 1로 재우면 호스트 메모리가 먼저 고갈됩니다. 또한 캡처된 CUDA 그래프 자체가 많은 메모리를 차지하는 설정에서는 그래프 메모리까지 함께 내려보내는 옵션(sleep_mode_offload_cudagraph)을 고려해야 합니다.
반면 호스트 CPU RAM 여유가 부족하거나, 기상할 때 새로 업데이트된 가중치를 불러와야 하는 경우(예: 강화학습 루프의 새 정책 가중치)에는 Level 2를 사용할 수 있습니다. 기본 Level 2는 가중치의 CPU 백업을 만들지 않고 가중치와 KV Cache 풀을 모두 폐기합니다. 프로세스와 모델 버퍼 등은 남으므로 호스트 메모리 점유가 0이 되는 것은 아닙니다. 대신 기상할 때는 다음처럼 단계적으로 메모리를 복구합니다.
# Level 2 기상 흐름 예시 (가중치 재할당 -> 외부 가중치 적재 -> KV 캐시 풀 재할당)
engine.wake_up(tags=["weights"])
engine.collective_rpc("reload_weights")
engine.wake_up(tags=["kv_cache"])이 흐름에서는 가중치 재적재 비용이 발생하지만, 유지한 프로세스와 런타임을 재사용합니다. Level 1과의 속도 차이는 RAM·스토리지 전송 성능에 달려 있고, 전체 콜드 스타트 대비 절약하는 시간은 생략한 초기화 단계의 비용에 달려 있습니다. Level 2에서도 이전 KV 내용은 사라집니다.
한 GPU에서 여러 모델을 시간차로 교대 배치하는 조건
Sleep/Wake 구조가 의미를 갖는 가장 실용적인 지점은 **트래픽 시간대가 다른 여러 모델을 동일한 GPU 자원에 겹쳐 배치(Over-subscription)**할 수 있다는 데 있습니다.
예를 들어 80 GB HBM GPU 한 장에 55 GB를 쓰는 실시간 고객 응대 모델 A와, 역시 55 GB를 쓰는 야간·비동기 문서 분석 모델 B가 있다고 해 보겠습니다. 기존 상주 방식에서는 두 모델의 합산 메모리가 110 GB이므로 무조건 GPU 두 장이 필요했습니다. 하지만 두 모델이 동시에 최대 부하를 받지 않는다면, 한 장의 GPU 위에서 두 프로세스를 모두 띄워 놓고 교대로 깨울 수 있습니다.
- 평시(대화형 트래픽 구간): 모델 A는 깨어 있는(Active) 상태로 HBM을 점유해 즉각 응답하고, 모델 B는 Level 1 슬립 상태로 호스트 RAM에 가중치를 내려놓은 채 대기합니다.
- 배치 작업 유입 또는 유휴 구간 전환: 모델 A로의 실시간 요청이 비거나 작업 전환 스케줄이 도래하면, 오케스트레이터는 모델 A를 Level 1 슬립으로 전환해 수십 GB의 HBM을 회수한 뒤 즉시 모델 B에
wake_up을 호출합니다. - 긴급 요청 인입 시 복귀: 모델 B가 배치 작업을 처리하는 도중 모델 A로 우선순위가 높은 요청이 들어오면, 현재 진행 중인 짧은 배치 단위만 마무리한 뒤 모델 B를 재우고 모델 A를 다시 깨웁니다. 이 전환 지연이 서비스의 응답 목표 안에 들어오는지 확인해야 합니다.
물론 이 교대 배치가 언제나 만능은 아닙니다. 두 모델로 매초 동시 요청이 끊임없이 유입되는 환경에서 슬립과 기상을 수시로 반복하면, GPU는 추론 연산보다 PCIe 버스를 통해 수십 GB의 가중치를 오르내리는 데(Thrashing) 시간을 다 쓰게 됩니다. 따라서 슬립 기반 공유는 요청 간격이 기상 전환 시간(수 초)보다 충분히 길거나, 실시간 워크로드와 지연 허용(Delay-tolerant) 배치 워크로드를 조합할 때만 적용해야 합니다.
메모리 회수만으로 해결되지 않는 비용
앞선 KV Cache 오프로드는 재사용할 중간 계산을 보존하는 방법이고, Sleep/Wake는 유휴 모델의 메모리를 반환하는 방법입니다. 목적이 다르므로 정해진 순서대로 모두 적용할 필요는 없습니다. 캐시 적중으로 아끼는 계산량, 기상 뒤 다시 계산할 양, 모델 사이의 동시 요청 빈도를 측정해 조합을 정해야 합니다.
요청이 계속 들어와 모델을 재울 틈이 없다면 Sleep/Wake로 줄일 수 있는 유휴 메모리도 적습니다. 이때는 배치 처리, 모델 크기·정밀도, 장비 선택을 함께 비교해야 합니다. 추론용 NPU도 검토 대상이 될 수 있지만, 동일한 모델·품질·지연 목표에서 지원 연산자, 실제 처리량, 전력과 이전 비용을 확인해야 합니다. 메모리 최적화 다음에 반드시 선택해야 하는 단계는 아닙니다.
Sleep/Wake를 선택하는 기준은 “메모리를 얼마나 비웠는가”에 더해 “다음 요청을 허용 지연 안에 처리할 수 있는가”입니다. 클러스터 단위로 여러 GPU 노드에 학습 작업을 배분할 때 생기는 큐 병목은 이어지는 빈 GPU가 있는데도 대형 학습 작업이 계속 밀리는 이유에서 다룹니다.