사내 문서 검색(RAG)이나 다중 턴 대화, 에이전트 워크플로를 운영하는 추론 클러스터를 관찰해 보면 이상한 현상이 자주 눈에 띕니다. 사용자가 수만 토큰짜리 기술 문서나 긴 시스템 프롬프트를 붙여 넣고 후속 질문을 이어 갈 때마다, 첫 번째 토큰이 나오기까지의 대기 시간(TTFT, Time To First Token)이 매번 처음 요청처럼 길게 튀는 현상입니다. 바로 직전 턴에서 똑같은 문서와 이전 대화 맥락을 이미 읽었는데도, GPU는 몇 초 뒤 들어온 다음 턴 요청에서 앞부분 전체를 처음부터 다시 연산합니다.
왜 이미 계산한 문맥을 재사용하지 못하고 매번 같은 행렬 연산을 되풀이할까요? 원인은 대형 언어 모델(LLM) 추론의 두 단계가 사용하는 자원의 성격이 다르고, 계산 중간 결과물인 **KV Cache(Key-Value Cache)**를 담아 둘 GPU HBM(High Bandwidth Memory) 공간이 금세 바닥나기 때문입니다.
이 병목을 줄이려면 세 가지 질문을 차례대로 짚어야 합니다. 첫째, KV Cache는 어떤 조건에서만 재사용할 수 있고 왜 HBM에서 쉽게 밀려나는가입니다. 둘째, HBM에서 밀려난 캐시를 호스트 메모리(CPU DRAM)나 NVMe SSD로 내려보낼 때(Offload) 재계산보다 실제로 이득이 되는 손익분기점은 어디인가입니다. 셋째, 서버가 여러 대일 때 요청 라우터는 캐시가 있는 곳을 어떻게 찾아가야 하는가입니다. 유휴 모델이 점유하는 가중치 메모리와 슬립 전환 구조는 이어지는 요청이 없는 모델을 바로 내리지 못하는 이유에서 살펴봅니다.
Prefill의 중복 연산과 HBM 내부 KV Cache의 수명
트랜스포머 기반 추론은 **Prefill(사전 채우기)**과 Decode(토큰 생성) 두 단계로 나뉩니다. Prefill 단계는 입력 프롬프트의 모든 토큰을 한꺼번에 읽으며 각 레이어와 어텐션 헤드마다 Key·Value 텐서(KV Cache)를 생성합니다. 입력 길이가 길어질수록 연산량이 급격히 늘어나는 연산 집약적(Compute-bound) 구간이며, 사용자가 체감하는 첫 토큰 응답 시간(TTFT)을 결정합니다. 반면 Decode 단계는 앞서 만들어 둔 KV Cache를 HBM에서 반복해서 읽어 들이며 다음 토큰을 하나씩 생성하는 메모리 대역폭 집약적(Memory-bandwidth-bound) 구간입니다.
문제는 KV Cache가 차지하는 메모리 크기입니다. 이해를 돕기 위해 설명용 계산 예시를 하나 들어 보겠습니다. 레이어 수(n_layers) 64개, 그룹 쿼리 어텐션(GQA)의 KV 헤드 수(n_kv_heads) 8개, 헤드 차원(d_head) 128인 모델을 BF16(원소당 2바이트) 정밀도로 서빙한다고 가정해 보겠습니다. 토큰 1개가 차지하는 KV Cache 크기는 다음과 같습니다.
토큰당 KV Cache = 2(Key·Value) × 64(레이어) × 8(KV 헤드) × 128(차원) × 2 bytes
= 262,144 bytes = 256 KiB / token
32,768 토큰(32K) 문맥 1건의 KV Cache = 32,768 × 256 KiB = 8 GiB토큰 하나당 256 KiB라면, 32,768토큰(32K) 길이의 요청 하나가 만드는 KV Cache만 정확히 8 GiB입니다. 80 GB HBM을 장착한 GPU에 모델 가중치와 런타임 버퍼로 약 5560 GB를 쓰고 나면, KV Cache에 할당할 수 있는 여유 공간은 2025 GB 남짓에 불과합니다. 32K 길이의 동시 요청이 3개만 들어와도 HBM의 KV Cache 풀이 가득 찬다는 뜻입니다.
vLLM의 Automatic Prefix Caching 설계를 보면, 최신 서빙 엔진은 이 공간을 아끼고 중복 연산을 피하기 위해 문맥을 고정 크기 토큰 블록(예: 16토큰)으로 쪼갠 뒤 (직전 블록의 해시, 현재 블록의 토큰 ID 열, 격리용 솔트)를 조합해 해시값을 매깁니다. 인과적 어텐션(Causal Attention)의 특성상 토큰의 Key·Value 값은 자기 앞쪽에 놓인 모든 토큰에 의존하므로, 문맥의 맨 앞(토큰 0)부터 정확히 일치하는 접두사(Prefix) 구간만 캐시 블록을 재사용할 수 있습니다.
[요청 1 완료 후: 블록 참조 횟수(ref_cnt)가 0이 되어 Free Queue 꼬리에 진입]
Free Queue (LRU 순서): [오래된 요청 A 블록들] -> [오래된 요청 B 블록들] -> [방금 끝난 요청 1 블록들]
^ 공간 부족 시 여기서부터 축출(Evict)
[잠시 후 동시 요청 유입: 신규 Decode/Prefill 블록 할당 필요]
HBM 여유 공간 부족 발생 -> Free Queue 머리(Head)부터 차례대로 덮어씀
결과: 사용자가 20초 뒤 후속 질문을 보냈을 때 [요청 1 블록들]이 이미 지워져 전체 Prefill 재실행진행 중인 요청이 끝나면 해당 KV 블록들의 참조 횟수(ref_cnt)는 0이 되어 해제 대기열(Free Queue)의 꼬리로 들어갑니다. HBM에 여유가 있을 때는 이 블록들이 메모리에 남아 다음 턴 요청에서 즉시 재사용됩니다. 그러나 다른 사용자들의 요청이 밀려들어 새 블록을 할당해야 하면, 할당기는 가장 오래 참조되지 않은 대기열 머리(LRU, Least Recently Used)부터 블록을 덮어씁니다. 대화 턴 사이의 수십 초 동안 다른 요청들이 HBM을 훑고 지나가면, 직전 턴의 KV Cache는 흔적도 없이 축출(Eviction)되고 GPU는 똑같은 앞부분을 처음부터 다시 계산하게 됩니다.
계층형 KV Cache 오프로드와 재계산 대비 손익분기 조건
HBM 용량 한계로 버려지는 KV Cache를 살려내는 방법은 GPU 바깥의 메모리 계층을 캐시 저장소로 편입하는 것입니다. GPU HBM 바로 아래에는 수백 GB 규모의 호스트 CPU DRAM이 있고, 그 아래에는 수 TB 규모의 로컬 NVMe SSD와 네트워크(RDMA)로 묶인 클러스터 공유 메모리 풀이 있습니다. HBM에서 밀려나는 블록을 즉시 삭제하는 대신 하위 계층으로 내려보내고(Offload), 같은 접두사를 가진 요청이 다시 들어왔을 때 HBM으로 되가져오는(Prefetch/Load) 구조입니다.
하지만 캐시를 외부 메모리에 저장했다고 해서 무조건 응답이 빨라지는 것은 아닙니다. 하위 계층에서 KV Cache를 읽어 올 때는 PCIe 버스나 네트워크 링크를 통과하는 전송 시간이 걸리기 때문입니다. 오프로드가 재계산보다 유리하려면 다음 손익분기 조건이 성립해야 합니다.
T_transfer(L_hit) = (L_hit × Bytes_token) / BW_effective + T_overhead < T_recompute(L_hit)여기서 L_hit는 캐시에서 적중한 접두사 토큰 길이이고, BW_effective는 호스트-디바이스 간 실효 전송 대역폭입니다. 앞서 본 토큰당 256 KiB 예시에서 16,384토큰(16K) 분량의 KV Cache는 총 4 GiB입니다. 만약 PCIe 5.0 x16 링크에서 제어 오버헤드를 제외한 실효 대역폭을 초당 40 GiB라고 가정하면, 4 GiB를 CPU DRAM에서 HBM으로 순차 복사하는 데는 약 100 ms가 걸립니다. 동일한 16K 토큰을 GPU에서 처음부터 다시 Prefill 연산하는 데 수백 ms에서 수 초가 걸리는 상황이라면 전송이 훨씬 이득입니다.
더구나 최신 엔진들은 4 GiB 전체가 다 올라올 때까지 기다리지 않고, **레이어별 비동기 파이프라이닝(Layer-wise Overlapping)**을 사용합니다. GPU가 i번째 레이어의 연산을 수행하는 동안 DMA 엔진이 백그라운드에서 i+1번째 레이어의 KV 블록을 PCIe를 통해 미리 복사해 두면, 실제 체감되는 전송 지연은 한 단계 더 줄어듭니다.
| 저장 계층 | 주요 연결 통로 | 용량 특성 | 적합한 워크플로와 한계 조건 |
|---|---|---|---|
| GPU HBM | 온패키지 HBM 버스 (수 TB/s) | 수십 GB (매우 협소) | 현재 생성 중인 활성 요청과 수 초 내 재호출되는 최빈도 시스템 프롬프트 보관 |
| Host CPU DRAM | PCIe Gen4/Gen5 또는 CXL (수십 GB/s) | 수백 GB ~ 수 TB | 사용자가 문서를 읽고 후속 질문을 입력하는 수십 초~수 분 단위의 멀티턴 대화 세션 유지 |
| Local NVMe SSD | PCIe 기반 NVMe (수~수십 GB/s) | 수 TB 이상 | 대용량 사내 지식베이스(RAG) 문서 청크나 장시간 휴면 후 재개되는 에이전트 문맥 보관. 단, 짧은 문맥은 디스크 I/O 지연이 재계산보다 느릴 수 있음 |
| 원격 공유 KV 풀 (RDMA) | RoCEv2 / InfiniBand NIC | 클러스터 합산 메모리 | 여러 서빙 노드가 동일 캐시를 공유해야 할 때 사용(Mooncake 아키텍처 등). 고속 RDMA 네트워크가 없으면 네트워크 병목이 지배적임 |
반대로 오프로드가 오히려 성능을 깎아먹는 구간도 분명합니다. 일치하는 접두사 길이가 수백 토큰 수준으로 짧을 때는 GPU에서 바로 행렬 곱을 수행하는 편이 호스트 메모리를 조회하고 DMA 복사를 준비하는 오버헤드보다 빠릅니다. 또한 호스트 CPU 메모리가 포화되어 운영체제 스왑이 일어나거나, PCIe 대역폭이 다른 데이터 전송과 경합하는 상태에서 무분별하게 오프로드를 시도하면 진행 중인 다른 요청의 지연 시간까지 함께 흔들립니다.
멀티 인스턴스 환경에서 라우터가 캐시 위치를 모를 때 벌어지는 일
단일 서버 안에서는 호스트 메모리 오프로드만으로 캐시 재사용률이 크게 오릅니다. 그러나 실제 운영 환경처럼 로드 밸런서 뒤에 4대, 8대의 추론 인스턴스를 띄워 놓고 트래픽을 분산하기 시작하면 새로운 병목이 나타납니다.
가장 단순한 라운드 로빈(Round-Robin)이나 최소 연결(Least-Connections) 라우팅을 생각해 보겠습니다. 사용자 A의 첫 번째 턴 요청이 인스턴스 1로 전달되어 32K 토큰의 KV Cache(8 GiB)가 인스턴스 1의 HBM과 호스트 DRAM에 저장되었습니다. 15초 뒤 사용자 A가 두 번째 턴 질문을 보냈는데, 로드 밸런서가 이번에는 요청을 인스턴스 2로 보냅니다. 인스턴스 2의 메모리에는 사용자 A의 이전 캐시가 전혀 없으므로, 인스턴스 2는 32K 토큰 전체를 처음부터 다시 Prefill 연산하고 똑같은 8 GiB짜리 KV Cache를 자기 메모리에 중복해서 생성합니다.
캐시 위치를 아는 라우터만 앞부분 재계산을 건너뜁니다
인스턴스 1의 HBM에서 밀려난 32K 문맥(8 GiB) KV 블록을 삭제하지 않고 호스트 DRAM에 내려둡니다.
조건별 결과를 함께 읽기
프리픽스 인지 + DRAM 오프로드: 전송 시간(T_transfer)이 32K 전체 재계산 시간(T_recompute)보다 짧아 첫 토큰 응답이 빠르게 시작됩니다.
무상태 라운드 로빈 분산: 똑같은 문맥을 두 번 계산하고 두 노드의 메모리에 동일한 8 GiB 캐시가 중복 저장됩니다.
흐름을 단계별로 살펴보기
- 인스턴스 1의 HBM에서 밀려난 32K 문맥(8 GiB) KV 블록을 삭제하지 않고 호스트 DRAM에 내려둡니다.
- 2턴 요청이 들어오면 라우터가 앞부분 블록 해시를 대조해 기존 캐시를 보유한 인스턴스 1로 보냅니다.
- 레이어별 DMA 복사로 32K 접두사 캐시를 복원하고, 새로 덧붙은 후속 질문 토큰만 Prefill 연산합니다.
- 전송 시간(T_transfer)이 32K 전체 재계산 시간(T_recompute)보다 짧아 첫 토큰 응답이 빠르게 시작됩니다.
이 문제를 풀기 위해 현대 추론 인프라는 두 가지 설계를 결합합니다.
- 프리픽스 인지 라우팅(Prefix/Cache-Aware Routing): 라우터가 요청 앞부분의 토큰 해시(또는 세션 ID)를 계산해, 각 서빙 인스턴스가 보유한 캐시 트리와 대조한 뒤 가장 긴 접두사 적중(Longest Prefix Match)을 가진 인스턴스로 요청을 보냅니다. 다만 특정 인기 문서의 캐시를 가진 인스턴스 한 곳으로만 요청이 몰리면 그 노드의 대기열이 폭발하므로, 라우터는
예상 전송·대기 시간 < 타 노드 재계산 시간이라는 상한선 안에서만 캐시 친화도를 우선하고 임계치를 넘으면 다른 노드로 트래픽을 넘겨야 합니다. - 분리형 공유 KV 저장소(Disaggregated KV Pool): 각 노드의 CPU DRAM, 로컬 SSD, RDMA 네트워크 카드를 클러스터 단위의 공유 KV 캐시 풀로 묶는 방식입니다(USENIX FAST '25의 Mooncake 논문이 대표적인 사례입니다). 이 구조에서는 인스턴스 1이 생성해 내려놓은 KV 블록을 인스턴스 2가 RDMA를 통해 직접 당겨올 수 있으므로, 특정 노드의 연산 대기열이 길 때 다른 유휴 노드로 요청을 돌리면서도 전체 재계산을 피할 수 있습니다.
워크플로 특성에 맞춘 캐시 계층 선택 기준
KV Cache 최적화는 "무조건 더 큰 메모리를 붙인다"는 식으로는 비용 대비 효과를 얻기 어렵습니다. 서비스가 다루는 입력의 길이와 재호출 간격에 따라 어느 계층까지 열어야 할지가 달라집니다.
- 모든 요청이 공유하는 고정 시스템 프롬프트(수천 토큰): 요청 간격이 수 밀리초~수 초 이내로 촘촘하므로, HBM 내부의 기본 블록 프리픽스 캐싱만 활성화해도 축출되기 전에 계속 재사용됩니다.
- 사용자별 멀티턴 대화와 긴 문서 질의응답(수만 토큰, 턴 간격 수십 초~수 분): HBM만으로는 턴 사이에 캐시가 쉽게 밀려납니다. 호스트 CPU DRAM 오프로드를 켜고, 앞단에 프리픽스 인지 라우터를 두어 동일 세션이 같은 노드로 모이게 해야 TTFT 급증을 막을 수 있습니다.
- 수많은 문서를 교차 참조하는 에이전트·배치 RAG 및 다중 노드 스케일아웃: 단일 노드의 DRAM 용량과 라우팅 고정성만으로는 한계가 생깁니다. 이때는 NVMe SSD 계층이나 RDMA 기반의 클러스터 공유 KV 풀을 도입하되, 실제 인터커넥트 대역폭에서 전송 시간이 Prefill 재계산 시간보다 짧은 블록 크기에 대해서만 선택적으로 오프로드를 수행해야 합니다.
결국 긴 문맥 추론의 응답 속도는 GPU 연산기(SM)의 속도만이 아니라, 이미 끝낸 연산 결과를 어느 메모리 계층에 남겨 두고 다음 요청과 어떻게 다시 만나게 할 것인가라는 데이터 배치 설계에서 갈립니다. 이어지는 2편에서는 요청이 없을 때도 HBM을 내려놓지 못하는 모델 가중치와 런타임 컨텍스트 문제를 어떻게 분리해 해결하는지 살펴봅니다.