수백 장의 GPU를 운영하는 학습 클러스터 대시보드를 보면 이해하기 어려운 상황이 자주 벌어집니다. 클러스터 전체로 보면 당장 비어 있는 유휴 GPU가 여러 장 보이는데도, 대기열(Queue)에 등록된 작업들이 한 걸음도 나아가지 못하거나 반대로 GPU 8장·16장을 묶어 요청한 대형 분산 학습 작업이 며칠째 시작조차 못 하는 현상입니다.
왜 남는 GPU가 있는데도 작업은 멈춰 서 있을까요? GPU가 여러 클러스터로 나뉘어 있으면 한 작업에 필요한 수량을 단일 장비 풀처럼 모으기 어렵습니다. 같은 클러스터 안에서도 엄격한 도착 순서만 지키면 **앞줄 막힘(Head-of-Line Blocking)**이, 작은 작업의 새치기를 계속 허용하면 **대형 작업 기아(Starvation)**가 발생할 수 있습니다. 모든 단일 큐가 둘 중 하나에 반드시 빠지는 것은 아니지만, 단순 규칙의 한계를 보여 주는 두 경우입니다.
이 병목을 풀려면 왜 GPU 인프라가 여러 클러스터로 나뉠 수밖에 없는지부터 짚고, 실행 중인 학습 작업을 강제로 쫓아내지(Preemption) 않으면서도 소형 작업과 대형 작업이 유휴 GPU를 주고받는 큐 설계 원리를 살펴보아야 합니다. 실행 도중 발생한 GPU 결함을 분류하고 복구하는 과정은 이어지는 2편에서 다룹니다.
GPU 자원이 하나의 거대한 클러스터로 합쳐지지 않는 이유
가장 이상적인 형태는 조직의 모든 GPU 노드를 단일 쿠버네티스(Kubernetes) 클러스터에 넣어 통합 스케줄링하는 것입니다. 그러나 실제 운영 환경에서는 다음과 같은 물리적·운영상의 경계 때문에 클러스터가 여러 개로 나뉩니다.
- GPU 세대와 네트워크 토폴로지의 이질성: NVSwitch와 400 Gbps RDMA(InfiniBand·RoCEv2)로 묶인 H100 학습 전용 노드 그룹과, PCIe 기반으로 구성된 A100·L40S 파인튜닝 및 추론 노드 그룹은 요구하는 디바이스 플러그인, 드라이버 버전, 네트워크 패브릭 설정이 서로 다릅니다.
- 보안·규제 및 테넌트 격리: 민감 데이터를 다루는 내부 연구망 클러스터와 일반 실험용 클러스터는 네트워크 경계와 접근 권한 수준이 달라 물리적·논리적으로 분리되어야 합니다.
- 컨트롤 플레인 장애 반경 분리: 클러스터 하나에 모든 노드를 몰아넣으면 쿠버네티스 버전 업그레이드나 네트워크 플러그인(CNI) 작업 중 발생한 문제가 전사 학습 작업을 동시에 멈추게 합니다.
클러스터가 용도와 기종별로 나뉘어 있을 때 중앙 오케스트레이션 계층이 없으면, 엔지니어는 직접 각 클러스터에 접속해 빈 노드가 있는지 확인하고 매니페스트(YAML)를 수동으로 옮겨 배포해야 합니다. 이를 해결하기 위해 멀티클러스터 구조에서는 **중앙 관리 클러스터(Management Cluster)**가 각 **하위 작업 클러스터(Worker Cluster)**의 가용 GPU 수량과 토폴로지 상태를 실시간으로 수집하고, 사용자가 제출한 작업을 조건에 맞는 하위 클러스터로 자동 전파(Propagation)하는 방식을 취합니다.
분산 학습에서 선점(Preemption)을 쉽게 쓰지 못하는 이유와 단일 대기열의 함정
일반적인 CPU 마이크로서비스나 짧은 배치 작업에서는 대기열이 막히면 우선순위가 높은 작업이 실행 중인 낮은 우선순위 작업을 강제로 종료시키고(Preemption) 자원을 빼앗아 오면 그만입니다. 하지만 대형 언어 모델(LLM)의 분산 학습에서는 이미 돌아가고 있는 작업을 중간에 쫓아내는 비용이 훨씬 큽니다.
분산 학습은 **갱 스케줄링(Gang Scheduling, All-or-Nothing)**으로 동작합니다. GPU 8장을 요청한 작업은 8장이 동시에 올라와야만 AllReduce 집합 통신 링을 맺고 첫 스텝을 밟을 수 있습니다. 만약 실행 중인 학습 작업을 중간에 강제 종료하면 두 가지 손실이 즉각 발생합니다.
- 직전 체크포인트 이후의 연산 증발: 마지막으로 스토리지에 체크포인트를 저장한 시점부터 강제 종료 시점까지 수십 분~수 시간 동안 모든 GPU가 계산한 그래디언트와 옵티마이저 상태가 그대로 버려집니다. 종료 직전에 긴급 체크포인트를 덤프하도록 구현하더라도, 수백 GB의 상태를 스토리지에 쓰는 동안 GPU들은 아무 연산도 하지 못한 채 블로킹됩니다.
- 재시작 초기화 오버헤드: 밀려난 작업이 나중에 다시 GPU를 할당받더라도, 컨테이너 재기동과 NCCL 통신망 재구축, 대용량 체크포인트 재적재를 처음부터 다시 거쳐야 합니다.
이 때문에 학습 클러스터는 가급적 한 번 시작한 작업은 끝날 때까지 건드리지 않고(Non-preemptive), 대기열에서 자원을 배분하는 순서와 구획을 조정해 병목을 푸는 방향을 택합니다. 그런데 선점을 최소화한 상태에서 모든 학습 작업을 **하나의 대기열(Single Queue)**에 넣으면 어떤 일이 벌어질까요? 이해를 돕기 위해 총 16장의 GPU가 있는 클러스터의 설명용 예시를 따라가 보겠습니다. 현재 실행 중인 작업들이 12장의 GPU를 사용 중이고, 4장의 GPU가 비어 있는 상태입니다. 이때 대기열에는 다음 순서로 작업이 줄을 서 있습니다.
- 1순위 도착:
작업 A— GPU 8장 필요 (대형 분산 학습) - 2순위 도착:
작업 B— GPU 2장 필요 (소형 실험) - 3순위 도착:
작업 C— GPU 2장 필요 (소형 평가)
이 상황에서 스케줄러가 택할 수 있는 단순 규칙 두 가지는 각각 정반대의 장애를 만듭니다.
| 스케줄링 규칙 | 유휴 GPU 4장이 있을 때의 동작 | 발생하는 구조적 문제 |
|---|---|---|
| 엄격한 선입선출 (Strict FIFO) | 맨 앞의 작업 A(8장 필요)가 시작될 때까지 뒤따르는 작업 B(2장), 작업 C(2장)의 진입을 막음 |
앞줄 막힘(Head-of-Line Blocking): 당장 작업 B와 C를 돌릴 수 있는 GPU 4장이 아무 일도 하지 않고 놀게 됨 |
| 소형 작업 우선 / 무제한 새치기 (Small-Job-First) | 노는 GPU 4장을 놀리지 않기 위해 뒤쪽의 작업 B(2장)와 작업 C(2장)를 먼저 투입함 |
대형 작업 기아(Starvation): 기존 작업이 끝나 GPU가 2장, 4장씩 비더라도 새로 들어오는 소형 작업들이 그때그때 빈자리를 채워 버려, 8장이 동시에 비는 순간이 영영 오지 않음 |
첫 번째 방식(FIFO)을 쓰면 대형 작업 하나가 자기 몫의 GPU가 모일 때까지 클러스터의 남은 조각 GPU들을 인질로 잡아 가동률을 떨어뜨립니다. 그렇다고 두 번째 방식(소형 우선)으로 조각 GPU를 소형 작업에 계속 내어주면, GPU가 1~2장씩 순차적으로 반환될 때마다 소형 작업들이 빈자리를 즉각 가로채 버려 8장을 동시에 묶어야 하는 작업 A는 끝없이 밀려납니다.
크기별 대기열 분리와 코호트(Cohort) 자원 대여
이 두 문제를 줄이는 한 가지 방법은 **작업이 요구하는 GPU 규모에 따라 대기열을 분리(Heavy Queue / Light Queue)**하고, 각 대기열에 기본 할당량(nominalQuota)을 나눈 뒤 서로 쓰지 않는 할당량을 빌려 쓰는 구조를 만드는 것입니다. Kueue의 ClusterQueue 설계와 Cohort 자원 공유 모델을 통해 이 배분을 표현할 수 있습니다. 아래는 Heavy와 Light에 각각 8 GPU를 배정하고, 대기 중인 대형 작업도 8 GPU를 요청하는 예입니다. 기존 작업은 유한한 시간 안에 끝나고, 필요한 GPU 기종·토폴로지는 충족된다고 가정합니다.
그림의 분리 큐 조건에서는 기존 작업이 Heavy의 8장과 Light의 4장을 사용하고 있습니다. 소형 작업 B·C는 Light의 남은 4장에서 먼저 시작하고, 작업 A는 기존 Heavy 작업이 끝나 반환한 8장을 사용합니다. 이 그림은 기본 할당량 분리를 설명하며, 아래 본문의 대여·회수 예제와는 초기 점유 상태가 다릅니다. FIFO와 소형 우선 조건은 각각 앞줄이 막힌 구간과 작은 작업이 계속 유입되는 구간을 보여 주며, 재생 길이를 실제 대기 시간 비교로 해석해서는 안 됩니다.
큐마다 몫을 나누면 소형 작업과 8 GPU 작업이 어떻게 진입할까요?
기존 Heavy 작업이 8장, Light 작업이 4장을 쓰는 예입니다. A(8장)와 B·C(각 2장)는 각 큐에서 대기합니다.
조건별 결과를 함께 읽기
Heavy·Light 기본 할당량 분리: 기존 작업이 끝나 기본 할당량 8장을 확보한 예입니다. 이를 넘는 작업은 추가 대여나 다른 배분 정책이 필요합니다.
단일 큐 · Strict FIFO: 남는 GPU가 눈앞에 있는데도 소형 실험조차 돌리지 못해 클러스터 활용률이 떨어집니다.
단일 큐 · 소형 작업 우선: 클러스터 가동률 숫자는 높지만 정작 중요한 대형 분산 학습은 영영 시작되지 못합니다.
흐름을 단계별로 살펴보기
- 기존 Heavy 작업이 8장, Light 작업이 4장을 쓰는 예입니다. A(8장)와 B·C(각 2장)는 각 큐에서 대기합니다.
- Heavy 큐의 작업 A가 대기 중이어도 작업 B·C는 Light 큐의 유휴 4 GPU 위에서 막힘없이 돌아갑니다.
- 기존 Heavy 작업이 끝나 8장이 반환됩니다. 이 장면은 대여분 회수가 아니라 자기 큐의 종료분을 확보한 경우입니다.
- 기존 작업이 끝나 기본 할당량 8장을 확보한 예입니다. 이를 넘는 작업은 추가 대여나 다른 배분 정책이 필요합니다.
앞서 본 16 GPU 클러스터를 두 개의 큐로 나누어 보겠습니다.
기본 보장 구획(
nominalQuota) 분리:heavy-queue(이 예에서는 8 GPU를 요청하는 작업): 기본 할당량 8 GPUlight-queue(소형 작업 전용, 예: 1~4 GPU 요청): 기본 할당량 8 GPU 이렇게 나누면heavy-queue의 8장짜리 작업이 대기하더라도, 소형 작업은light-queue의 가용 할당량 안에서 먼저 시작할 수 있습니다. 대형 작업이 자기 기본 할당량 안에 들어오므로, 뒤에서 설명할 대여 제어로 그 몫을 모을 수 있습니다. 다만 Heavy의 기본 할당량이 8장인데 작업 하나가 16장을 요구한다면 이야기가 달라집니다. 추가 8장을 빌릴 수 있는 설정과 다른 큐의 여유가 필요하며, 큐를 나눴다는 이유만으로 기아 방지가 보장되지는 않습니다.
코호트(
Cohort) 기반 동적 대여와 회수: 큐를 고정 비율로만 쪼개 놓으면heavy-queue에 대기 중인 대형 작업이 하나도 없을 때 8장이 그대로 놀게 됩니다. 이를 막기 위해 두 큐를 하나의 공유 그룹(Cohort)으로 묶고 대여 상한(borrowingLimit)을 열어 줍니다.
아래는 Kueue v0.13.0의 v1beta1 스키마를 기준으로 한 Light 큐 설정 예입니다. 같은 Cohort에 8 GPU를 가진 Heavy 큐와 h100-80gb ResourceFlavor가 있고, 작업을 이 큐로 연결하는 LocalQueue가 별도로 준비됐다고 가정합니다. 클러스터 전체를 구성하는 완성 매니페스트는 아닙니다.
apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
name: light-queue
spec:
namespaceSelector: {} # 이 예에서는 모든 네임스페이스의 작업 허용
cohort: training-gpu-pool
resourceGroups:
- coveredResources: ['nvidia.com/gpu']
flavors:
- name: h100-80gb
resources:
- name: 'nvidia.com/gpu'
nominalQuota: 8
borrowingLimit: 8namespaceSelector: {}는 모든 네임스페이스를 허용한다는 뜻입니다. 실제 운영에서는 허용할 네임스페이스 라벨을 선택할 수 있습니다. 이 스키마에서는 필드를 생략하면 어떤 네임스페이스도 선택하지 않으므로, LocalQueue를 연결해도 작업이 승인되지 않습니다.
평소에 대형 작업이 없고 대여가 허용되면 light-queue는 자신의 기본 8장에 더해 Heavy의 유휴 8장까지 빌려 총 16장을 사용할 수 있습니다. Heavy에 자기 기본 할당량 안의 8장짜리 작업이 도착하면, Kueue는 그 작업의 할당량을 우선 확보하며 Light의 추가 대여가 이를 다시 잠식하지 않도록 합니다. 이미 실행 중인 작업을 선점하지 않는 정책에서는 짧은 소형 작업이 끝나 대여분을 반환할 때까지 기다립니다. 필요한 8장이 모이고 배치 조건이 충족되면 대형 작업을 시작합니다. 따라서 기다리는 시간은 기존 작업의 잔여 실행 시간에도 달려 있습니다.
클러스터와 큐를 나눌 때 확인해야 할 설계 변수
빈 GPU가 노는 일과 대형 작업이 굶는 일을 모두 막으려면, 스케줄러 설정 전에 워크로드 분포부터 숫자로 확인해야 합니다.
- 대형/소형 분기 기준선(Threshold) 설정: 노드 1대 내부의 GPU 수(예: 8장)를 기준으로 삼는 경우가 가장 자연스럽습니다. 1~4장을 쓰는 단일 노드 이하 실험·파인튜닝 작업은
light-queue로, 노드 전체(8장)나 다중 노드 RDMA 통신이 필요한 작업은heavy-queue로 분리하면 토폴로지 단편화까지 함께 줄일 수 있습니다. light-queue작업의 최대 실행 시간 통제: 선점(Preemption)을 쓰지 않고 빌려 간 자원을 자연 회수하려면,light-queue에서 돌아가는 소형 작업들이 예측 가능한 시간 안에 끝나 주어야 합니다. 만약 소형 큐에 들어온 작업이 GPU 2장을 빌려 간 채 며칠씩 종료되지 않으면heavy-queue의 자원 회수도 그만큼 지연되므로, 소형 큐에는 최대 실행 시간 제한(Timeout)을 함께 걸거나 대여분(borrowed) 위에서 도는 작업에 한해서만 제한적 선점을 허용하는 타협안이 필요합니다.- 멀티클러스터 전파 조건: 중앙 관리 클러스터가 작업을 하위 클러스터로 내려보낼 때는 단순한 총 유휴 GPU 수만이 아니라, 해당 클러스터의
heavy-queue안에서 연속된 노드·NVLink 토폴로지로 묶일 수 있는 실제 가용 구획이 있는지를 기준으로 배치해야 합니다.
이렇게 대기열 병목을 풀고 대형 학습 작업을 클러스터에 올렸다면, 다음 과제는 실행 도중 터지는 하드웨어 결함으로부터 학습 상태를 지키는 일입니다. 이어지는 GPU 한 장이 멈췄는데 왜 전체 학습이 멈추고, 어떤 오류는 노드를 옮기면 안 될까요?에서 XID 오류 분류와 자동 장애 복구 설계를 살펴봅니다.