수백 장의 GPU를 묶어 대형 언어 모델(LLM)을 학습시킬 때 가장 두려운 순간은 새벽 시간대에 찾아옵니다. GPU 128장 중 단 한 장에서 메모리 오류나 통신 멈춤이 발생했는데, 나머지 127장의 멀쩡한 GPU까지 아무런 진전 없이 대기 상태에 빠져 아침까지 막대한 연산 시간을 허비하는 상황입니다.
규모가 커질수록 중단에 대응하는 비용도 커집니다. 메타(Meta)의 Llama 3 학습 보고서는 최대 약 16,000장의 H100 GPU를 사용한 405B 모델 사전학습 중 54일의 관찰 구간에서 예기치 않은 중단 419회를 기록했습니다. 평균 약 3시간마다 한 번꼴이며, 보고서는 GPU 관련 문제를 예기치 않은 중단의 58.7%로 분류합니다. 이는 전체 학습 기간이나 다른 클러스터의 고장률을 뜻하지 않습니다.
사람이 매번 알람을 보고 고장 난 노드를 찾아내 수동으로 재배포해서는 클러스터를 온전히 돌릴 수 없습니다. 그렇다고 "오류가 나면 무조건 해당 노드를 격리하고 새 노드로 작업을 옮겨 재시작한다"는 단순 규칙을 적용하면, 이번에는 잘못 짜인 학습 코드 하나가 클러스터 전체의 정상 노드를 차례대로 격리시켜 버리는 대형 사고가 터집니다. 앞선 1편에서 대기열 분리와 자원 대여를 살펴보았다면, 이번 글에서는 왜 GPU 한 장이 전체 작업을 멈추게 하는지, 그리고 감지된 오류를 어떤 기준으로 분류해 서로 다른 복구 경로로 보내야 하는지 정의합니다.
동기식 분산 학습의 연쇄 멈춤과 장애의 세 가지 얼굴
대규모 분산 학습은 매 스텝(Step)마다 모든 GPU가 계산한 그래디언트나 활성화 값을 서로 맞추는 집합 통신(Collective Communication, 예: AllReduce, AllGather) 위에서 돌아갑니다. 모든 참여 프로세스(Rank)가 통신 장벽(Barrier)에 도착해야만 다음 스텝으로 넘어갈 수 있는 강결합 구조입니다. 따라서 GPU 한 장이나 네트워크 링크 하나에 문제가 생기면 그 노드만 느려지는 것이 아니라 작업 전체가 함께 묶입니다.
현장에서 마주치는 GPU 장애는 로그가 남는 방식에 따라 크게 세 가지 형태로 나뉩니다.
- 명시적 하드웨어·드라이버 폴트(Explicit Faults): GPU 드라이버나 하드웨어 컨트롤러가 이상을 감지해 리눅스 커널 로그(
dmesg)에 NVIDIA XID 에러 코드를 남기거나, DCGM(Data Center GPU Manager) 텔레메트리에 치명적 알림을 발생시키는 경우입니다. - 조용한 멈춤과 속도 저하(Hang / Straggler): 프로세스가 즉시 죽지도 않고 XID 에러도 뱉지 않은 채 특정 GPU나 RDMA 네트워크 카드가 응답을 멈추는 현상입니다. 이때 나머지 정상 GPU들은 통신 커널(
ncclKernel) 안에서 응답 없는 동료를 기다리며 GPU 사용률(Utilization) 100%로 공회전하다가, 수십 분 뒤 프레임워크의 워치독 타임아웃이 터져서야 비로소 멈춥니다. - 조용한 데이터 오염(Silent Data Corruption, SDC): 하드웨어 연산기가 아무런 에러 코드 없이 잘못된 부동소수점 값이나
NaN을 만들어 내는 경우입니다. 즉시 차단하지 않으면 오염된 그래디언트가AllReduce를 타고 전체 노드로 퍼져 나가 멀쩡하던 체크포인트까지 덮어쓰게 됩니다.
결국 장애 감지 계층은 커널의 XID 이벤트만 기다려서는 부족합니다. 하드웨어 텔레메트리(ECC 카운터, NVLink 에러, 온도·전력)와 프레임워크 수준의 스텝 진행 시간(Step Time), 손실값(Loss / NaN 여부)을 함께 교차 감시해야 세 가지 장애를 모두 잡아낼 수 있습니다.
왜 어떤 XID 에러는 노드를 옮기면 클러스터 전체가 마비될까요?
장애를 감지한 뒤 오케스트레이터가 내려야 할 가장 중요한 결정은 **"이 오류가 하드웨어 노드의 잘못인가, 아니면 실행 중인 사용자 코드의 잘못인가"**를 가려내는 일입니다.
만약 자동 복구 시스템이 모든 비정상 종료와 XID 에러를 기계적으로 '하드웨어 결함'으로 간주해 현 노드 격리(Cordon) → 새 노드 할당 → 작업 재실행 절차를 밟는다고 가정해 보겠습니다. 이때 한 연구자가 배열 범위를 벗어난 메모리 참조(Out-of-bounds access)나 잘못된 포인터 연산이 들어 있는 커스텀 CUDA 커널을 제출했습니다.
NVIDIA 공식 XID 카탈로그에서 **XID 31(GPU memory page fault)**은 MMU가 감지한 주소 접근 오류이고, **XID 13(Graphics Engine Exception)**은 배열 범위 이탈이나 잘못된 명령 등으로 발생할 수 있는 예외입니다. 둘 다 애플리케이션 버그가 흔한 원인이지만 드라이버나 하드웨어 문제로도 나타납니다. **XID 43**은 소프트웨어 유발 폴트로 애플리케이션이 종료되는 경우를 가리킵니다. 따라서 NVRM: Xid라는 로그 형식이나 번호 하나만으로 하드웨어의 정상·고장을 확정해서는 안 됩니다.
아래 그림은 노드 1의 XID 31이 코드 버그로 확인되었고, 노드 2의 ECC 오류는 격리가 필요한 것으로 판정된 설명용 사례입니다. 코드 원인이 미확인인 경우까지 같은 결론을 적용하지 않습니다. 노드 2는 리셋과 진단을 마친 뒤 복귀 조건을 충족한 경우만 보여 줍니다.
하드웨어 결함과 코드 버그를 구분해야 정상 노드 연쇄 격리를 막습니다
XID와 재발 패턴·진단 결과를 함께 봅니다. 이 예에서는 노드 1은 코드 버그, 노드 2는 격리가 필요한 ECC 오류로 확인됩니다.
조건별 결과를 함께 읽기
원인 확인 후 분류 복구: 이 예에서는 노드 2의 리매핑 상태와 진단 결과가 복귀 기준을 충족했습니다. Cordon을 해제해 다시 배치 가능한 풀에 넣습니다.
원인 구분 없는 무조건 노드 교체: 잘못된 작업 하나가 클러스터의 정상 GPU 노드들을 연쇄 격리시켜 가용 자원을 마비시킵니다.
흐름을 단계별로 살펴보기
- XID와 재발 패턴·진단 결과를 함께 봅니다. 이 예에서는 노드 1은 코드 버그, 노드 2는 격리가 필요한 ECC 오류로 확인됩니다.
- 노드 1은 코드의 잘못된 주소 접근이 원인으로 확인된 사례입니다. 작업을 중단하고 정상 노드로 반복 이동시키지 않습니다.
- 노드 2의 ECC 오류는 격리가 필요하다고 판정되었습니다. 새 배치를 막고 작업을 정리한 뒤 노드 3에서 체크포인트를 읽어 재개합니다.
- 필요한 리셋 후 리매핑 pending/failure와 장치·링크 진단 결과를 확인합니다. XID 63만으로 복귀를 결정하지 않습니다.
- 이 예에서는 노드 2의 리매핑 상태와 진단 결과가 복귀 기준을 충족했습니다. Cordon을 해제해 다시 배치 가능한 풀에 넣습니다.
코드 버그로 확인된 이 상황에서 자동 복구기가 XID 31을 노드 고장으로 오판하면 다음과 같은 연쇄 격리가 일어납니다.
노드 1에서 코드가 죽자 복구기가 멀쩡한노드 1을 고장 노드로 찍어 격리(Cordon)하고, 작업을 예비 장비인노드 2로 옮깁니다.- 동일한 버그를 품은 코드는 몇 분 뒤
노드 2에서도 똑같이XID 31을 터뜨리고 죽습니다. - 복구기는
노드 2마저 격리하고 작업을노드 3,노드 4로 계속 옮깁니다.
잘못된 작업 하나 때문에 정상 GPU 노드까지 스케줄링에서 제외되어 예비 자원이 고갈될 수 있습니다. 이를 막으려면 오류를 다음과 같이 우선 분류한 뒤, 함께 발생한 이벤트와 진단 결과에 따라 복구 경로를 정해야 합니다. 아래 표는 운영 정책의 예시이며, XID 번호만으로 원인과 조치를 확정하는 규칙은 아닙니다.
| 우선 조사 범주 | 대표적인 감지 신호 | 확인할 사항 | 복구 정책의 예 |
|---|---|---|---|
| 1. 사용자 코드·설정 원인 조사 | XID 13, XID 31, XID 43, CUDA OOM, 파이썬·데이터 로더 예외 |
코드·입력·메모리 요구량, 동일 GPU의 재발 여부, 드라이버·하드웨어 진단 | 코드 버그로 확인되면 무분별한 재배치를 중단하고 작업을 실패 처리한 뒤 cuda-gdb나 Compute Sanitizer로 수정 지점을 확인 |
| 2. 영향이 제한된 오류 | XID 94(Contained Memory Error), 일시적 네트워크 장애 |
다른 작업의 영향, 드라이버가 요구하는 복구 조치, 리매핑 대기 여부 | 영향받은 애플리케이션을 재시작하고 필요 시 GPU 리셋을 계획한 뒤 체크포인트 재개 |
| 3. 장치 복구·격리 필요성 조사 | XID 48(교정 불가 ECC), XID 64(리매핑 항목 기록 실패), 반복되는 XID 74, XID 79(버스 이탈), XID 95(Uncontained Memory Error) |
GPU 세대, 동반 XID, 복구 상태와 반복 여부에 따른 NVIDIA 지침 | 격리가 필요하면 새 배치를 막고 작업을 정리한 뒤, 건전한 예비 노드에서 체크포인트 재개. 기존 장치는 리셋·재부팅·진단 결과에 따라 복귀 또는 수리 |
재시도에는 작업별 상한을 두어 동일한 실패가 여러 노드로 퍼지지 않게 합니다. 동시에 같은 GPU에서 오류가 반복되는지, 정상 동작이 확인된 애플리케이션에서도 발생하는지, 하드웨어 진단에서 이상이 보이는지를 조사합니다. 서로 다른 작업에서 같은 GPU에 오류가 반복되는 것은 유용한 교차 검증 신호지만, 하드웨어 조사를 시작하기 위한 필수조건은 아닙니다.
격리된 노드의 자가 치유(Self-Healing)와 체크포인트 이어달리기의 전제 조건
치명적 하드웨어 오류(XID 48, 79, 95 등)로 노드를 격리하고 학습 작업을 다른 노드로 무사히 옮겼더라도, 운영 파이프라인에는 두 가지 숙제가 남습니다. 격리된 노드를 어떻게 다시 살려낼 것인가와 옮겨 간 작업이 어디서부터 어떻게 이어 달릴 것인가입니다.
수백 대의 노드가 돌아가는 클러스터에서 한 번 Cordon된 노드를 관리자가 일일이 수동 점검할 수는 없습니다. 일시적인 버스 오류나 GPU 리셋으로 해결될 수 있는 문제까지 방치하면 클러스터의 예비 노드 풀이 금세 바닥납니다. 이를 자동화한 자가 치유 루프는 격리된 노드에서 학습 파드가 빠져나간 직후 백그라운드 진단 작업을 실행합니다.
다음은 복구 절차의 개요입니다. Cordon은 새 배치를 막을 뿐 기존 프로세스를 종료하지 않으므로, 리셋 전에 해당 GPU를 사용하는 작업이 모두 정리됐는지 확인해야 합니다.
[노드 Cordon 및 GPU 사용 작업 정리 완료]
-> 해당 GPU·연결 구성에서 지원하는 리셋 또는 노드 재부팅
-> 리매핑 pending/failure, PCIe/NVLink 상태 및 하드웨어 진단 결과 확인
-> [복귀 기준 충족] Uncordon하여 가용 자원 풀로 복귀
-> [미충족] 격리 유지, 원인 조사 및 필요 시 수리/RMA 절차NVIDIA Ampere 이후 GPU의 **행 리매핑(Row Remapping)**은 결함이 있는 메모리 행을 여분의 행으로 대체하는 기능입니다. NVIDIA의 상태값 설명에서 XID 63은 리매핑 항목을 InfoROM에 기록한 성공 이벤트, XID 64는 그 기록의 실패를 뜻합니다. XID 63 자체가 애플리케이션 재시작을 요구하는 오류이거나 하드웨어 복구 완료 표시는 아닙니다.
실제 리매핑은 GPU 리셋 후 적용됩니다. 리셋 이후에는 row remapping pending과 failure, 장치·링크 상태 및 진단 결과를 함께 확인해야 합니다. 운영 정책이 정한 복귀 기준을 충족하면 자동으로 Uncordon할 수 있고, 충족하지 못하면 격리를 유지한 채 원인을 조사합니다. 코드 하나의 발생·소실만으로 복귀나 장비 교체를 결정하지 않습니다.
한편 다른 노드로 옮겨 간 학습 작업이 처음부터 다시 시작하지 않으려면 체크포인트(Checkpoint) 접근성이 보장되어야 합니다.
- 동일 클러스터 내 노드 교체: 모든 학습 노드가 고성능 병렬 파일시스템이나 공유 스토리지를 마운트하고 있어야 새로 투입된 노드가 직전 스텝의 체크포인트를 즉시 읽어들일 수 있습니다.
- 멀티클러스터 간 페일오버: 만약 현재 클러스터에 8장·16장을 동시에 내어줄 예비 노드가 없어 1편에서 살펴본 중앙 관리 클러스터가 작업을 **다른 클러스터로 재배치(Re-dispatch)**한다면, 체크포인트 역시 클러스터 간에 공유되거나 복제되는 오브젝트 스토리지 계층에 올라가 있어야 합니다.
- 오염된 체크포인트 덮어쓰기 방지: 조용한 데이터 오염(SDC)이나 통신 깨짐 직후에 만들어진
NaN상태가 정상 체크포인트를 덮어쓰지 않도록, 체크포인트 저장 직전에 손실값(Loss)과 그래디언트 노름(Norm)의 유효성을 먼저 검증하고 최소 2개 이상의 이전 버전을 롤링 보관해야 합니다.
멈추지 않는 학습 인프라를 만드는 세 가지 연결 고리
1편과 2편에 걸쳐 살펴본 멀티클러스터 GPU 운영의 핵심은 결국 세 가지 제어 루프를 하나로 묶는 일입니다.
- 진입 단계의 큐 분리와 대여(1편): 대형 학습 작업과 소형 작업을 분리된 큐(
ClusterQueue)에 배치해 앞줄 막힘과 기아 현상을 막고, 유휴 시간에는 코호트(Cohort) 대여로 GPU 가동률을 끌어올립니다. - 실행 단계의 오류 조사(2편): XID 코드와 스텝 진행 상태, 재발 패턴과 진단 결과를 함께 보고 코드·설정 문제와 장치 복구가 필요한 상황을 구별합니다. 원인이 확인된 버그 작업은 재배치를 중단해 정상 노드의 연쇄 격리를 막습니다.
- 복구 단계의 체크포인트 이어달리기와 자가 치유(2편): 격리가 필요한 장치는 작업을 정리한 뒤 복구하고, 체크포인트로 다른 노드에서 학습을 재개합니다. 기존 장치는 리매핑 상태와 진단 결과가 복귀 기준을 충족할 때 다시 배치 대상에 넣습니다.
대규모 GPU 클러스터의 안정성은 "고장이 나지 않는 하드웨어"에서 나오는 것이 아니라, 언제든 고장 날 수 있는 부품 위에서 오류의 책임을 정확히 가려내고 학습 상태를 잃지 않는 소프트웨어 복구 루프에서 결정됩니다.