서버 구축을 넘어 플랫폼까지 지원하기 위해
인프라에서 플랫폼까지 지원 범위를 넓히기 위해 준비한 사내 실습 환경. 단계별 시작점부터 모델 배포, 요청과 관측, 복원 범위를 살펴봅니다.
인프라를 운영하고 원리를 살펴보고.
그 과정을 남기는 기술 노트.
인프라에서 플랫폼까지 지원 범위를 넓히기 위해 준비한 사내 실습 환경. 단계별 시작점부터 모델 배포, 요청과 관측, 복원 범위를 살펴봅니다.
글 읽기32개의 글이 있습니다.
인프라에서 플랫폼까지 지원 범위를 넓히기 위해 준비한 사내 실습 환경. 단계별 시작점부터 모델 배포, 요청과 관측, 복원 범위를 살펴봅니다.
로그인한 사용자가 다른 문서를 요청하면 서버는 무엇을 확인해야 할까요? 문서 소유자와 공유 권한을 기준으로 살펴봅니다.
회사 방화벽을 지나는 패킷에서 사이트 이름은 어디까지 보일까요? 외부 DNS resolver와 직접 TLS 연결을 기준으로 DoT·DoH·ECH의 보호 범위를 살펴봅니다.
이미지의 digest, 서명, 빌드 정보를 확인하고 실제로 배포하는 이미지도 검증한 것과 같은지 살펴봅니다.
서버 이름, 인증서 발급 경로, 앱이 신뢰하는 CA, 유효기간을 하나씩 확인하며 연결이 거부되는 이유를 살펴봅니다.
API 제공자가 허용하는 키와 저장소에 넣은 키, 각 작업자가 실제로 쓰는 키가 다르면 어떤 문제가 생기는지 살펴봅니다.
호스트와 같은 kernel을 쓰면서도 실행 환경을 분리하는 방법을 살펴봅니다. 호스트 파일을 연결하거나 실행 권한을 늘리면 무엇이 달라질까요?
회사 망에서 외부 VPN을 쓰면 네트워크팀과 VPN 사업자는 무엇을 볼까요? IP 주소가 바뀌어도 사이트의 로그인 상태가 유지되는 이유를 살펴봅니다.
정문 로그인을 통과한 뒤에도 우회 경로, 서버 내부 평문 자격증명, 미회수 권한, 끊어진 감사 로그 때문에 내부 시스템이 연쇄적으로 열리는 이유와 통제 경계를 살펴봅니다.
디스크를 분리해 반출할 때 자동 부팅용 키 파일이 어디에 남는지 짚어보고, Clevis와 TPM2로 자동 해제 경로를 옮길 때 달라지는 보호 범위와 부팅 지연을 살펴봅니다.
요청을 나누고 도구와 모델을 고르는 과정. 비용·정확도·p95를 비교하고, 탐색·학습·구성 복원의 조건까지 살펴봅니다.
멀티턴 대화와 긴 문서 추론에서 HBM의 KV Cache가 축출되는 원리를 짚고, CPU DRAM·NVMe 계층 오프로드의 손익분기 조건과 프리픽스 인지 라우팅을 살펴봅니다.
프로세스를 유지한 채 가중치·KV 풀의 GPU 메모리를 반환하는 Sleep/Wake 구조와, 캐시 소실·기상 지연을 감수할 수 있는 교대 배치 조건을 살펴봅니다.
멀티클러스터 분리 이유와 분산 학습에서 선점을 피하는 원인을 짚고, 단일 큐의 앞줄 막힘·기아 현상을 푸는 크기별 분리 큐와 코호트(Cohort) 자원 대여를 살펴봅니다.
동기식 집합 통신의 연쇄 멈춤과 XID 에러 분류 기준을 통해, 코드 버그로 인한 정상 노드 연쇄 격리(Poison Pill)를 막고 하드웨어 결함만 페일오버·자가 치유하는 구조를 살펴봅니다.
소개 사이트에서 기술 블로그까지, AI와 만들고 고친 과정. 원하는 장면을 설명하고 같은 문서로 작업을 잇고, 실제 화면에서 결과를 확인하며 제가 맡은 일을 돌아봅니다.
ClientHello부터 암호화된 응답까지 흐름을 따라가며, HTTPS가 보호하는 범위와 저장한 JSON만으로는 확인할 수 없는 것을 살펴봅니다.
Kubespray와 RKE2의 운영 방식을 비교하고, RKE2·Helm·Rancher를 구성하며 다음 실습으로 넘어가기 전에 확인할 상태를 살펴봅니다.
온프레미스 RKE2에서 control-plane VIP와 워크로드 외부 IP를 구분하고, MetalLB와 NGINX Gateway Fabric으로 Gateway API 기반 진입 경로를 구성합니다.
PV·PVC·StorageClass·CSI의 관계를 살펴보고, NFS CSI Driver로 동적 RWX 볼륨을 만들어 여러 파드가 함께 쓰는 과정을 확인합니다.
Keycloak의 핵심 객체와 SSO의 동작 원리를 살펴보고, OIDC Authorization Code Flow with PKCE를 따라가며 SAML과의 선택 기준을 정리합니다.
Keycloak의 그룹 클레임을 Argo CD RBAC와 AppProject에 연결하고, 팀별로 조회와 동기화가 허용되는 범위를 확인합니다.
메트릭·로그·트레이스가 각각 어떤 질문에 답하는지 살펴보고, OpenTelemetry와 주요 백엔드의 역할을 구분하며 관측 가능한 예제 앱을 만듭니다.
kube-prometheus-stack, Loki 커뮤니티 차트, Fluent Bit Collector를 설치하고 ServiceMonitor·PrometheusRule·LogQL로 애플리케이션 메트릭과 로그의 수집 경로를 확인합니다.
GitLab Pipeline의 실행 조건과 실패 차단을 확인하고, 빌드 결과를 Git 변경으로 Argo CD에 넘기는 역할 구분을 설명합니다.
컨테이너 이미지와 Helm Chart의 저장 방식을 구분하고, Harbor와 GitLab 저장소를 Argo CD에 연결해 확인합니다.
앱 소스 변경이 Harbor 이미지와 배포 저장소를 거쳐 실제 웹 응답에 반영되는 과정을 구성하고, 각 단계의 식별자와 결과를 확인합니다.
Argo CD ApplicationSet과 AppProject로 여러 클러스터를 관리하고, 같은 이미지를 dev에서 stg와 prod로 옮길 때 Git 변경과 Merge Request로 승인하는 과정을 살펴봅니다.
MLflow·Ray·KubeRay·KServe·Knative가 각각 어떤 문제를 풀고, 학습부터 모델 서빙까지 어떻게 연결되는지 설명합니다.
PVC·S3/MinIO·MLflow의 역할을 구분하고, 같은 실험을 다시 확인할 수 있도록 데이터·코드·이미지·Python 의존성·모델을 함께 기록하고 고정하는 방법을 설명합니다.
GitLab CI·Harbor·GitLab Chart Repo·Argo CD의 배포 흐름을 RayJob·MLflow·KServe와 연결하며, 각 단계에서 저장하고 확인할 내용을 살펴봅니다.
src/train.py 변경에서 시작해 rootless 이미지 빌드, Harbor push, GitOps RayJob 학습, MLflow 기록, KServe 서빙으로 이어지는 과정을 실습하고 단계별 결과를 확인합니다.
자료 정리 표시는 외부 자료를 바탕으로 정리한 글입니다. 바탕이 된 자료는 각 글에 표시하며, 직접 수행한 실험과 구분해 기록합니다.