[디지털 뱃지] 일일 스터디 Day 10

[디지털 뱃지] 일일 스터디 Day 10

General(Health Check) & AI/Big Data(In-Memory) 핵심 돌파

1. 오늘의 핵심 이론 설명

General Engineering - Infrastructure

인프라 가용성 보장을 위한 헬스 체크(Health Check)와 프롭(Probe) 메커니즘

로드밸런서 및 클라우드 오케스트레이터가 가상 노드나 컨테이너의 이상 여부를 실시간으로 감지하고 트래픽을 제어하는 필수 인프라 기초입니다.

• 헬스 체크 프로토콜 레이어: 대상 시스템의 활성화 여부를 점검하는 방식으로 L3/L4 레벨의 **ICMP(Ping) 및 TCP Handshake 방식**과, L7 레벨의 **HTTP 상태 코드 검사 방식**이 있습니다. 단순히 포트만 열려 있는지 체크하는 L4 방식보다, 실제 비즈니스 로직 및 DB 연동 정상 여부를 애플리케이션 엔드포인트(예: /healthz)로 확인하는 L7 방식이 가용성 판단에 훨씬 정교합니다.
• 오케스트레이션 프롭(Probe) 분류:
  - Liveness Probe (활성 프로브): 컨테이너나 가상 머신 내부의 데드락(Deadlock) 등 뇌사 상태를 감지합니다. 이 검사가 실패하면 인프라 관리 장치가 해당 인스턴스를 무조건 **강제 재시작(Restart)** 시킵니다.
  - Readiness Probe (준비성 프로브): 애플리케이션 초기화, 대용량 설정 로드 등으로 인해 아직 클라이언트의 트래픽을 받을 준비가 되었는지 검사합니다. 실패 시 인스턴스를 죽이지 않고, 로드밸런서 라우팅 대상에서 **제외(Isolate)** 시켜 요청이 유실되는 것을 막습니다.

AI Engineering - Big Data

인메모리(In-Memory) 분산 데이터 엔진, Apache Spark와 RDD 구조

어제 학습한 MapReduce의 디스크 I/O 한계를 극복하고, 대규모 대화형 질의 및 AI 모델의 반복 연산을 초고속으로 처리하기 위한 표준 빅데이터 아키텍처입니다.

• 인메모리(In-Memory) 컴퓨팅 사상: MapReduce는 중간 연산 결과를 물리 디스크에 저장(HDFS I/O)하므로 속도가 느렸습니다. 반면 Spark는 분산 클러스터의 **주기억장치(RAM)에 중간 데이터를 유지**하며 연산하므로 데이터 처리 속도가 최대 100배 이상 비약적으로 향상되었습니다.
• RDD(Resilient Distributed Dataset)의 개념: 탄력적이고 복원 가능한 분산 데이터셋으로, Spark 핵심 추상화 레이어입니다.
  - 불변성(Immutable): 한 번 생성된 RDD는 수정할 수 없으며, 오직 새로운 변환을 통해서만 새 RDD가 생성됩니다.
  - 계보(Lineage)를 통한 복원: 데이터를 물리적으로 복제해 두는 대신, 데이터가 만들어진 '연산 이력 그래프(DAG)'를 메모리에 기억합니다. 특정 분산 노드가 다운되어 데이터가 유실되더라도 이 계보를 추적해 똑같이 다시 계산(Recompute)하여 데이터를 완벽히 복원해 냅니다.
• Lazy Evaluation (지연 연산): Transformation(맵, 필터 등) 명령을 내릴 때는 실제 물리 연산을 즉시 수행하지 않고 리니지 그래프만 그리다가, 최종 결과를 수집하거나 출력하는 Action(카운트, 세이브 등) 명령이 떨어지는 순간 최적화된 경로로 한 번에 연산하는 효율적 아키텍처입니다.

---

2. 디지털 뱃지 레벨 1~2 예상 문제집

Q1. 클라우드 인프라의 상태 검사(Health Check) 체계 중, 컨테이너나 가상머신 내부가 비정상적인 데드락 상태에 빠졌는지를 감지하고, 검사 실패 시 시스템을 자동으로 재생성(Restart) 시키는 프롭(Probe)의 명칭은?

1) Startup Probe
2) Readiness Probe
3) Liveness Probe
4) Connection Probe

정답 및 해설 보기

정답: 3) Liveness Probe
해설: Liveness Probe는 애플리케이션이 살아있는지(Liveness) 점검하는 역할을 합니다. 만약 이 프롭이 실패한다는 것은 프로세스가 복구 불가능한 무한 루프나 데드락에 빠졌음을 뜻하므로 컨테이너를 강제 재시작하여 자가 치유(Self-healing)를 유도합니다. 트래픽 인바운드 차단만 수행하는 것은 Readiness Probe입니다.

Q2. 대규모 데이터 처리를 위한 Apache Spark의 기본 데이터 구조인 RDD(Resilient Distributed Dataset)의 특징에 대한 설명으로 가장 거리가 먼 것은?

1) 분산 클러스터 메모리에 데이터를 올려 두고 다이렉트로 접근하므로 연산 속도가 매우 신속하다.
2) 한 번 생성된 RDD 데이터는 불변성(Immutable) 특성을 가지므로 내부 요소를 직접 수정할 수 없다.
3) Transformation 연산자가 호출될 때마다 즉각 물리 디스크 하드웨어에 연산 결과를 매번 동기식으로 기록한다.
4) 데이터 유실 시 물리적 백업본이 없더라도, 연산 과정을 기록한 리니지(Lineage) 그래프를 기반으로 유실된 데이터를 재구성할 수 있다.

정답 및 해설 보기

정답: 3)
해설: Spark의 RDD 연산은 지연 연산(Lazy Evaluation) 방식으로 작동합니다. Transformation 연산이 호출될 때는 논리적인 계보(Lineage) 그래프만 누적하여 구축하고, 실제 최종 가공 아웃풋을 요구하는 Action 연산이 실행되는 시점에 비로소 최적화된 물리 연산을 일괄적으로 수행합니다.

---

💡 신기술 추가 지식 : 가상화 인프라 마이그레이션과 지능형 헬스 오케스트레이션

최근 프라이빗 클라우드 및 멀티/하이브리드 솔루션 환경(오케스트로 인프라 구성 등)에서는 단순한 웹 요청 정상 여부 검사를 뛰어넘는 하드웨어 및 시스템 저수준(Kernel/IO)의 결함 탐지 헬스 체킹 기술이 중요해지고 있습니다. 예컨대, 가상화 마이그레이션(P2V/V2V) 툴이나 고속 네트워크 소켓 복제 스트림이 구동될 때 하부 가상 가속 드라이버 수준에서 지연 속도가 임계치를 넘거나 디스크 I/O 쓰기 정합성이 흐트러지는 미세 징후를 실시간 프롭 장치로 캐치해 내는 메커니즘입니다. 이를 통해 서비스 완전 중단 전에 오케스트레이터가 가상 노드를 안전한 물리 호스트 장비로 미리 라이브 마이그레이션(Live Migration) 시켜 무중단 지속성을 극한으로 끌어올리는 인텔리전트 가용성 아키텍처가 최신 엔지니어링 생태계의 화두입니다.