[디지털 뱃지] 일일 스터디 Day 15

[디지털 뱃지] 일일 스터디 Day 15

General(Storage Architecture) & AI/Deep Learning(Transformer) 핵심 돌파

1. 오늘의 핵심 이론 설명

General Engineering - Infrastructure/Storage

클라우드 가상화 스토리지 3대 유형 (DAS, NAS, SAN) 구조 분석

가상머신(VM) 및 컨테이너 인프라가 원천 데이터를 영구 저장하고 고속으로 액세스하기 위해 활용하는 가상 스토리지 아키텍처 아키텍처의 필수 기초입니다.

• DAS (Direct Attached Storage): 네트워크 스위치를 거치지 않고 서버 호스트에 고유 디스크 볼륨을 물리 케이블로 다이렉트 연결하는 방식입니다. 속도가 매우 민첩하고 구성이 단순하여 단일 로컬 입출력 성능이 뛰어나지만, 다른 물리 서버와 스토리지 자원을 동적으로 공유하거나 확장하기가 불가능합니다.
• NAS (Network Attached Storage): 표준 LAN(이더넷) 네트워크를 통해 여러 서버가 공통 파일 시스템에 접근하는 공유 파일(File-level) 스토리지 방식입니다. NFS, SMB/CIFS 프로토콜을 사용하며, 다중 인스턴스 간 데이터 공유 및 동기화가 매우 유연하여 웹 아티팩트 공유 서버 등에 유용하지만 이더넷 대역폭 부하 시 성능 저하가 동반됩니다.
• SAN (Storage Area Network): 서버와 스토리지 장치 사이에 고속의 독립된 사설 네트워크(Fibre Channel 스위치 등)를 구축하여, 원격 볼륨을 마치 내 로컬 디스크처럼 다이렉트 인식시키는 블록(Block-level) 기반 스토리지 방식입니다. 가상화 하이퍼바이저 환경에서 고성능 대형 가상 디스크(VMDK 등)를 쪼개어 다중 VM에 유연하게 맵핑하고 실시간 라이브 마이그레이션(Live Migration)을 수행할 때 필수 인프라로 쓰입니다.

AI Engineering - Deep Learning

현대 생성형 AI의 핵심, 트랜스포머(Transformer)와 어텐션(Attention) 메커니즘

ChatGPT 등 현대 거대 언어 모델(LLM)과 최신 인공지능 시퀀스 제어 네트워크의 근간을 이루는 필수 패러다임 기초입니다.

• 기존 순환신경망(RNN)의 한계 극복: 과거 자연어 처리에 사용된 RNN 아키텍처는 텍스트 토큰을 순차적으로 하나씩 입력받아 처리해야 했으므로 문장이 길어질수록 앞단 정보가 유실되는 그래디언트 소실 문제가 발생했으며, 병렬 연산(GPU 스케일 아웃)이 불가능해 대용량 데이터 학습이 극도로 제한되었습니다.
• 트랜스포머(Transformer)의 혁신: 순환 구조를 완전히 걷어내고, 문장 내 전체 토큰을 한 번에 동시에(병렬) 입력받아 처리하는 구조입니다. 이를 통해 대규모 GPU 인프라 자원을 극한으로 활용한 병렬 분산 학습이 마침내 대중화되었습니다.
• 셀프 어텐션(Self-Attention)의 본질: 입력된 문장 안에서 **모든 단어들 간의 상호 연관성 및 거리를 정량적 수치(가중치)로 계산**하는 핵심 메커니즘입니다. 예를 들어 "그 엔지니어가 시스템 에러를 고치기 위해 소스코드를 파싱했고, *그것*은 C++로 짜여 있었다."라는 문장에서 '*그것*'이 의미하는 바가 앞단의 '소스코드'임을 수학적으로 정확히 식별해 내는 핵심 기술입니다.

---

2. 디지털 뱃지 레벨 1~2 예상 문제집

Q1. 가상화 스토리지 인프라 아키텍처 아키텍처 분류 중, "고속의 전용 광네트워크(Fibre Channel) 스위치망을 기반으로 스토리지 자원을 연결하며, 파일 단위가 아닌 블록(Block-level) 단위의 원격 디스크 공간을 가상화 하이퍼바이저 서버에 내장 디스크처럼 제공하는 고성능 스토리지 기술 유형"은?

1) DAS (Direct Attached Storage)
2) NAS (Network Attached Storage)
3) SAN (Storage Area Network)
4) Object Storage (객체 스토리지)

정답 및 해설 보기

정답: 3) SAN (Storage Area Network)
해설: SAN은 스토리지 전용의 고속 광패킷 네트워크를 구성하여 여러 하이퍼바이저 노드가 블록 단위로 원격 디스크 볼륨을 초고속 제어하게 만드는 기술입니다. 가상 머신 마이그레이션 및 고성능 무중단 가상화를 지탱하는 인프라의 표준입니다. 파일 단위를 이더넷으로 유통하는 것은 NAS입니다.

Q2. 현대 생성형 인공지능(AI) 아키텍처의 혁신을 이끈 '트랜스포머(Transformer)' 모델에 대한 특징으로 가장 거리가 먼 것은?

1) 과거 RNN 방식의 단점이었던 장기 의존성(Long-term Dependency) 데이터 정보의 소실 한계를 근본적으로 해결하였다.
2) 문장 데이터를 구성하는 토큰들을 한 번에 하나씩 반드시 동기식 순차 구조로만 입력받아야 하므로 병렬 연산 학습이 불가능하다.
3) 셀프 어텐션(Self-Attention) 메커니즘을 통해 문맥 안에서 단어 간의 가중치적 연관 관계를 정밀하게 파악한다.
4) 대형 인프라 클러스터 환경에서 거대한 가중치를 지닌 대규모 LLM 모델 파라미터를 동시 다발적으로 학습시키는 병렬 분산 처리에 최적화되어 있다.

정답 및 해설 보기

정답: 2)
해설: 트랜스포머 아키텍처의 가장 강력한 파괴적 혁신이 바로 순차 처리를 버리고 **"문장 내 단어 전체를 한 번에 입력(병렬 처리)"**받아 연산한다는 점입니다. 이 덕분에 GPU 인프라의 병렬 연산 능력을 100% 끄집어내어 거대 AI 모델의 고속 학습이 가능해졌습니다.

---

💡 신기술 추가 지식 : 소프트웨어 정의 스토리지(SDS)와 초고속 가상 볼륨 레플리케이션

전통적인 하드웨어 장비 중심의 고가 SAN/NAS 스토리지 환경은 클라우드 네이티브의 유연한 스케일 아웃 수요를 따라잡기 어렵습니다. 이에 따라 최근 클라우드 아키텍처에서는 일반 범용 리눅스 서버들의 로컬 디스크(NVMe 등)들을 고속 가상화 네트워크 터널링으로 결합하여 하나의 거대한 가상의 스토리지 풀로 통합하는 소프트웨어 정의 스토리지(SDS, Software-Defined Storage) 기술이 지배적인 표준으로 진화하고 있습니다. 특히 오케스트로 프라이빗 클라우드 인프라 솔루션 생태계에서는 이 SDS 볼륨 위에서 하부 커널 드라이버와 미니필터 수준의 고성능 파일 시스템 입출력 제어를 수행하여, 실시간 마이그레이션(P2V/V2V) 및 재해 복구(DR) 구동 시 가상 머신의 대형 디스크 블록 변경 스트림을 네트워크 채널로 실시간 복제 유통하는 초정밀 데이터 파이프라인 엔지니어링을 핵심 기술 자산으로 매우 가치 있게 다루고 있습니다.