ㅁ 신형 칩/플랫폼

ㅇ 정의:
– HBM(High Bandwidth Memory)은 기존 DRAM 대비 훨씬 높은 대역폭과 낮은 전력 소비를 제공하는 3D 적층 메모리 기술로, GPU, AI 가속기, HPC(고성능 컴퓨팅) 환경에서 사용됨.

ㅇ 특징:
– TSV(Through-Silicon Via) 기술을 사용해 DRAM 다이를 수직으로 적층
– 기존 GDDR 대비 전력 효율이 높고, 데이터 전송 속도가 매우 빠름
– 패키지 내부에서 GPU/CPU와 근접 배치되어 메모리 지연(latency) 최소화

ㅇ 적합한 경우:
– 대규모 AI 모델 학습 및 추론
– 실시간 데이터 처리 및 고해상도 그래픽 처리
– HPC 환경에서의 대규모 병렬 연산

ㅇ 시험 함정:
– HBM은 용량보다 대역폭에 최적화된 메모리라는 점을 혼동할 수 있음
– GDDR과 비교 시 전송 속도와 전력 효율을 반대로 기억하는 오류
– HBM이 단독으로 CPU 캐시를 대체한다고 오해하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) HBM은 TSV 기반의 3D 적층 구조로 높은 대역폭을 제공한다.
– (O) HBM은 GDDR 대비 전력 효율이 높다.
– (X) HBM은 CPU의 L3 캐시를 대체하는 목적으로 설계되었다.
– (X) HBM은 대역폭보다 용량 확장을 우선시하는 메모리이다.

ㅁ 추가 학습 내용

HBM 관련 시험 대비 핵심 정리

1. HBM 세대별 차이
– HBM2: 이전 세대 대비 대역폭과 속도 향상, 용량 확장 지원
– HBM2E: HBM2의 개선 버전으로 더 높은 대역폭과 속도, 용량 증가
– HBM3: 최신 세대, 대역폭·속도·용량 모두 크게 향상, 전력 효율 개선
– 비교 요소: 대역폭, 속도, 소비 전력, 지원 용량

2. 주요 제조사
– SK하이닉스
– 삼성전자
– 마이크론

3. 구조적 특징
– GPU 패키지 내부에 실장되어 메모리 버스 폭이 매우 넓음
– AI 학습 시 메모리 병목 현상 완화
– GDDR6 대비 약 40% 전력 절감

4. TSV 기술
– TSV(Through-Silicon Via): 실리콘 관통 전극을 통해 칩을 수직으로 연결하는 기술
– 기존 와이어 본딩 대비 장점: 더 짧은 연결 경로, 높은 대역폭, 낮은 전력 소모, 소형화 가능

5. HBM 채택 대표 AI 하드웨어
– NVIDIA A100
– AMD MI250