ㅁ 신형 칩/플랫폼

ㅇ 정의:
AI Server는 인공지능 모델 학습과 추론을 위해 최적화된 고성능 서버로, GPU, TPU, NPU 등 AI 전용 가속기와 고속 네트워크, 대용량 메모리를 갖춘 하드웨어 플랫폼.

ㅇ 특징:
– 대규모 병렬 연산을 지원하는 GPU/TPU 장착
– NVLink, InfiniBand 등 초고속 인터커넥트 지원
– 고대역폭 메모리(HBM) 및 대용량 스토리지 구성
– AI 프레임워크(PyTorch, TensorFlow 등)에 최적화된 드라이버 및 라이브러리 제공

ㅇ 적합한 경우:
– 대규모 딥러닝 모델 학습 (예: GPT, BERT)
– 실시간 추론 서비스 (음성 인식, 이미지 분류 등)
– AI 연구개발 환경 구축

ㅇ 시험 함정:
– AI Server는 단순히 GPU 서버와 동일하다고 오인하기 쉬움 (AI Server는 AI 워크로드에 특화된 전체 시스템 설계 포함)
– TPU, NPU는 GPU의 하위 개념이 아니라 별도의 아키텍처임
– 고성능 네트워크 없이도 AI Server 성능이 유지된다고 착각하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “AI Server는 AI 모델 학습과 추론에 특화된 하드웨어, 네트워크, 소프트웨어 스택을 포함한다.”
X: “AI Server는 GPU를 장착한 일반 서버와 동일하다.”

ㅁ 추가 학습 내용

AI Server 시험 대비 정리

1. 주요 제조사 및 제품군
– NVIDIA: DGX 시리즈 (DGX Station, DGX A100 등)
– Google: Cloud TPU Pod (대규모 텐서 연산 최적화)
– AWS: Inferentia 기반 서버 (맞춤형 AI 추론 전용 칩)

2. 전력 소모 및 냉각 기술
– 수랭식 냉각: 고발열 환경에서 효율적, 소음 및 공간 절약, 초기 설치 비용 높음
– 공랭식 냉각: 설치 용이, 비용 저렴, 고밀도 서버 환경에서 냉각 효율 낮음

3. 가상화 및 컨테이너 환경 지원
– Kubernetes: 컨테이너 오케스트레이션, AI 워크로드 스케줄링 및 확장성 제공
– Docker: AI 애플리케이션 환경 패키징 및 배포 용이

4. 엣지 AI 서버와 데이터센터 AI 서버 차이
– 엣지 AI 서버: 현장 데이터 실시간 처리, 저전력·소형화, 네트워크 지연 최소화
– 데이터센터 AI 서버: 대규모 데이터 처리, 고성능·고확장성, 중앙집중형 관리

5. 확장성 설계
– Scale-up: 단일 서버 성능 향상(더 강력한 CPU/GPU, 메모리 확장)
– Scale-out: 서버 수를 늘려 병렬 처리(분산 컴퓨팅)

6. 보안 요소
– 하드웨어 보안 모듈(HSM): 모델·데이터 암호화 및 키 관리, 무단 접근 방지

7. 최신 인터커넥트 기술
– PCIe Gen5: 대역폭 향상, 고성능 AI 가속기와의 데이터 전송 속도 개선
– CXL(Compute Express Link): CPU·GPU·메모리 간 지연 최소화, 자원 공유 효율성 향상