ㅁ 시스템 최적화

ㅇ 정의:
시스템 최적화는 하드웨어와 소프트웨어 자원을 효율적으로 활용하여 처리 속도, 안정성, 자원 사용률을 극대화하는 과정이다.

ㅇ 특징:
– CPU, GPU, 메모리, 스토리지 등 다양한 자원의 병목 현상을 제거함
– 알고리즘 및 코드 수준 최적화와 하드웨어 구성 최적화 포함
– 병렬 처리, 캐싱, 파이프라이닝 등 다양한 기법 활용

ㅇ 적합한 경우:
– 대규모 데이터 처리 및 딥러닝 학습 환경
– 실시간 응답이 중요한 AI 서비스

ㅇ 시험 함정:
– 단순히 하드웨어 업그레이드만이 최적화라고 착각하는 경우
– 최적화가 항상 성능 향상으로 직결된다고 생각하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “시스템 최적화는 하드웨어 및 소프트웨어 자원의 효율적 활용을 목표로 한다.”
X: “시스템 최적화는 GPU 교체와 같은 하드웨어 변경만을 의미한다.”

================================

1. GPU 최적화

ㅇ 정의:
GPU 최적화는 딥러닝, 머신러닝, 대규모 병렬 연산 작업에서 GPU의 연산 자원을 최대한 활용하도록 코드, 메모리 사용, 연산 구조를 조정하는 과정이다.

ㅇ 특징:
– 연산을 GPU에 최대한 병렬화하여 처리 속도 향상
– CUDA, ROCm 등 GPU 컴퓨팅 프레임워크 활용
– 메모리 전송 최소화, 연산 커널 최적화, 배치 크기 조정 등 기법 포함

ㅇ 적합한 경우:
– 대규모 딥러닝 모델 학습
– 이미지/영상 처리, 과학 시뮬레이션, 금융 리스크 분석 등 GPU 친화적 연산

ㅇ 시험 함정:
– GPU 최적화가 CPU 병목을 해결하는 데 직접적인 영향을 준다고 오해
– GPU 메모리 최적화 없이 연산만 최적화해도 성능이 충분하다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “GPU 최적화는 연산 병렬화, 메모리 전송 최소화, 커널 최적화를 포함한다.”
X: “GPU 최적화는 GPU 코어 수를 늘리는 하드웨어 업그레이드만을 의미한다.”

ㅁ 추가 학습 내용

GPU 최적화 학습 정리

1. 연산 커널 스케줄링
– GPU 연산 커널을 효율적으로 스케줄링하여 연산 자원을 최대한 활용해야 함.

2. 메모리 계층 구조 이해
– L1/L2 캐시, 글로벌 메모리, 공유 메모리의 특성과 접근 속도 차이를 이해하고 적절히 활용하는 것이 성능 최적화의 핵심.

3. Mixed Precision Training
– FP16과 FP32 혼합 연산을 통해 학습 속도를 높이고 GPU 메모리 사용량을 절감.
– 시험에서 자주 출제되는 주제.

4. 데이터 파이프라인 최적화
– GPU와 CPU 간 데이터 전송 병목을 줄이기 위해 prefetching과 pinned memory 기법 활용.

5. 최신 시험 출제 경향
– CUDA 스트림을 이용한 비동기 연산
– Tensor Core 활용 여부
– 멀티 GPU 환경에서 데이터 병렬 처리와 모델 병렬 처리의 차이점 이해