ㅁ 성능 분석

ㅇ 정의:
AI 모델이 동작하는 과정에서 처리 속도나 자원 사용량을 저하시키는 원인을 찾아내고 개선하기 위한 분석 기법.

ㅇ 특징:
– CPU, GPU, 메모리, I/O, 네트워크 등 다양한 자원 사용 현황을 측정.
– 모델 추론 단계별 처리 시간 분해.
– 프로파일링 도구(TensorBoard, PyTorch Profiler 등) 사용.

ㅇ 적합한 경우:
– 모델 응답 시간이 SLA(Service Level Agreement)를 초과하는 경우.
– 배포 환경에서 처리량(Throughput)이 급격히 저하되는 경우.
– 리소스 사용률이 비정상적으로 높은 경우.

ㅇ 시험 함정:
– ‘성능 병목 분석’을 단순히 모델 정확도 향상 기법으로 오해.
– 병목 원인을 항상 하드웨어 문제로만 한정.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “GPU 메모리 사용량 분석을 통해 특정 레이어의 병목을 발견했다.”
X: “성능 병목 분석은 모델의 학습 데이터 품질을 높이는 과정이다.”

================================

1. 성능 병목 분석

ㅇ 정의:
시스템 또는 모델의 전체 성능을 저하시키는 특정 지점(병목)을 식별하고 이를 개선하는 과정.

ㅇ 특징:
– 전체 처리 과정 중 가장 오래 걸리는 단계가 전체 성능을 제한.
– 병목 구간 최적화로 전체 성능이 비약적으로 향상될 수 있음.
– 하드웨어, 알고리즘, 데이터 입출력 모두 병목 원인이 될 수 있음.

ㅇ 적합한 경우:
– 모델 추론 시간이 길어 실시간 서비스가 불가능한 경우.
– 데이터 전처리 시간이 전체 파이프라인의 대부분을 차지하는 경우.
– 특정 연산에서 GPU 사용률이 100%에 도달하여 다른 작업이 대기하는 경우.

ㅇ 시험 함정:
– 병목 구간을 찾지 않고 무작정 하드웨어를 증설하는 것이 최적화라고 착각.
– 병목 분석을 단일 지표(CPU 사용률)만으로 판단.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “성능 병목 분석을 통해 데이터 로딩 단계 최적화로 전체 처리 속도가 향상되었다.”
X: “성능 병목 분석은 모델의 파라미터 수를 줄이는 과정이다.”

ㅁ 추가 학습 내용

성능 병목 분석의 핵심은 정량적 지표 수집과 시각화이다. 이를 위해 파이프라인 각 단계별 처리 시간을 측정하고, 병목 구간의 자원 사용률(CPU, GPU, 메모리, 디스크 I/O, 네트워크 대역폭)을 함께 분석해야 한다. 병목 원인에 따라 해결책이 달라지므로, 하드웨어 병목(CPU/GPU), 소프트웨어 병목(비효율적 알고리즘, 불필요한 연산), 데이터 병목(입출력 지연, 네트워크 전송)으로 분류하는 것이 중요하다. 시험에서는 Amdahl의 법칙과 연계해 병목 구간 최적화의 한계가 출제될 수 있으며, 프로파일링 도구별 특징과 적용 사례(TensorBoard, PyTorch Profiler, NVIDIA Nsight Systems 등)를 함께 학습해야 한다.