ㅁ 경량 모델 최적화

ㅇ 정의:
대규모 딥러닝 모델의 파라미터 수와 연산량을 줄여 메모리 사용량과 추론 속도를 개선하는 기법들의 집합.

ㅇ 특징:
– 모델 경량화와 성능 유지의 균형이 중요
– 모바일·엣지 디바이스 배포에 필수적
– 다양한 수학적/통계적 기법 활용

ㅇ 적합한 경우:
– 리소스 제약 환경에서 모델 배포
– 실시간 응답이 중요한 서비스

ㅇ 시험 함정:
– 경량화 기법과 일반적인 모델 학습 기법을 혼동
– 정확도 손실 없는 경량화가 항상 가능한 것으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모바일 환경에서 추론 속도 향상을 위해 파라미터 수를 줄이는 기법”
X: “모델의 학습 속도를 높이기 위해 데이터셋 크기를 줄이는 방법”

================================

1. Pruning

ㅇ 정의:
신경망에서 중요도가 낮은 가중치나 뉴런을 제거하여 모델 크기를 줄이는 기법.

ㅇ 특징:
– 구조적(Structural) 또는 비구조적(Unstructured) 방식 존재
– 모델의 희소성(Sparsity) 증가
– 사전 학습 후 적용하는 경우가 많음

ㅇ 적합한 경우:
– 파라미터가 많은 과적합 모델
– 하드웨어 가속기에서 희소 연산 지원 시

ㅇ 시험 함정:
– Pruning 후 반드시 재학습(Fine-tuning)이 필요함을 간과
– 모든 레이어에 동일 비율로 적용하는 것이 최적이라고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델의 중요하지 않은 연결을 제거하여 연산량을 줄이는 방법”
X: “데이터 전처리 과정에서 불필요한 특성을 제거하는 기법”

================================

2. Knowledge Distillation

ㅇ 정의:
대규모 고성능 모델(Teacher)의 지식을 소형 모델(Student)에 전달하여 성능을 유지하면서 경량화하는 기법.

ㅇ 특징:
– Teacher 모델의 Soft Target(확률 분포) 활용
– 학생 모델이 직접 학습하기 어려운 복잡한 패턴을 전달 가능

ㅇ 적합한 경우:
– 대규모 모델을 경량화하면서 정확도 유지가 중요한 경우
– 라벨 데이터가 제한적인 상황

ㅇ 시험 함정:
– Soft Target과 Hard Label의 차이를 혼동
– Teacher와 Student 구조가 반드시 동일해야 한다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “대규모 모델의 출력 확률을 활용해 소형 모델을 학습시키는 방법”
X: “모델의 파라미터를 무작위로 제거하여 크기를 줄이는 방법”

================================

3. Sparse Training

ㅇ 정의:
학습 과정에서부터 가중치의 상당 부분을 0으로 만들어 희소성을 유지하는 학습 기법.

ㅇ 특징:
– 학습 중 불필요한 연결 제거
– 메모리 효율성과 연산 속도 향상
– 특정 하드웨어에서 최적 성능 발휘

ㅇ 적합한 경우:
– 대규모 모델 학습 시 메모리 제약이 있는 경우
– 희소 연산 최적화가 가능한 환경

ㅇ 시험 함정:
– Pruning과 달리 학습 중에 희소성을 적용한다는 점을 혼동
– 모든 환경에서 속도 향상이 보장된다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “훈련 중 불필요한 연결을 제거하여 희소성을 유지하는 방법”
X: “훈련 후에만 가중치를 제거하는 방식”

================================

4. Low-rank Approximation

ㅇ 정의:
모델의 가중치 행렬을 저랭크(Low-rank) 행렬로 근사하여 파라미터 수와 연산량을 줄이는 기법.

ㅇ 특징:
– SVD(특이값 분해) 등 수학적 행렬 분해 기법 활용
– 근사 오차와 경량화 비율의 균형 필요

ㅇ 적합한 경우:
– 대규모 행렬 연산이 많은 모델
– 메모리와 연산량 동시 절감 필요 시

ㅇ 시험 함정:
– 저랭크 근사가 항상 정확도에 미치는 영향이 미미하다고 오해
– 모든 레이어에 동일하게 적용 가능하다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “가중치 행렬을 저차원 행렬로 분해하여 연산량을 줄이는 방법”
X: “모델의 입력 차원을 줄이는 전처리 기법”

ㅁ 추가 학습 내용

경량 모델 최적화 추가 학습 정리

1. Quantization(양자화)
– 정의: 모델의 가중치와 활성값을 고정소수점 등 저정밀도(예: 8비트)로 변환
– 목적: 메모리 사용량 절감, 연산 속도 향상
– 주의점: 정밀도 손실로 인한 정확도 저하 가능성, 사후 양자화(Post-training quantization)와 학습 시 양자화(Quantization-aware training) 방식 구분

2. Neural Architecture Search(NAS) 기반 경량화
– 정의: 자동화된 탐색 알고리즘으로 경량 모델 구조를 설계
– 특징: 탐색 공간, 탐색 전략, 성능 예측 모델 구성
– 장점: 수작업 설계 대비 효율적 구조 발굴 가능

3. 경량화 기법 간 조합 전략
– 예시: Pruning+Quantization, Distillation+Low-rank factorization
– 효과: 단일 기법 대비 추가적인 모델 크기 축소와 속도 향상 가능
– 고려사항: 기법 간 상호작용에 따른 성능 변화 분석 필요

4. 하드웨어별 최적화 고려
– GPU: 병렬 연산 최적화, 메모리 대역폭 고려
– TPU: 행렬 연산 최적화, 양자화 지원 여부
– 모바일 NPU: 전력 효율, 모델 크기, 메모리 제한

5. 경량화 후 검증 지표
– 정확도(Accuracy) 외 지표: 추론 지연(Latency), 메모리 사용량, 에너지 소비량
– 목적: 실제 서비스 환경에서의 효율성 종합 평가

6. 실제 사례
– MobileNet: Depthwise Separable Convolution 사용
– EfficientNet: Compound scaling 기법 적용
– DistilBERT: Knowledge Distillation 기반 경량화

시험 대비 체크리스트

[ ] Quantization의 개념과 장단점, 적용 방식 구분 가능 여부
[ ] NAS의 구성 요소(탐색 공간, 전략, 성능 예측) 설명 가능 여부
[ ] Pruning, Quantization, Distillation, Low-rank 기법의 개념과 조합 효과 이해 여부
[ ] GPU, TPU, 모바일 NPU별 경량화 최적화 차이 설명 가능 여부
[ ] 경량화 후 평가 지표 종류와 의미 숙지 여부
[ ] MobileNet, EfficientNet, DistilBERT의 주요 경량화 기법과 특징 설명 가능 여부