ㅁ 경량화

ㅇ 정의:
모델의 크기를 줄이고 연산 효율성을 높이기 위해 가중치와 활성화 값을 낮은 비트 정밀도로 표현하는 기술.

ㅇ 특징:
– 모델의 정확도를 최대한 유지하면서 메모리 사용량과 계산 속도를 개선.
– 주로 모바일 디바이스나 임베디드 시스템에서 활용.

ㅇ 적합한 경우:
– 리소스가 제한된 환경에서 대규모 모델을 배포해야 할 때.
– 실시간 추론이 요구되는 애플리케이션.

ㅇ 시험 함정:
– 경량화가 항상 정확도 손실을 동반한다고 단정짓는 경우.
– 모든 모델에 동일한 비트 정밀도가 적합하다고 가정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 경량화는 모델의 정확도를 항상 저하시킨다. (X)
2. 경량화는 메모리 사용량을 줄이고 계산 속도를 높일 수 있다. (O)

================================

1. Quantization-aware Training

ㅇ 정의:
모델 훈련 과정에서 양자화(Quantization)를 미리 고려하여 학습하는 방법.

ㅇ 특징:
– 훈련 중에 양자화된 가중치와 활성화 값을 시뮬레이션하여 정확도 손실을 최소화.
– 훈련 후 양자화(Post-training Quantization)보다 높은 정확도를 제공.

ㅇ 적합한 경우:
– 양자화로 인한 정확도 손실이 중요한 애플리케이션.
– 양자화된 모델을 직접 배포해야 하는 환경.

ㅇ 시험 함정:
– Quantization-aware Training이 항상 Post-training Quantization보다 우수하다고 가정하는 경우.
– 양자화가 모델의 모든 계층에 동일하게 적용된다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Quantization-aware Training은 훈련 중 양자화를 시뮬레이션하여 정확도 손실을 줄인다. (O)
2. Quantization-aware Training은 모든 경우에 Post-training Quantization보다 효율적이다. (X)

ㅁ 추가 학습 내용

모델 경량화를 위한 다양한 기법과 그 활용 방법에 대해 정리한 내용은 다음과 같습니다:

1. **Knowledge Distillation (지식 증류)**
Knowledge Distillation은 복잡한 모델(Teacher Model)의 지식을 간단한 모델(Student Model)에 전달하여 경량화된 모델을 학습시키는 방법입니다. Teacher Model이 예측한 소프트 라벨(확률 분포)을 Student Model이 학습하여 성능을 개선합니다. 이 방법은 Student Model이 더 작은 크기와 계산량을 가지면서도 높은 성능을 유지할 수 있도록 돕습니다.
– 장점: 모델 크기와 계산량 감소, 다양한 응용 가능성.
– 활용 사례: 모바일 디바이스에서의 딥러닝 모델 배포, 실시간 추론 시스템 등.

2. **Pruning (가지치기)**
Pruning은 모델의 중요하지 않은 연결(가중치)을 제거하여 크기를 줄이는 기법입니다. 모델 학습 후 중요도가 낮은 가중치를 제거하거나, 학습 중에 점진적으로 가지치기를 수행할 수도 있습니다.
– Unstructured Pruning: 개별 가중치를 제거.
– Structured Pruning: 특정 뉴런, 필터, 층 단위로 제거.
– 장점: 모델 크기 감소, 추론 속도 개선.
– 활용 사례: 경량화된 이미지 분류, 음성 인식 모델.

3. **Weight Clustering (가중치 클러스터링)**
Weight Clustering은 가중치를 유사한 값들로 그룹화하여 모델 크기를 줄이는 방법입니다. 가중치 값을 소수의 클러스터 중심값으로 제한하면 저장 공간을 감소시킬 수 있습니다.
– 장점: 메모리 사용량 감소, 양자화와 결합 시 추가적인 이점.
– 활용 사례: 메모리 제약이 있는 환경에서의 모델 배포.

4. **Quantization-aware Training (QAT)**
Quantization-aware Training은 학습 단계에서 양자화의 영향을 모델에 반영하여, 양자화 후 성능 저하를 최소화하는 방법입니다. 모델의 가중치와 활성화 값을 정밀도가 낮은 정수로 표현하면서도 높은 정확도를 유지할 수 있습니다.
– TensorFlow Lite 활용: TensorFlow에서 QAT를 사용하여 학습한 후, TensorFlow Lite로 변환하여 모바일 디바이스에 배포 가능.
– PyTorch 활용: PyTorch의 `torch.quantization` 모듈을 사용하여 QAT 구현 가능.
– 구체적 구현 사례: 이미지 분류 모델(MobileNet, ResNet 등)에서 QAT를 적용하여 정확도를 유지하면서도 모델 크기와 계산량을 줄이는 데 성공한 사례가 있음.

이와 같은 기법들은 단독으로 사용하거나 조합하여 활용할 수 있으며, 각 기법의 장단점과 적용 환경을 고려하여 선택하는 것이 중요합니다.