ㅁ 최신 연구 주제

ㅇ 정의:
대규모 딥러닝 모델의 파라미터 수와 연산량을 줄여 모델 크기를 축소하고, 메모리 사용량과 추론 속도를 개선하는 기술.

ㅇ 특징:
– 파라미터 프루닝, 양자화, 지식 증류 등 다양한 기법 포함
– 성능 저하를 최소화하면서 경량화 가능
– 모바일, 엣지 디바이스 배포에 유리

ㅇ 적합한 경우:
– 자원 제약이 있는 환경에서 모델을 배포할 때
– 실시간 응답 속도가 중요한 애플리케이션
– 클라우드 비용 절감이 필요한 경우

ㅇ 시험 함정:
– 모델 압축이 항상 정확도를 향상시키는 것은 아님 (오히려 약간의 성능 저하 발생 가능)
– 압축 기법마다 적용 가능한 모델 구조와 데이터셋 특성이 다름
– 프루닝과 양자화를 혼동하는 경우 출제 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 압축은 메모리 사용량과 추론 속도를 개선할 수 있다.”
X: “모델 압축은 항상 모델의 정확도를 향상시킨다.”

================================

1. Model Compression

ㅇ 정의:
딥러닝 모델을 경량화하여 메모리, 연산량, 저장 공간을 줄이는 일련의 기술.

ㅇ 특징:
– 파라미터 수 감소
– 연산 효율성 향상
– 배포 환경 제약 완화

ㅇ 적합한 경우:
– IoT, 모바일 환경에서의 AI 모델 배포
– 제한된 하드웨어에서의 실시간 처리

ㅇ 시험 함정:
– 압축률과 성능 저하의 트레이드오프를 간과
– 모든 모델에 동일한 압축 기법이 최적이라는 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Model Compression은 모바일 환경에서의 AI 모델 배포에 유리하다.”
X: “Model Compression은 모델의 학습 속도를 항상 빠르게 한다.”

1.1 Pruning

ㅇ 정의:
모델의 불필요한 가중치나 뉴런 연결을 제거하여 파라미터 수를 줄이는 기법.

ㅇ 특징:
– 구조적/비구조적 프루닝 존재
– 연산량 감소, 메모리 사용량 감소
– 과적합 방지 효과 가능

ㅇ 적합한 경우:
– 대규모 네트워크에서 중요도가 낮은 파라미터가 많은 경우
– 추론 속도 향상이 필요한 경우

ㅇ 시험 함정:
– 프루닝 후 반드시 재학습(fine-tuning) 필요성을 간과
– 모든 레이어에 동일 비율로 프루닝이 최적이라는 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Pruning은 중요도가 낮은 가중치를 제거하여 모델을 경량화한다.”
X: “Pruning은 모델의 파라미터를 무조건 절반으로 줄인다.”

1.2 Quantization

ㅇ 정의:
모델 가중치와 연산을 고정소수점이나 더 낮은 비트 수로 표현하여 연산 효율을 높이는 기법.

ㅇ 특징:
– 32비트 부동소수점을 8비트 정수로 변환 가능
– 메모리 절감, 연산 속도 향상
– 미세한 정밀도 손실 발생 가능

ㅇ 적합한 경우:
– 하드웨어 가속기에서 정수 연산 최적화가 가능한 경우
– 메모리 제약이 심한 환경

ㅇ 시험 함정:
– 양자화가 항상 성능에 무영향이라는 오해
– 학습 전/후 양자화(Post-training vs Quantization-aware training) 차이를 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Quantization은 모델의 가중치를 낮은 비트 수로 표현하여 효율성을 높인다.”
X: “Quantization은 모델의 정확도에 전혀 영향을 주지 않는다.”

1.3 Knowledge Distillation

ㅇ 정의:
큰 모델(Teacher)의 지식을 작은 모델(Student)에 전달하여 성능을 유지하면서 경량화하는 기법.

ㅇ 특징:
– Teacher 모델의 Soft target 활용
– Student 모델은 구조가 단순함
– 학습 데이터가 동일해도 성능 유지 가능

ㅇ 적합한 경우:
– 대규모 모델을 경량화하면서 성능 저하를 최소화해야 하는 경우
– 데이터 접근이 제한된 환경

ㅇ 시험 함정:
– Knowledge Distillation이 모델 구조를 변경하는 기법이라는 오해
– Teacher와 Student의 데이터셋이 반드시 달라야 한다는 잘못된 인식

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Knowledge Distillation은 큰 모델의 지식을 작은 모델에 전달한다.”
X: “Knowledge Distillation은 모델의 파라미터를 직접 제거하는 방식이다.”

ㅁ 추가 학습 내용

Model Compression 주요 기법과 비교
– Pruning: 불필요한 가중치나 뉴런을 제거하여 모델 크기와 연산량을 줄이는 방법.
• 구조적 프루닝(Structured): 채널, 필터, 레이어 단위로 제거하여 하드웨어 가속에 효율적.
• 비구조적 프루닝(Unstructured): 개별 가중치를 제거, 압축률은 높지만 하드웨어 최적화는 어려움.
– Quantization: 가중치와 연산을 저정밀도(예: 8비트)로 변환하여 메모리와 연산량 감소.
• Post-training Quantization: 학습 완료 후 정밀도 축소, 구현이 간단하지만 정확도 저하 가능성.
• Quantization-aware Training: 학습 과정에서 양자화를 반영하여 정확도 손실 최소화.
– Knowledge Distillation: 큰 모델(Teacher)의 지식을 작은 모델(Student)에 전달.
• Soft Label: Teacher 모델의 출력 확률 분포를 사용, 클래스 간 유사성 정보 포함.
• 온도 파라미터(Temperature scaling): Soft Label의 확률 분포를 부드럽게 하여 학습 안정성 향상.

추가 알아두면 좋은 기법
– Sparse Representation: 희소 행렬 형태로 모델 파라미터를 표현하여 메모리 절약.
– Low-rank Factorization: 가중치 행렬을 저차원 행렬 곱으로 분해하여 연산량 감소.
– Neural Architecture Search(NAS) 기반 경량화: 자동으로 효율적인 모델 구조 탐색.

트렌드 및 하드웨어 연관성
– Edge AI, TinyML: 제한된 자원 환경에서 모델 실행을 위한 경량화 필수.
– 하드웨어 가속기(TPU, NPU): 구조적 프루닝, 양자화 모델에 최적화된 연산 지원으로 속도와 효율성 향상.