ㅁ 가중치 최적화

ㅇ 정의:
– 딥러닝 모델의 성능을 유지하면서도 모델의 크기와 계산량을 줄이는 기술.

ㅇ 특징:
– 모델 경량화와 성능 유지의 균형을 목표로 함.
– 계산 효율성을 향상시키고, 메모리 사용량을 줄임.
– 주로 모바일 디바이스나 실시간 응용 프로그램에서 유용.

ㅇ 적합한 경우:
– 모델이 너무 커서 배포 및 실행이 어려운 경우.
– 제한된 하드웨어 환경에서 딥러닝 모델을 실행해야 하는 경우.

ㅇ 시험 함정:
– 가중치 최적화는 성능 저하 없이 경량화가 가능하다는 오해.
– 모든 모델에 동일한 최적화 기법이 적합하다는 일반화된 접근.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “가중치 최적화는 딥러닝 모델을 경량화하면서도 성능을 최대한 유지하는 기술이다.”
– X: “가중치 최적화는 항상 모델 성능을 100% 유지한다.”

================================

1. Structured Pruning

ㅇ 정의:
– 모델의 특정 구조(예: 필터, 채널, 레이어 등)를 제거하여 경량화하는 기법.

ㅇ 특징:
– 구조적 단위로 제거하므로 하드웨어 가속기에서 효율적으로 실행 가능.
– 비구조적 프루닝보다 실행 속도가 빠르고, 메모리 효율성이 높음.

ㅇ 적합한 경우:
– 하드웨어 친화적인 최적화가 필요한 경우.
– 실시간 응용 프로그램에서 딥러닝 모델을 사용할 때.

ㅇ 시험 함정:
– Structured Pruning이 항상 성능 손실이 적다는 오해.
– 모든 레이어나 필터가 동일한 중요도를 가진다고 가정하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Structured Pruning은 필터, 채널, 레이어 등 구조적 단위를 제거하여 모델을 경량화한다.”
– X: “Structured Pruning은 모든 레이어를 균등하게 제거한다.”

================================

ㅁ 추가 학습 내용

Structured Pruning에 대해 추가적으로 학습해야 할 내용을 아래와 같이 정리합니다:

1. **Structured Pruning의 주요 알고리즘**:
– L1/L2 노름 기반 필터 제거: 필터의 L1 또는 L2 노름 값을 계산하여 작거나 덜 중요한 필터를 제거.
– 중요도 기반 채널 제거: 각 채널의 중요도를 평가하고, 중요도가 낮은 채널을 제거하여 모델을 경량화.

2. **Structured Pruning의 실제 적용 사례**:
– 모바일 디바이스에서의 이미지 분류 모델 경량화: 제한된 하드웨어 성능을 가진 모바일 기기에서 효율적으로 동작할 수 있도록 모델의 크기를 줄이는 데 활용.
– 자율주행차에서의 실시간 객체 탐지: 실시간으로 빠르고 정확한 객체 탐지를 위해 경량화된 모델을 사용하여 연산 속도를 개선.

3. **Structured Pruning과 비구조적 프루닝(Unstructured Pruning)의 차이점**:
– 비구조적 프루닝: 개별 가중치를 제거하는 방식으로, 모델의 밀도를 낮추지만 하드웨어 가속기에서의 실행 효율은 떨어질 수 있음.
– Structured Pruning: 특정 단위(예: 필터, 채널, 레이어 등)를 제거하여 모델을 경량화하며, 하드웨어 친화적인 구조를 유지.

4. **Structured Pruning 이후 재학습(Fine-tuning)의 중요성**:
– 프루닝 과정에서 모델의 일부가 제거되므로 원래의 성능이 저하될 가능성이 있음.
– 이를 보완하기 위해 재학습 과정을 통해 남은 가중치를 조정하고, 제거된 부분의 영향을 최소화하여 모델의 성능을 회복.

위 내용을 중심으로 학습하면 Structured Pruning에 대한 이해를 심화할 수 있습니다.