ㅁ Pruning/Quant

ㅇ 정의: Pruning/Quant는 모델 경량화를 위한 기술로, 딥러닝 모델의 불필요한 가중치를 제거하거나 숫자 표현 방식을 변경하여 메모리와 계산 효율을 개선하는 방법을 포함한다.

ㅇ 특징: 모델의 성능 저하를 최소화하면서 계산 복잡도를 줄이는 데 중점을 둔다. Pruning은 가중치 제거, Quant는 숫자 표현 방식 변경을 포함한다.

ㅇ 적합한 경우: 모바일 및 임베디드 환경에서 메모리와 계산 자원이 제한된 경우에 적합하다.

ㅇ 시험 함정: Pruning과 Quant의 개념을 혼동하거나, 성능 저하를 지나치게 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Pruning은 모델 가중치 중 중요도가 낮은 부분을 제거하여 경량화를 목표로 한다.
– X: Quant는 모델의 구조를 간소화하는 방법이다.

================================

1. Unstructured Pruning

ㅇ 정의: Unstructured Pruning은 딥러닝 모델의 개별 가중치를 중요도에 따라 제거하여 모델을 경량화하는 기법이다.

ㅇ 특징: 가중치의 중요도를 평가하여 제거되므로 모델 구조가 일정하지 않게 변경될 수 있다. 계산 속도는 크게 향상되지만 하드웨어 최적화가 어렵다.

ㅇ 적합한 경우: 특정 가중치가 모델 성능에 미치는 영향이 미미할 때 사용되며, 연구 및 실험 환경에서 주로 활용된다.

ㅇ 시험 함정: Unstructured Pruning과 Structured Pruning을 혼동하거나, 하드웨어 최적화 가능성을 과대평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Unstructured Pruning은 개별 가중치를 기준으로 중요도를 평가하여 제거한다.
– X: Unstructured Pruning은 모델의 특정 레이어 전체를 제거하는 방식이다.

ㅁ 추가 학습 내용

Unstructured Pruning의 평가 기준과 실제 적용 사례를 학습하기 위해 다음과 같은 내용을 정리하여 학습하면 좋습니다.

1. **Unstructured Pruning의 평가 기준**:
– 중요도를 평가하는 방식으로 L1 노름과 L2 노름이 자주 사용됨.
– L1 노름: 가중치의 절대값의 합으로, 가중치 값이 작을수록 중요도가 낮다고 평가.
– L2 노름: 가중치의 제곱합으로, 가중치 크기의 균형을 고려한 평가 방식.
– 중요도에 따라 가중치가 작은 요소를 제거하여 모델을 경량화함.
– 제거된 가중치가 모델 성능에 미치는 영향을 평가하는 것이 중요.

2. **Unstructured Pruning의 실제 적용 사례**:
– 딥러닝 모델에서 불필요한 가중치를 제거하여 모델 크기를 줄이고 계산 효율성을 높임.
– 예를 들어, 이미지 분류 모델에서 Unstructured Pruning을 적용하여 메모리 사용량을 줄이고 추론 속도를 개선.
– 실제 하드웨어에서 최적화를 위해 Sparse Matrix 형태로 변환하여 계산 효율성을 극대화함.
– GPU나 TPU와 같은 하드웨어에서 Sparse Kernel을 활용해 계산 속도를 높이는 방법을 고려.

3. **Structured Pruning과의 차이점**:
– Unstructured Pruning: 개별 가중치를 제거하여 비정형적인 희소성을 만듦. 더 높은 압축률을 제공하지만, 하드웨어 최적화가 어려울 수 있음.
– Structured Pruning: 필터, 채널, 레이어 등 더 큰 단위로 가중치를 제거하여 정형적인 희소성을 만듦. 하드웨어에서의 효율적인 계산에 적합.
– Structured Pruning은 모델의 구조를 유지하면서 계산량을 줄이는 데 중점을 둠.

4. **Structured Pruning과의 비교 사례**:
– Unstructured Pruning은 더 높은 모델 압축률을 제공하지만, Sparse Matrix 연산을 지원하는 특수 하드웨어가 필요.
– Structured Pruning은 일반적인 하드웨어에서 더 쉽게 최적화 가능하며, 모델의 구조적 일관성을 유지.
– 예를 들어, ResNet 모델에서 Structured Pruning은 특정 필터나 채널을 제거하여 모델 크기를 줄이는 반면, Unstructured Pruning은 개별 가중치를 제거하여 더 세밀한 압축을 수행.

위의 내용을 중심으로 Unstructured Pruning과 관련된 이론, 평가 방법, 실제 사례, 그리고 Structured Pruning과의 차이점을 명확히 이해하고 시험 대비를 준비하세요.