ㅁ 경량 모델 최적화

ㅇ 정의:
경량 모델 최적화는 모델의 크기와 계산 복잡도를 줄여 성능을 유지하면서도 더 적은 자원으로 실행 가능하게 만드는 기법을 말한다.

ㅇ 특징:
– 모델의 크기를 줄여 메모리 사용량 감소
– 계산 속도 향상
– 모바일 및 임베디드 장치에 적합

ㅇ 적합한 경우:
– 제한된 하드웨어 환경에서의 모델 실행
– 실시간 응답이 중요한 애플리케이션

ㅇ 시험 함정:
– 모델 크기를 줄이는 것이 항상 정확도 손실이 없는 것은 아니다.
– 최적화 기법이 모든 모델에 동일하게 적용되지 않는다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 경량 모델 최적화는 모델의 성능을 유지하면서 크기와 계산 복잡도를 줄이는 기법이다.
X: 경량 모델 최적화는 항상 정확도를 높이는 기법이다.

================================

1. Pruning

ㅇ 정의:
Pruning은 신경망에서 중요도가 낮은 가중치나 뉴런을 제거하여 모델을 경량화하는 기법이다.

ㅇ 특징:
– 모델의 구조를 단순화
– 제거된 뉴런이나 가중치로 인해 약간의 성능 저하 가능
– 정적 Pruning과 동적 Pruning으로 구분

ㅇ 적합한 경우:
– 과적합된 모델을 단순화하여 일반화 성능을 높이고자 할 때
– 메모리와 계산 자원이 제한된 환경에서 모델을 실행해야 할 때

ㅇ 시험 함정:
– 모든 가중치가 동일한 중요도를 가지지 않는다.
– Pruning 이후에도 모델의 재훈련이 필요할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Pruning은 중요도가 낮은 가중치나 뉴런을 제거하여 모델을 경량화한다.
X: Pruning은 모든 가중치를 동일하게 제거한다.

================================

ㅁ 추가 학습 내용

Pruning 기법은 신경망 모델의 효율성을 높이기 위해 불필요한 가중치나 뉴런을 제거하는 방법입니다. 이를 통해 계산 비용을 줄이고 모델을 경량화할 수 있습니다. Pruning 기법은 크게 정적 Pruning과 동적 Pruning으로 나뉩니다.

1. 정적 Pruning:
– 학습 과정이 완료된 후 모델의 구조를 고정적으로 축소하는 방식입니다.
– 불필요한 가중치 또는 뉴런을 제거한 후, 모델의 구조는 더 이상 변경되지 않습니다.
– 고정된 구조로 인해 실행 중에는 추가적인 계산이 필요하지 않아 효율적입니다.
– 하지만 학습 중에는 구조를 변경할 수 없어 최적화의 가능성이 제한될 수 있습니다.

2. 동적 Pruning:
– 학습 과정 중 또는 실행 중에도 모델의 구조가 변경될 수 있는 방식입니다.
– 필요에 따라 가중치나 뉴런을 추가하거나 제거하며, 모델을 지속적으로 최적화합니다.
– 실행 환경이나 데이터에 따라 유연하게 대응할 수 있어 적응성이 뛰어납니다.
– 그러나 실행 중 구조를 변경하는 계산 비용이 추가될 수 있습니다.

Pruning 기법의 효과를 극대화하기 위해 학습 재조정(Re-training) 과정이 자주 사용됩니다. Pruning은 모델의 일부를 제거하여 성능 저하를 유발할 수 있으므로, 제거 후 모델을 다시 학습시켜 남아 있는 가중치와 뉴런이 최적화되도록 합니다. 이러한 재조정 과정은 Pruning 후에도 모델의 정확도를 유지하거나 향상시키는 데 중요한 역할을 합니다.

응용형 질문 예시:
“Pruning 기법 중 동적 Pruning의 장점은 무엇인가?”
– 동적 Pruning은 실행 중에도 모델 구조를 변경할 수 있어 환경 변화에 적응할 수 있는 유연성을 제공합니다. 또한, 학습 과정에서 모델을 지속적으로 최적화할 수 있어 더 높은 효율성을 달성할 수 있습니다.