ㅁ 경량 모델 최적화

ㅇ 정의:
경량 모델 최적화는 모델의 크기와 복잡성을 줄여 리소스 제약 환경에서 효율적으로 작동하도록 설계된 기법을 의미함.

ㅇ 특징:
– 모델 크기 감소로 메모리 사용량 절약
– 추론 속도 향상
– 전력 소모 감소

ㅇ 적합한 경우:
– 모바일 기기나 IoT 장치와 같은 리소스 제한 환경
– 대규모 모델을 배포해야 하는 상황

ㅇ 시험 함정:
– 경량화가 항상 성능 저하를 동반하는 것은 아님.
– 경량화와 정확도 간의 균형을 이해하지 못하면 오답을 선택할 가능성 높음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 경량 모델 최적화는 리소스 제한 환경에서 모델 성능을 유지하며 효율성을 높이는 데 적합하다.
X: 경량 모델 최적화는 항상 모델의 정확도를 희생한다.

================================

1. Sparse Training

ㅇ 정의:
Sparse Training은 모델의 파라미터 중 일부를 선택적으로 학습하거나 업데이트하여 모델의 밀도를 줄이는 최적화 기법임.

ㅇ 특징:
– 파라미터 수 감소로 계산량 절감
– 희소성(sparsity)을 활용해 메모리 사용량 감소
– 특정 파라미터만 학습하여 효율성 향상

ㅇ 적합한 경우:
– 대규모 신경망에서 학습 시간이 중요한 경우
– 메모리 리소스가 제한적인 환경

ㅇ 시험 함정:
– Sparse Training이 항상 성능을 보장한다고 생각하면 오답 선택 가능
– Sparse Training과 Pruning을 혼동할 가능성 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: Sparse Training은 특정 파라미터만 학습하여 메모리와 계산 효율성을 높인다.
X: Sparse Training은 학습 데이터를 줄이는 기법이다.

ㅁ 추가 학습 내용

Sparse Training과 관련된 주요 개념을 정리하면 다음과 같습니다:

1. **희소성 비율(Sparsity Ratio)**:
– 모델에서 학습 가능한 파라미터의 비율을 나타냄.
– 희소성 비율을 조정하면 성능과 효율성 간의 균형을 맞출 수 있음.
– 높은 희소성 비율은 계산 효율성을 높이지만, 과도하게 높으면 모델 성능 저하 가능.

2. **희소성 적용 방법**:
– **랜덤 초기화**: 초기화 시 파라미터를 랜덤하게 선택하여 희소성을 적용.
– **중요도 기반 선택**: 파라미터의 중요도를 평가하여 상대적으로 덜 중요한 파라미터를 제거하거나 비활성화.

3. **Sparse Training과 모델 Pruning의 차이점**:
– **Sparse Training**: 학습 과정에서 희소성을 적용하여 파라미터를 제한적으로 사용. 즉, 모델이 처음부터 희소성을 고려하며 학습함.
– **Pruning**: 학습이 완료된 후 중요하지 않은 파라미터를 제거하여 모델을 희소하게 만듦. 학습 후 모델 경량화를 위한 후처리 과정임.

Sparse Training은 학습 중 효율성을 높이는 데 초점을 맞추며, Pruning은 학습 후 모델 크기를 줄이는 데 주로 사용된다는 점에서 차이가 있음.