ㅁ 경량 모델 최적화

1. Sparse Training

ㅇ 정의:
모델 학습 과정에서 일부 가중치를 0으로 만들어 파라미터 수를 줄이고 연산량을 감소시키는 학습 기법. 학습 중 불필요한 연결을 제거해 희소성을 유지함.

ㅇ 특징:
– 학습 과정에서 가중치 마스킹(masking) 적용
– 메모리 사용량과 연산량 감소
– 모델 압축 효과와 추론 속도 향상
– 희소성 패턴에 따라 하드웨어 최적화 가능

ㅇ 적합한 경우:
– 메모리 및 연산 리소스가 제한된 환경(모바일, 엣지 디바이스)
– 대규모 모델을 경량화하여 배포해야 하는 경우
– 실시간 추론 속도가 중요한 애플리케이션

ㅇ 시험 함정:
– Sparse Training은 학습 후 가지치기(pruning)와 동일하다고 혼동할 수 있음 (학습 중 적용 여부가 차이)
– 희소성이 높다고 항상 정확도가 유지되는 것은 아님
– 하드웨어가 희소 연산을 최적화하지 못하면 속도 이점이 제한됨

ㅇ 시험 대비 “패턴 보기” 예시:
O: Sparse Training은 학습 중 불필요한 가중치를 제거하여 모델을 경량화한다.
X: Sparse Training은 학습이 끝난 후 가중치를 제거하는 기법이다.

ㅁ 추가 학습 내용

Sparse Training은 모델 학습 과정에서 희소성을 적용하는 방식으로, 학습이 끝난 후 가중치를 제거하는 Post-training pruning과 구분된다. 주요 알고리즘으로는 Top-K pruning, Dynamic Sparse Training(DST), RigL(Rewiring) 등이 있다. 희소성 비율(sparsity ratio)은 모델 성능에 직접적인 영향을 미치며, 희소성 패턴에 따라 하드웨어 가속 효율이 달라진다. 구조적 희소성은 채널, 필터 단위로 가중치를 제거하여 GPU, TPU 등에서 병렬 연산 최적화에 유리하다. 반면 비구조적 희소성은 개별 가중치를 불규칙하게 제거하는 방식으로, 메모리 절감 효과는 크지만 현재의 GPU, TPU 아키텍처에서는 속도 향상이 제한적일 수 있다.