ㅁ 효율화 방식

ㅇ 정의:
학습 과정에서 양자화를 고려하여 모델 파라미터와 연산을 저정밀도로 변환하는 기법으로, 학습 중에 정밀도 손실을 최소화하도록 모델을 조정하는 방법.

ㅇ 특징:
– 학습 시점부터 정수 연산(예: int8) 환경을 모사하여 가중치와 활성값을 양자화.
– 실제 배포 환경의 하드웨어 제약(모바일, 임베디드)에 최적화.
– Post-Training Quantization 대비 정확도 손실이 적음.

ㅇ 적합한 경우:
– 연산 자원이 제한된 환경에서 모델을 배포해야 하는 경우.
– 정확도 저하를 최소화하면서 메모리와 계산량을 줄여야 하는 경우.
– 하드웨어 가속기(TPU, NPU)에서 정수 연산 최적화가 필요한 경우.

ㅇ 시험 함정:
– PTQ(Post-Training Quantization)와 혼동: PTQ는 학습 후 양자화, QAT는 학습 중 양자화.
– 모든 모델에서 QAT가 효과적인 것은 아님(특히 이미 경량화된 모델).
– QAT는 학습 비용이 증가함.

ㅇ 시험 대비 “패턴 보기” 예시:
– “QAT는 학습 후에만 양자화를 적용한다.” → X
– “QAT는 학습 과정에서 양자화를 반영하여 정확도 손실을 최소화한다.” → O
– “QAT는 모바일 환경에서 모델 경량화에 활용될 수 있다.” → O

ㅁ 추가 학습 내용

QAT(Quantization Aware Training)는 학습 과정에서 Fake Quantization 기법을 사용하여 부동소수점 연산을 정수 연산처럼 시뮬레이션한다. 이를 통해 양자화로 인한 성능 저하를 최소화할 수 있으며, 양자화 스케일(scale)과 zero-point를 학습 과정에서 함께 최적화할 수 있다.

QAT와 PTQ(Post-Training Quantization)의 차이점은 다음과 같다. PTQ는 학습이 끝난 모델에 대해 사후에 양자화를 적용하는 방식으로, 추가 학습 없이 빠르게 적용 가능하지만 정확도 손실이 클 수 있다. QAT는 학습 중 양자화를 고려하므로 정확도 손실을 줄일 수 있으나 학습 비용이 증가한다.

정수 연산의 장점은 연산 속도가 빠르고 메모리 사용량이 적으며, 전력 소모가 낮아 하드웨어 효율성이 높다는 점이다.

QAT는 CNN, Transformer 등 다양한 딥러닝 아키텍처에 적용 가능하다. 또한 하드웨어별로 지원하는 비트폭이 다르며, 예를 들어 int8, int4 등이 있다. 비트폭이 낮을수록 연산 속도와 메모리 효율은 향상되지만 정확도 손실 가능성이 커지는 성능/정확도 트레이드오프가 존재한다.