ㅁ 가중치 최적화

ㅇ 정의:
모델 학습이 완료된 후, 가중치와 활성값을 더 낮은 비트수(예: 32비트 → 8비트)로 변환하여 모델 크기를 줄이고 추론 속도를 향상시키는 기법.

ㅇ 특징:
– 재학습 없이 적용 가능하여 빠른 최적화 가능
– 정수 연산을 활용해 CPU, Edge 디바이스에서 효율적 실행
– 약간의 정확도 손실 가능성 존재

ㅇ 적합한 경우:
– 모델이 이미 학습 완료되어 있고 재학습 리소스가 부족한 경우
– 모바일·임베디드 환경에서 실시간 추론이 필요한 경우

ㅇ 시험 함정:
– Post-training Quantization은 반드시 재학습이 필요하다는 오답 유도 문장 출제 가능
– 모든 경우에 정확도 손실이 없다는 단정적 표현은 오답

ㅇ 시험 대비 “패턴 보기” 예시:
O: “사전 학습된 모델에 대해 추가 학습 없이 정밀도를 낮추는 최적화 기법이다.”
X: “Post-training Quantization은 반드시 파인튜닝을 거쳐야 한다.”

================================

1. Post-training Quantization

ㅇ 정의:
학습이 끝난 모델의 가중치와 경우에 따라 활성값을 더 낮은 정밀도의 데이터 타입(예: FP32 → INT8)으로 변환하여 모델 크기와 연산량을 줄이는 과정.

ㅇ 특징:
– 추가 학습 불필요
– 하드웨어 가속기와 호환성 높음
– 변환 후 일부 연산에서 정확도 저하 발생 가능

ㅇ 적합한 경우:
– 이미 학습된 대규모 모델을 경량화해야 하는 경우
– 제한된 메모리와 연산 자원을 가진 환경

ㅇ 시험 함정:
– “모든 경우에 정확도 손실이 없다”는 표현은 틀림
– 학습 중에만 적용 가능하다는 설명은 오답

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Post-training Quantization은 학습 완료 후 적용 가능하다.”
X: “Post-training Quantization은 학습 과정 중에만 적용된다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. Quantization 방식의 세부 유형
– Dynamic Range Quantization: 가중치는 8비트로 변환하고, 실행 시 활성값은 동적으로 범위를 계산하여 양자화. 속도 향상과 모델 크기 감소 가능, 정확도 손실이 비교적 적음.
– Full Integer Quantization: 가중치와 활성값 모두를 정수(INT8)로 변환. Zero-point와 Scale factor를 사용하여 부동소수점 연산 없이 실행 가능. 임베디드·모바일 환경에서 효율적.
– Quantization Aware Training(QAT): 학습 단계에서 양자화 효과를 모사하여 훈련. 양자화로 인한 정확도 손실을 최소화할 수 있으며, PTQ(Post-training Quantization)보다 높은 정확도 유지 가능.

2. INT8 변환 관련 핵심 개념
– Zero-point: 양자화된 값에서 0이 실제 값의 어느 지점에 대응되는지를 나타내는 오프셋 값.
– Scale factor: 실제 값과 양자화된 값 사이의 비율을 나타내는 값.
– 대칭 양자화: 값의 범위를 0을 중심으로 대칭적으로 매핑, 주로 가중치에 사용.
– 비대칭 양자화: 범위가 0을 중심으로 대칭적이지 않을 때 사용, 활성값에 적합.

3. 하드웨어별 지원 및 성능 차이
– TPU: INT8 연산에 최적화, 매우 높은 처리 속도.
– GPU: FP16, INT8 모두 지원 가능하나, INT8 최적화 정도는 아키텍처에 따라 다름.
– CPU: 최신 CPU는 INT8 연산 가속 지원, 소형 모델에서 효율적.

4. Post-training Quantization에서 Calibration Dataset의 역할
– Calibration Dataset: 양자화 시 활성값의 범위를 추정하기 위해 사용되는 데이터셋.
– 중요성: 범위 추정이 정확해야 Zero-point와 Scale factor가 최적화되어 정확도 손실을 최소화할 수 있음.

5. 시험 출제 경향
– PTQ와 QAT의 비교: 적용 시기, 정확도, 속도, 구현 난이도 차이.
– INT8/FP16 혼합 정밀도: 속도와 메모리 절약, 정확도 유지의 균형 방법.
– 정확도 손실 최소화: QAT 활용, 적절한 Calibration Dataset 선택, 중요한 레이어만 양자화 등.