ㅁ 가중치 최적화

ㅇ 정의: 가중치 최적화는 모델의 성능을 유지하면서 계산량 및 메모리 사용을 줄이기 위해 모델의 가중치를 조정하거나 압축하는 기술이다.

ㅇ 특징: 모델의 크기를 줄이면서도 정확도를 최대한 유지할 수 있도록 설계된다. 계산 효율성을 높이고 배포 환경에서의 실행 속도를 개선한다.

ㅇ 적합한 경우: 리소스가 제한된 환경에서 모델을 실행하거나 모바일 및 임베디드 디바이스에서 AI를 활용할 때 적합하다.

ㅇ 시험 함정: 가중치 최적화가 항상 모델의 정확도를 유지한다고 생각하면 안 된다. 최적화 과정에서 정확도가 감소할 수 있으며, 이를 최소화하는 방법이 중요하다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 가중치 최적화는 모델의 크기를 줄이면서도 정확도를 최대한 유지하는 데 초점을 맞춘다.
– X: 가중치 최적화는 정확도를 항상 100% 유지한다.

================================

1. Post-training Quantization

ㅇ 정의: Post-training Quantization은 모델을 훈련한 후, 가중치와 활성화 값을 저비트 형식(예: 8비트)으로 변환하여 모델 크기를 줄이고 계산 효율성을 높이는 기술이다.

ㅇ 특징: 추가적인 훈련 없이 기존 모델에 적용할 수 있다. 모델의 크기와 계산량을 크게 줄일 수 있다. 일부 경우 정확도 손실이 발생할 수 있다.

ㅇ 적합한 경우: 훈련 후 배포 단계에서 모델의 크기를 줄이고, 리소스 제한 환경에서 실행 속도를 개선하려는 경우.

ㅇ 시험 함정: Post-training Quantization이 모든 모델에 동일하게 적용 가능하다고 생각하면 안 된다. 모델의 특성에 따라 성능 저하가 발생할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Post-training Quantization은 훈련 후 추가적인 학습 없이 모델을 최적화한다.
– X: Post-training Quantization은 모든 모델에서 정확도를 유지한다.

================================

1.1 정밀도 감소 Quantization

ㅇ 정의: 정밀도 감소 Quantization은 가중치와 활성화 값을 저비트로 변환함으로써 모델 크기를 줄이고 계산 효율을 높이는 방법이다.

ㅇ 특징: 정밀도가 감소하지만, 계산량과 메모리 사용량을 크게 줄일 수 있다. 정확도 손실을 최소화하기 위해 다양한 기술이 사용된다.

ㅇ 적합한 경우: 리소스가 제한된 환경에서 모델을 실행하거나 배포 시 모델 크기를 줄여야 할 때.

ㅇ 시험 함정: 정밀도 감소 Quantization이 항상 정확도 손실을 초래한다고 생각하면 안 된다. 적절한 방법을 사용하면 정확도 손실을 최소화할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 정밀도 감소 Quantization은 모델의 크기를 줄이는 데 효과적이다.
– X: 정밀도 감소 Quantization은 모든 환경에서 정확도 손실 없이 적용된다.

================================

1.2 하드웨어 특화 Quantization

ㅇ 정의: 하드웨어 특화 Quantization은 특정 하드웨어 환경에 맞춰 가중치와 활성화를 최적화하는 기술이다.

ㅇ 특징: 하드웨어의 특성을 활용하여 계산 효율을 극대화한다. 특정 하드웨어에서 최적의 성능을 발휘하도록 설계된다.

ㅇ 적합한 경우: 특정 하드웨어 환경에서 AI 모델을 실행할 때, 예를 들어 TPU, GPU, 또는 모바일 칩셋.

ㅇ 시험 함정: 하드웨어 특화 Quantization이 모든 하드웨어에서 동일한 성능을 제공한다고 생각하면 안 된다. 하드웨어 특성에 따라 최적화 결과가 달라질 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 하드웨어 특화 Quantization은 특정 하드웨어 환경에서 최적의 성능을 발휘한다.
– X: 하드웨어 특화 Quantization은 모든 하드웨어 환경에서 동일한 성능을 제공한다.

ㅁ 추가 학습 내용

Post-training Quantization의 추가적인 주요 개념으로 Mixed Precision Quantization과 Dynamic Quantization이 있다.

1. Mixed Precision Quantization:
– 정의: 모델의 일부 레이어에만 저비트 형식을 적용하여 정확도 손실을 최소화하는 방법.
– 특징:
– 고비트 형식과 저비트 형식을 혼합하여 사용.
– 중요한 레이어(예: 모델의 민감한 부분)에는 고비트 형식을 유지하고, 덜 중요한 레이어에는 저비트 형식을 사용.
– 정확도와 효율성 간의 균형을 맞출 수 있음.
– 적합한 경우:
– 정확도가 중요한 애플리케이션에서 사용.
– 모델이 큰 경우, 일부 레이어만 저비트 형식으로 변환하여 자원 절약을 목표로 할 때.
– 시험 함정:
– 모든 레이어에 동일한 비트 수를 적용하는 것으로 혼동하지 않도록 주의.
– 적절한 레이어 선택이 중요하다는 점을 간과하지 말 것.

2. Dynamic Quantization:
– 정의: 실행 시점에서 활성화 값을 동적으로 저비트 형식으로 변환하여 계산 효율을 높이는 기술.
– 특징:
– 정적(Static) Quantization과 달리 실행 중에 활성화 값이 변환됨.
– 모델의 가중치는 정밀도를 유지하고, 활성화 값만 동적으로 저비트로 변환.
– 계산 효율성을 크게 높일 수 있음.
– 적합한 경우:
– 실시간 애플리케이션에서 사용.
– 모델이 실행 중에 다양한 입력 데이터를 처리해야 하는 경우.
– 시험 함정:
– 정적 Quantization과 혼동하지 않도록 주의.
– 실행 시점에서의 변환이기 때문에 추가적인 계산 오버헤드가 있을 수 있다는 점을 이해해야 함.

이 두 개념의 정의, 특징, 적합한 경우, 그리고 시험 함정을 명확히 이해하고, 서로 비교해 차이를 파악하는 것이 시험 대비에 효과적이다.