ㅁ 시스템 최적화

ㅇ 정의:
AI 모델의 크기, 연산량, 메모리 사용량 등을 줄여 경량화하고, 동일 하드웨어에서 더 빠르고 효율적으로 동작하도록 하는 기술.

ㅇ 특징:
– 모델의 파라미터 수를 줄이거나 연산 구조를 단순화함.
– 성능 저하를 최소화하면서 배포 효율성을 높임.
– 경량화 후에도 정확도 손실이 거의 없도록 조정 가능.

ㅇ 적합한 경우:
– 엣지 디바이스, 모바일 환경 등 자원 제약이 있는 환경.
– 실시간 응답이 필요한 서비스.
– 클라우드 비용 절감이 필요한 경우.

ㅇ 시험 함정:
– 모델 압축은 항상 정확도 향상을 보장하는 것이 아님 (X).
– 모델 압축은 학습 속도를 높이는 것이 주목적이 아님 (O는 추론 속도 향상).
– 모델 압축은 반드시 양자화만을 의미하지 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
– “모델 압축은 추론 속도를 향상시키고 메모리 사용량을 줄이는 데 사용된다.” (O)
– “모델 압축은 항상 모델의 정확도를 향상시킨다.” (X)
– “모델 압축은 양자화, 가지치기, 지식 증류 등 다양한 기법을 포함한다.” (O)

ㅁ 추가 학습 내용

모델 압축의 주요 기법은 가지치기, 양자화, 지식 증류이다.
가지치기는 불필요한 연결을 제거하여 파라미터 수를 줄이는 방법으로, 모델 크기와 연산량을 줄일 수 있으나 과도한 가지치기는 성능 저하를 유발할 수 있다.
양자화는 가중치의 비트를 줄여 메모리 사용량과 연산량을 절감하는 방법으로, 하드웨어 자원 절약에 유리하지만 정밀도 손실로 인한 성능 저하 가능성이 있다.
지식 증류는 큰 모델의 지식을 작은 모델로 전달하여 작은 모델이 유사한 성능을 내도록 하는 방법으로, 비교적 성능을 유지하면서 모델 크기를 줄일 수 있으나 추가 학습 과정이 필요하다.

시험에서는 모델 압축과 모델 최적화의 차이를 이해해야 한다. 모델 압축은 주로 학습이 끝난 모델을 배포 단계에서 경량화하는 데 사용되며, 모델 최적화는 학습 과정에서 성능 향상이나 효율성을 높이기 위한 전반적인 기법을 포함한다. 또한 모델 압축은 GPU, NPU 등 하드웨어 가속기의 특성과 밀접한 관련이 있으며, 하드웨어 구조에 맞춰 압축 기법을 적용하면 효율성을 극대화할 수 있다.