ㅁ 시스템 최적화

ㅇ 정의:
시스템 최적화는 성능을 극대화하고 리소스 사용을 최소화하기 위해 시스템의 구성 요소를 조정하는 과정입니다.

ㅇ 특징:
– 주로 성능 향상과 비용 절감을 목표로 합니다.
– 하드웨어와 소프트웨어 양쪽에서 접근할 수 있습니다.
– 데이터 처리량, 응답 시간, 에너지 소비 등을 주요 지표로 삼습니다.

ㅇ 적합한 경우:
– 리소스가 제한된 환경에서 성능을 최대화해야 할 때.
– 비용 효율성을 극대화하고자 할 때.
– 시스템 병목현상이 발생할 때.

ㅇ 시험 함정:
– 최적화와 과최적화(overfitting)를 혼동하는 경우.
– 모든 시스템에서 동일한 최적화 기법이 적용된다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 시스템 최적화는 성능 향상과 리소스 효율화를 목표로 한다.
X: 시스템 최적화는 항상 하드웨어 업그레이드를 필요로 한다.

================================

1. 모델 압축

ㅇ 정의:
모델 압축은 딥러닝 모델의 크기를 줄이면서도 성능 저하를 최소화하는 기술입니다.

ㅇ 특징:
– 모델의 파라미터 수를 줄여 메모리 사용량과 계산 속도를 개선합니다.
– 경량화된 모델은 모바일 및 임베디드 기기에서 실행이 용이합니다.
– 대표적인 방법으로는 양자화, 가지치기, 지식 증류 등이 있습니다.

ㅇ 적합한 경우:
– 리소스가 제한된 환경에서 대규모 딥러닝 모델을 실행해야 할 때.
– 실시간 처리가 중요한 애플리케이션에서 지연 시간을 줄이고자 할 때.

ㅇ 시험 함정:
– 모델 압축이 항상 성능 향상을 보장한다고 오해하는 경우.
– 모든 압축 기법이 모든 모델에 동일하게 적용된다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 모델 압축은 경량화된 모델을 통해 메모리 사용량을 줄이고 계산 속도를 높인다.
X: 모델 압축은 항상 성능을 유지하며 모델 크기를 줄인다.

================================

1.1 양자화

ㅇ 정의:
양자화는 모델의 가중치와 활성 값을 낮은 비트 정밀도로 표현하여 모델 크기를 줄이는 기법입니다.

ㅇ 특징:
– 32비트 부동소수점 대신 8비트 정수로 표현하여 메모리 사용량과 계산 속도를 개선합니다.
– 일부 경우 정확도가 약간 감소할 수 있습니다.

ㅇ 적합한 경우:
– 메모리와 계산 리소스가 제한된 환경에서 모델을 실행해야 할 때.
– 모바일 디바이스와 같은 저전력 환경에서의 딥러닝 모델 실행.

ㅇ 시험 함정:
– 양자화가 모든 모델에서 동일한 정확도 감소를 유발한다고 오해하는 경우.
– 양자화가 모델의 모든 계층에 적용 가능한 것으로 간주하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 양자화는 모델의 가중치와 활성 값을 낮은 비트 정밀도로 표현하여 메모리 사용량을 줄인다.
X: 양자화는 항상 모델의 정확도를 유지한다.

================================

1.2 가지치기

ㅇ 정의:
가지치기는 모델의 중요도가 낮은 파라미터나 뉴런을 제거하여 모델 크기를 줄이는 기법입니다.

ㅇ 특징:
– 파라미터 수를 줄여 계산량과 메모리 사용량을 감소시킵니다.
– 가지치기 후에는 추가적인 미세 조정(fine-tuning)이 필요할 수 있습니다.

ㅇ 적합한 경우:
– 모델의 일부 파라미터가 학습에 크게 기여하지 않는 경우.
– 계산 효율성을 높이고자 할 때.

ㅇ 시험 함정:
– 가지치기가 항상 성능 저하를 유발한다고 오해하는 경우.
– 모든 뉴런을 균일하게 가지치기할 수 있다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 가지치기는 중요도가 낮은 파라미터를 제거하여 모델의 크기를 줄인다.
X: 가지치기는 모든 뉴런을 동일하게 제거한다.

================================

1.3 지식 증류

ㅇ 정의:
지식 증류는 크기가 큰 모델(교사 모델)의 지식을 작은 모델(학생 모델)에 전이하여 성능을 유지하면서 모델을 압축하는 기법입니다.

ㅇ 특징:
– 교사 모델의 출력을 활용해 학생 모델을 학습시킵니다.
– 학생 모델은 교사 모델에 비해 파라미터 수가 적지만 유사한 성능을 발휘할 수 있습니다.

ㅇ 적합한 경우:
– 대규모 모델을 경량화하여 실시간 처리를 요구하는 환경에서 활용할 때.
– 교사 모델이 제공하는 추가적인 정보를 활용하여 학생 모델을 학습시키고자 할 때.

ㅇ 시험 함정:
– 지식 증류가 항상 학생 모델의 성능을 교사 모델과 동일하게 만든다고 오해하는 경우.
– 교사 모델이 반드시 완벽히 학습된 모델이어야 한다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 지식 증류는 교사 모델의 출력을 활용하여 학생 모델을 학습시킨다.
X: 지식 증류는 항상 교사 모델과 동일한 성능의 학생 모델을 생성한다.

ㅁ 추가 학습 내용

1. 하이브리드 모델 압축: 하이브리드 모델 압축은 여러 모델 압축 기법을 결합하여 더 높은 효율성을 달성하는 접근 방식입니다. 예를 들어, 가지치기와 양자화를 함께 사용하거나 지식 증류와 양자화를 조합하여 모델의 크기를 줄이면서도 정확도를 유지하거나 개선할 수 있습니다. 이를 통해 서로 다른 압축 기법의 장점을 극대화하고 단점을 보완할 수 있습니다.

2. 양자화 구현 방법: 양자화는 모델의 파라미터와 연산을 저비트 표현으로 변환하여 계산 효율성을 높이는 기법입니다. 양자화의 구현 방법은 크게 두 가지로 나뉩니다.
– 포스트 트레이닝 양자화(Post-Training Quantization): 모델이 학습된 후에 양자화를 적용하는 방식으로, 추가적인 학습 과정 없이 간단히 구현할 수 있습니다. 하지만 성능 저하가 발생할 가능성이 있습니다.
– 훈련 중 양자화(Quantization-Aware Training): 모델을 학습하는 동안 양자화를 고려하여 학습을 진행하는 방식으로, 성능 저하를 최소화할 수 있지만 구현이 더 복잡하고 시간이 더 오래 걸릴 수 있습니다.

3. 가지치기의 유형: 가지치기는 모델의 불필요한 파라미터를 제거하여 크기를 줄이는 방법입니다. 가지치기는 제거 대상에 따라 두 가지로 나뉩니다.
– 구조적 가지치기(Structured Pruning): 특정 계층, 필터, 또는 채널과 같은 큰 단위의 구조를 제거합니다. 이는 모델의 구조를 간단히 하여 계산 효율성을 크게 개선할 수 있습니다.
– 비구조적 가지치기(Unstructured Pruning): 개별 파라미터를 제거하는 방식으로, 모델의 미세한 조정을 통해 크기를 줄입니다. 하지만 구조적 가지치기보다 하드웨어 최적화가 어렵고 계산 효율성 향상이 제한적일 수 있습니다.

4. 지식 증류와 온도 매개변수: 지식 증류는 교사 모델의 지식을 학생 모델에 전달하여 학생 모델의 성능을 향상시키는 방법입니다. 이 과정에서 온도 매개변수(Temperature Parameter)는 교사 모델의 출력 확률 분포를 조정하는 데 사용됩니다. 온도 매개변수를 높이면 출력 분포가 부드러워지고, 학생 모델이 더 많은 정보를 학습할 수 있게 됩니다. 반대로 온도 매개변수가 낮으면 출력 분포가 더 뚜렷해져 특정 클래스에 더 집중하게 됩니다. 온도 매개변수는 교사와 학생 모델 간의 정보 전달을 최적화하는 데 중요한 역할을 합니다.