ㅁ 서빙 최적화

ㅇ 정의:
– 서빙 최적화는 AI 모델이 실시간 환경에서 효율적으로 작동하도록 성능과 자원을 최적화하는 과정이다.

ㅇ 특징:
– 고성능 모델을 경량화하여 응답 속도를 개선.
– 클라우드 및 엣지 환경에서 리소스 사용량 최소화.

ㅇ 적합한 경우:
– 제한된 하드웨어 리소스에서 모델을 실행해야 하는 경우.
– 사용자 경험을 위해 빠른 응답 시간이 필요한 경우.

ㅇ 시험 함정:
– 서빙 최적화가 단순히 모델 크기 축소만을 의미한다고 오해하기 쉽다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 서빙 최적화는 모델의 경량화뿐만 아니라 응답 속도와 리소스 사용량을 동시에 개선하는 것을 목표로 한다.
– X: 서빙 최적화는 항상 모델의 성능을 희생한다.

================================

1. Distillation

ㅇ 정의:
– Distillation은 고성능 모델(Teacher Model)의 지식을 압축하여 경량화된 모델(Student Model)로 전달하는 기법이다.

ㅇ 특징:
– Teacher Model과 Student Model 간의 예측 분포를 활용.
– 모델 크기를 줄이면서도 성능 저하를 최소화.

ㅇ 적합한 경우:
– 제한된 계산 자원에서 고성능 모델의 활용이 필요한 경우.
– 실시간 응답성이 중요한 애플리케이션에서.

ㅇ 시험 함정:
– Distillation이 항상 Teacher Model의 성능을 완벽히 복제한다고 오해할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Distillation은 Teacher Model의 지식을 Student Model에 전달하여 성능을 최대한 유지하면서 모델 크기를 줄이는 기법이다.
– X: Distillation은 Teacher Model과 Student Model이 동일한 구조를 가져야만 한다.

ㅁ 추가 학습 내용

서빙 최적화와 관련된 주요 개념 정리:

1. **Quantization**
– 정의: 모델의 정밀도를 낮춰 크기를 줄이는 기법. 일반적으로 32비트 부동소수점 대신 8비트 정수를 사용하는 방식이 많음.
– 목적: 모델의 크기를 줄이고 계산 속도를 향상시켜 서빙 효율을 높임.
– 장점: 메모리 사용량 감소, 처리 속도 향상.
– 단점: 정밀도 감소로 인해 모델의 예측 성능이 다소 저하될 수 있음.

2. **Pruning**
– 정의: 모델에서 불필요한 연결이나 가중치를 제거하여 경량화하는 기법.
– 목적: 모델의 복잡도를 낮추고 계산량을 줄여 서빙 속도를 개선.
– 장점: 모델 크기 및 계산량 감소, 실행 속도 향상.
– 단점: 과도한 Pruning은 모델 성능에 부정적인 영향을 미칠 수 있음.

3. **Distillation**
– 정의: 고성능 모델(Teacher Model)의 지식을 저성능 모델(Student Model)에 전달하여 경량화 모델을 생성하는 기법.
– 목적: 모델 크기를 줄이면서도 성능을 최대한 유지.
– 장점: 경량화된 모델에서도 높은 성능 유지 가능.
– 단점: Teacher 모델과 Student 모델 간의 최적화 과정이 필요함.

4. **서빙 최적화 성능 평가 지표**
– Latency: 요청에 대한 응답 시간. 낮을수록 좋음.
– Throughput: 단위 시간당 처리 가능한 요청 수. 높을수록 좋음.
– Resource Utilization: 시스템 자원의 사용 효율. CPU, GPU, 메모리 등의 활용도를 평가하며, 자원의 낭비를 최소화하는 것이 중요.

이러한 개념들은 모델의 서빙 효율성을 높이고, 실시간 응답성과 자원 관리 측면에서 최적화를 이루기 위해 필수적으로 고려해야 합니다.