ㅁ 성능 개선 복합 처리

ㅇ 정의:
– 여러 모델 경량화 기법을 동시에 적용하여 성능 저하를 최소화하면서 연산량과 메모리 사용량을 줄이는 방법.

ㅇ 특징:
– 단일 기법 대비 더 높은 경량화 효과.
– 기법 간 상호작용에 따른 성능 변화가 복잡함.
– 적용 순서와 비율 조절이 중요.

ㅇ 적합한 경우:
– 모바일·엣지 디바이스에서 실시간 추론이 필요한 경우.
– 제한된 하드웨어 환경에서 최대 성능을 끌어올려야 하는 경우.

ㅇ 시험 함정:
– 단일 기법과 혼동하여 효과를 단순 합산하는 문제.
– 기법 적용 순서의 영향 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Pruning과 Quantization을 동시에 적용하면 항상 성능이 향상된다” (X)
– “복합 경량화 기법은 적용 순서와 비율이 성능에 영향을 준다” (O)

================================

1. Pruning과 Quantization 조합

ㅇ 정의:
– 모델의 불필요한 가중치를 제거(Pruning)하고, 남은 가중치의 정밀도를 낮춰(Quantization) 연산량과 메모리 사용을 동시에 줄이는 기법.

ㅇ 특징:
– 연산량(FLOPs)과 모델 크기를 동시에 줄임.
– 순서: 일반적으로 Pruning 후 Quantization이 안정적.
– 과도한 적용 시 정확도 급락.

ㅇ 적합한 경우:
– 경량화와 전력 효율이 모두 중요한 모바일 AI 애플리케이션.

ㅇ 시험 함정:
– Quantization 후 Pruning이 항상 더 낫다고 오해.
– 두 기법의 효과가 단순 합산된다고 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Pruning과 Quantization은 순서를 고려해야 한다” (O)
– “Quantization은 모델 크기만 줄이고 연산량은 줄이지 않는다” (X)

================================

2. FLOPs 한계

ㅇ 정의:
– 모델의 연산량을 나타내는 지표인 FLOPs(초당 부동소수점 연산 횟수)가 줄어도 실제 속도 향상에 한계가 있는 현상.

ㅇ 특징:
– 메모리 대역폭, 병렬 처리 구조, 하드웨어 지원 여부 등 비연산 요소가 병목이 될 수 있음.
– FLOPs 감소율과 실제 지연 시간 감소율이 불일치.

ㅇ 적합한 경우:
– 하드웨어별 최적화 필요성 평가.
– 경량화 효과를 실제 서비스 성능과 연결해 분석할 때.

ㅇ 시험 함정:
– FLOPs 감소 = 무조건 속도 향상이라고 단정.
– FLOPs만 보고 모델 효율성을 판단.

ㅇ 시험 대비 “패턴 보기” 예시:
– “FLOPs가 절반이면 항상 추론 속도도 절반으로 빨라진다” (X)
– “메모리 병목으로 인해 FLOPs 감소가 속도 향상으로 이어지지 않을 수 있다” (O)

================================

3. EfficientNet 사례

ㅇ 정의:
– 모델 크기, 깊이, 해상도를 균형 있게 조정하는 Compound Scaling을 적용하여 효율성을 높인 CNN 구조.

ㅇ 특징:
– 동일한 정확도에서 더 작은 모델 크기와 연산량.
– 경량화와 고성능을 동시에 달성.
– 다양한 하드웨어 환경에서 효율적.

ㅇ 적합한 경우:
– 제한된 연산 자원에서 높은 정확도를 요구하는 이미지 분류.

ㅇ 시험 함정:
– 단순히 레이어 수만 줄인 것으로 오해.
– Compound Scaling을 단일 축 조정과 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– “EfficientNet은 깊이, 너비, 해상도를 동시에 조정한다” (O)
– “EfficientNet은 깊이만 줄여서 경량화한다” (X)

ㅁ 추가 학습 내용

Pruning과 Quantization을 함께 적용할 때는 사용하려는 하드웨어가 지원하는 Quantization 방식(INT8, FP16 등)을 확인해야 하며, TensorRT, ONNX Runtime 같은 연산 최적화 라이브러리의 지원 여부와 성능 차이도 고려해야 한다. FLOPs 한계와 관련해서는 단순 연산량뿐만 아니라 메모리 접근 패턴, 캐시 효율, 연산 병렬화 가능성이 실제 처리 속도에 미치는 영향이 중요하다. EfficientNet에서는 Compound Scaling의 수학적 공식과 α, β, γ 파라미터를 이용해 네트워크의 깊이, 너비, 해상도를 비례적으로 증가시키는 방식이 핵심이며, 이러한 확장 방식은 MobileNet, ResNet과 비교하여 특징과 차이를 이해해야 한다.