ㅁ 가중치 최적화

ㅇ 정의:
모델의 크기, 깊이, 해상도 등을 동시에 조정하여 성능과 효율성을 균형 있게 향상시키는 최적화 기법. 주로 EfficientNet에서 제안된 방식으로, 단일 차원 확장이 아닌 복합적 비율 조정을 통해 자원 대비 정확도를 극대화.

ㅇ 특징:
– 깊이(depth), 너비(width), 입력 해상도(resolution)를 일정한 비율로 동시 확장.
– 단일 차원 확장 대비 더 나은 성능-연산량 균형 제공.
– 하이퍼파라미터 α, β, γ를 사용하여 각 차원의 확장 비율 결정.
– 제한된 연산 자원 내에서 최적의 모델 크기 조정 가능.

ㅇ 적합한 경우:
– 모바일/엣지 환경에서 제한된 연산 자원으로 최대 정확도 필요 시.
– 다양한 배포 환경에서 동일한 구조를 유지하며 규모만 조정하고자 할 때.
– 단일 차원 확장으로 인한 성능 한계가 발생하는 경우.

ㅇ 시험 함정:
– Compound Scaling은 단순히 파라미터 수를 줄이는 기법이 아님(O).
– 깊이만 조정하는 것을 Compound Scaling이라 부르는 것은 잘못(O/X 문제에서 X).
– EfficientNet만 사용하는 기법이라고 단정하면 오답(X), 다른 모델에도 적용 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Compound Scaling은 모델의 깊이, 너비, 해상도를 동시에 조정한다” → O
– “Compound Scaling은 모델의 너비만 늘려 성능을 높인다” → X
– “Compound Scaling은 GPU 메모리 사용량과 정확도를 균형 있게 조정한다” → O

ㅁ 추가 학습 내용

Compound Scaling은 모델의 깊이(depth), 너비(width), 해상도(resolution)를 동시에 확장하는 방법이다. 수식은 depth = α^φ, width = β^φ, resolution = γ^φ로 표현되며, φ는 스케일링 계수이다. 연산량 제약 조건으로 α·β^2·γ^2 ≈ 2를 두어 세 요소 간 균형을 맞춘다.
단일 차원만 확장할 경우의 문제점은 다음과 같다. 깊이만 늘리면 과적합 위험이 커지고, 너비만 늘리면 연산량이 급증하며, 해상도만 높이면 입력 처리 부담이 증가한다.
EfficientNet-B0부터 B7까지의 모델이 Compound Scaling을 대표적으로 적용한 사례이다. 시험에서는 ‘복합 스케일링’이라는 한글 표현과 영어 용어가 혼용되어 출제될 수 있다.
실제 구현 시 α, β, γ 값은 하이퍼파라미터 검색을 통해 결정하며, 임의로 비율을 설정하면 성능이 저하될 수 있다.