ㅁ 구조/방법

ㅇ 정의:
– Sparse Mixture는 혼합전문가 모델(MoE)에서 모든 전문가를 동시에 사용하는 대신, 입력별로 일부 전문가만 활성화하는 방식의 구조를 의미한다.

ㅇ 특징:
– 게이트 네트워크가 입력에 따라 k개의 전문가만 선택
– 계산 효율성이 높고, 메모리 사용량 절감
– 전문가별 특화 학습 가능
– 학습 시 전문가 불균형 사용 문제 발생 가능

ㅇ 적합한 경우:
– 대규모 모델에서 연산량 절감이 필요한 경우
– 다양한 패턴의 입력 데이터에 대해 전문가별 특화 처리가 유리한 경우

ㅇ 시험 함정:
– ‘모든 전문가를 항상 사용한다’는 설명은 잘못된 것 (X)
– ‘Sparse Mixture는 MoE의 하위 개념이 아니다’라는 설명은 틀림 (X)
– ‘게이트 네트워크가 전문가를 선택한다’는 설명은 맞음 (O)

ㅇ 시험 대비 “패턴 보기” 예시:
– Sparse Mixture는 입력마다 일부 전문가만 활성화한다 (O)
– Sparse Mixture는 항상 모든 전문가를 동시에 사용한다 (X)
– Sparse Mixture는 게이트 네트워크 없이 동작한다 (X)
– Sparse Mixture는 계산 효율성을 높일 수 있다 (O)

ㅁ 추가 학습 내용

Sparse Mixture에서는 전문가 선택을 담당하는 게이트 네트워크 설계가 핵심이다. 전문가 선택 방식으로는 Softmax 기반 확률 선택과 Top-k 선택이 주로 사용된다. 학습 과정에서 특정 전문가의 사용 빈도가 치우치는 문제를 완화하기 위해 Load Balancing Loss를 추가하는 경우가 많다. 시험에서는 Sparse Mixture와 Dense Mixture의 차이, 그리고 MoE 구조의 장단점 비교가 자주 출제된다. 또한 실제 구현 시에는 통신 병목 현상과 분산 학습 환경에서의 효율성 문제를 함께 고려해야 한다.