ㅁ 첨단 방법

ㅇ 정의:
– Population Based Training(PBT)은 여러 개의 모델(population)을 병렬로 학습시키면서, 주기적으로 성능이 낮은 모델의 가중치와 하이퍼파라미터를 성능이 좋은 모델로 교체하거나 변이시켜 최적의 하이퍼파라미터를 탐색하는 방법.

ㅇ 특징:
– 탐색(exploration)과 활용(exploitation)을 동시에 수행.
– 하이퍼파라미터를 학습 중에 동적으로 변경 가능.
– 병렬 처리 환경에서 효율적.
– 초기 하이퍼파라미터 설정에 덜 민감.

ㅇ 적합한 경우:
– 학습 시간이 길고 하이퍼파라미터 영향이 큰 딥러닝 모델.
– 고비용의 하이퍼파라미터 탐색을 효율적으로 수행해야 하는 경우.
– 하이퍼파라미터와 모델 파라미터가 상호 의존적인 경우.

ㅇ 시험 함정:
– PBT는 단순한 랜덤 서치나 그리드 서치와 달리 학습 도중 하이퍼파라미터를 변경한다는 점을 간과.
– 유전 알고리즘과 혼동: PBT는 모델 파라미터와 하이퍼파라미터를 함께 진화시킴.
– 모든 문제에서 효율적인 것은 아님(짧은 학습에는 비효율적).

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) PBT는 학습 중간에도 하이퍼파라미터를 조정할 수 있다.
– (O) PBT는 성능이 좋은 개체의 가중치와 하이퍼파라미터를 다른 개체에 전이할 수 있다.
– (X) PBT는 학습 시작 전에 모든 하이퍼파라미터를 고정해야 한다.
– (X) PBT는 단일 모델을 순차적으로 학습시키는 방식이다.

ㅁ 추가 학습 내용

PBT 관련 시험 대비 핵심 정리

1. 탐색-활용 균형
성능이 좋은 모델의 하이퍼파라미터를 그대로 복제하는 것에 그치지 않고, 일정 확률로 변이(mutation)를 적용하여 새로운 하이퍼파라미터 조합을 탐색한다. 이를 통해 최적화 과정에서 지역 최적해에 빠지지 않고 다양한 가능성을 시도할 수 있다.

2. 동적 스케줄링
학습률, 드롭아웃 비율 등 주요 하이퍼파라미터를 학습 중간에 변경하는 전략을 포함한다. 이러한 스케줄링은 모델 학습의 효율성을 높이고, 학습 단계별로 최적의 설정을 적용할 수 있도록 한다.

3. 병렬 분산 환경
GPU 클러스터 등 다수의 연산 자원에서 병렬로 PBT를 실행할 때, 통신 오버헤드와 동기화 주기를 최적화하는 것이 중요하다. 동기화가 너무 잦으면 오버헤드가 커지고, 너무 드물면 성능 향상이 제한될 수 있다.

4. 비교 알고리즘
PBT와 Bayesian Optimization, Hyperband, Evolutionary Strategies의 차이점을 명확히 이해해야 한다. 예를 들어, Bayesian Optimization은 확률 모델 기반의 탐색, Hyperband는 자원 할당 효율화, Evolutionary Strategies는 진화 연산 기반 최적화라는 특징이 있다.

5. 실제 적용 사례
PBT는 AlphaStar와 같은 대규모 강화학습 프로젝트, DeepMind의 다양한 연구에서 사용된 바 있다. 이러한 사례는 시험에서 구체적인 활용 예로 출제될 수 있다.