ㅁ 하이퍼파라미터 탐색

ㅇ 정의:
모델의 하이퍼파라미터를 효율적으로 찾기 위해 다른 학습 경험을 활용하는 방법으로, 이전 학습 작업에서 얻은 메타 지식을 기반으로 새로운 작업의 최적 하이퍼파라미터를 빠르게 예측하거나 탐색하는 기법.

ㅇ 특징:
– 과거 유사 데이터셋, 모델 구조, 성능 결과를 메타 데이터로 저장 및 분석.
– 새로운 작업에서 초기 탐색 공간을 줄여 탐색 속도 향상.
– Bayesian Optimization, Neural Processes, Few-shot Learning 기법과 결합 가능.
– 데이터셋 간 분포 차이에 따른 성능 편차 존재.

ㅇ 적합한 경우:
– 다수의 유사한 학습 작업을 반복 수행하는 환경.
– AutoML 시스템에서 다수 모델/데이터셋에 대해 빠른 튜닝이 필요한 경우.
– 클라우드 환경에서 비용 절감을 위해 탐색 횟수를 줄여야 하는 경우.

ㅇ 시험 함정:
– Meta-Learning for HPO는 단일 데이터셋 내에서만 하이퍼파라미터를 찾는 기법이 아님 (X)
– 과거 작업의 메타 데이터 없이도 동일한 성능 향상을 기대할 수 있음 (X)
– 데이터셋 간 유사성이 낮으면 성능 향상이 제한될 수 있음 (O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “Meta-Learning for HPO는 과거 유사 작업의 결과를 활용하여 새로운 작업의 하이퍼파라미터 탐색 효율을 높인다.” (O)
– “Meta-Learning for HPO는 반드시 동일 데이터셋에서만 작동한다.” (X)
– “데이터셋 간 분포 차이가 크면 성능 향상 폭이 줄어들 수 있다.” (O)

ㅁ 추가 학습 내용

Meta-Learning 기반 HPO에서는 메타 피처 설계가 핵심이며, 여기에는 데이터셋 크기, 특성 수, 클래스 불균형도 등 통계적 특성이 포함된다. 실무에서는 Warm-start Bayesian Optimization, Transfer Learning 기반 HPO, Multi-task Learning 기반 접근법 등이 활용된다. 시험에서는 Meta-Learning과 단순 Transfer Learning의 차이를 구분하는 문제가 출제될 수 있으며, 메타 학습에서의 task distribution 개념과 meta-train/meta-test 분리 방식이 자주 언급된다. 메타 러닝 기반 HPO의 한계로는 데이터셋 다양성이 부족할 경우 일반화 성능 저하, 그리고 메타 데이터 수집 및 관리 비용 발생이 있다.