ㅁ 최적화 방법

ㅇ 정의:
머신러닝 및 딥러닝 모델의 성능을 극대화하기 위해 하이퍼파라미터의 최적 조합을 탐색하는 기법들의 총칭.

ㅇ 특징:
탐색 공간의 크기, 계산 자원, 시간 제약에 따라 다양한 방식이 사용되며, 각 방법별로 효율성과 정확도가 다름.

ㅇ 적합한 경우:
모델 성능이 하이퍼파라미터에 크게 의존하고, 수동 조정이 비효율적인 경우.

ㅇ 시험 함정:
각 방법의 장단점과 적용 상황을 혼동하거나, 용어를 잘못 매칭하는 경우 출제됨.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “하이퍼파라미터 최적화는 모델 성능 향상에 필수적이다.”
X: “하이퍼파라미터 최적화는 항상 그리드 탐색만 사용한다.”

================================

1. 베이지안 최적화

ㅇ 정의:
이전 실험 결과를 기반으로 확률 모델(주로 가우시안 프로세스)을 사용하여 다음 탐색 지점을 선택하는 최적화 방법.

ㅇ 특징:
샘플 효율성이 높고, 적은 시도로도 좋은 성능을 찾을 수 있음. 탐색과 활용의 균형을 유지.

ㅇ 적합한 경우:
평가 비용이 높은 모델, 탐색 공간이 크고 비선형적일 때.

ㅇ 시험 함정:
무작위 탐색과 혼동하거나, 항상 전역 최적해를 보장한다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “베이지안 최적화는 이전 평가 결과를 활용한다.”
X: “베이지안 최적화는 평가 결과를 전혀 고려하지 않는다.”

================================

2. 그리드/랜덤 탐색

ㅇ 정의:
그리드 탐색은 미리 정의된 하이퍼파라미터 격자 전부를 탐색하고, 랜덤 탐색은 지정한 범위 내에서 무작위로 조합을 선택해 탐색하는 방법.

ㅇ 특징:
그리드 탐색은 전수조사로 재현성이 높으나 계산량이 큼, 랜덤 탐색은 효율적이나 재현성이 낮음.

ㅇ 적합한 경우:
탐색 공간이 작거나, 병렬 계산이 가능할 때(그리드), 빠른 대략적 최적값이 필요할 때(랜덤).

ㅇ 시험 함정:
랜덤 탐색이 항상 그리드 탐색보다 느리다고 착각하거나, 그리드 탐색이 항상 최적값을 보장한다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “랜덤 탐색은 일부 경우 그리드 탐색보다 효율적이다.”
X: “그리드 탐색은 항상 랜덤 탐색보다 빠르다.”

================================

3. 자동화

ㅇ 정의:
AutoML 도구나 프레임워크를 활용하여 하이퍼파라미터 최적화를 자동으로 수행하는 방식.

ㅇ 특징:
사용자의 개입을 최소화하고, 다양한 최적화 기법을 조합해 사용. 반복적이고 복잡한 탐색 과정을 자동화.

ㅇ 적합한 경우:
하이퍼파라미터 튜닝 경험이 적거나, 대규모 모델/데이터셋을 다룰 때.

ㅇ 시험 함정:
자동화가 항상 최적의 해를 보장한다고 오해하거나, 모든 상황에서 수동 조정보다 우수하다고 착각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “AutoML은 다양한 최적화 기법을 통합하여 사용할 수 있다.”
X: “AutoML은 항상 수동 튜닝보다 우수하다.”

================================

4. 과적합 방지

ㅇ 정의:
하이퍼파라미터 최적화 과정에서 모델이 학습 데이터에만 과도하게 적합되는 것을 방지하는 기법.

ㅇ 특징:
교차 검증, 조기 종료, 정규화 기법 등을 활용하여 일반화 성능을 유지.

ㅇ 적합한 경우:
데이터셋 크기가 작거나, 모델 복잡도가 높아 과적합 위험이 큰 경우.

ㅇ 시험 함정:
과적합 방지가 성능 저하를 항상 유발한다고 오해하거나, 하이퍼파라미터 튜닝과 무관하다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “교차 검증은 과적합 방지에 유용하다.”
X: “과적합 방지는 하이퍼파라미터 튜닝과 관련이 없다.”

ㅁ 추가 학습 내용

베이지안 최적화에서는 탐색과 활용의 균형을 맞추기 위해 획득함수(Acquisition Function)를 사용하며, 대표적으로 Expected Improvement(EI), Upper Confidence Bound(UCB) 등이 있다.
그리드 탐색과 랜덤 탐색을 비교할 때, 랜덤 탐색은 고차원 공간에서 효율적인데, 이는 중요한 파라미터에 대해 더 많은 샘플링 기회를 제공하기 때문이다.
자동화된 하이퍼파라미터 최적화 및 AutoML 영역에서는 Hyperopt, Optuna, Google Vizier, Auto-sklearn 등의 대표적인 프레임워크의 특징을 숙지하는 것이 시험 대비에 유리하다.
과적합 방지를 위해서는 데이터 분할 전략인 Train/Validation/Test Split과 K-Fold 교차검증의 차이를 이해해야 하며, 조기 종료(Early Stopping)의 동작 원리도 함께 학습해야 한다.