ㅁ 최적화 하이퍼파라미터 튜닝

ㅇ 정의:
– 최적화 하이퍼파라미터 튜닝은 모델 성능을 극대화하기 위해 하이퍼파라미터 값을 조정하는 과정을 의미함.

ㅇ 특징:
– 모델 학습 과정에서 직접적으로 학습되는 파라미터가 아니라 사전에 설정되는 값들로 구성됨.
– 적절한 하이퍼파라미터 설정은 모델의 일반화 성능 향상에 기여함.

ㅇ 적합한 경우:
– 모델의 성능이 기대에 미치지 못할 때 하이퍼파라미터 조정을 통해 성능 개선을 시도할 때.
– 복잡한 모델 구조에서 최적의 설정을 찾고자 할 때.

ㅇ 시험 함정:
– 하이퍼파라미터와 학습 파라미터의 차이를 혼동하게 하는 문제.
– 하이퍼파라미터 튜닝 방식을 잘못 이해하거나 적용하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 하이퍼파라미터는 모델 학습 전에 설정되며, 모델 성능에 큰 영향을 미친다.
– X: 하이퍼파라미터는 모델 학습 중에 자동으로 조정된다.

================================

1. Surrogate Model

ㅇ 정의:
– Surrogate Model은 실제 모델의 성능 평가를 대체하기 위해 사용되는 대리 모델로, 비용이 많이 드는 실제 모델 평가를 반복적으로 수행하지 않고도 최적화를 가능하게 함.

ㅇ 특징:
– 계산 비용이 높은 모델의 성능을 대략적으로 예측.
– Bayesian Optimization에서 자주 사용됨.
– 실제 모델보다 경량화되어 빠른 계산이 가능함.

ㅇ 적합한 경우:
– 대규모 데이터셋이나 복잡한 모델로 인해 성능 평가 비용이 높은 경우.
– 반복적인 하이퍼파라미터 튜닝이 필요한 경우.

ㅇ 시험 함정:
– Surrogate Model을 실제 학습 모델로 착각하게 만드는 문제.
– Surrogate Model의 결과를 절대적인 성능 지표로 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Surrogate Model은 실제 모델의 성능을 대체적으로 예측하며, 하이퍼파라미터 최적화에 활용된다.
– X: Surrogate Model은 최종적인 모델 학습에 사용된다.

ㅁ 추가 학습 내용

Surrogate Model의 주요 알고리즘과 특징, 적합한 사용 사례:

1. Gaussian Process (GP)
– 특징: Gaussian Process는 연속적인 함수의 분포를 모델링하며, 불확실성을 정량화할 수 있는 능력을 가지고 있다. 데이터 포인트 간의 상관관계를 커널 함수로 표현하며, 예측 시 신뢰 구간을 제공한다.
– 적합한 사용 사례: 데이터가 적고, 모델링하려는 함수가 매끄럽고 연속적인 경우에 적합하다. 특히, Bayesian Optimization에서 널리 사용된다.

2. Random Forest (RF)
– 특징: Random Forest는 여러 개의 결정 트리를 앙상블하여 예측을 수행하며, 과적합을 방지하기 위해 각각의 트리에 랜덤성을 부여한다. 빠르고 효율적이며, 다양한 유형의 데이터에 적용 가능하다.
– 적합한 사용 사례: 대규모 데이터셋에서의 회귀 또는 분류 문제에 적합하며, 데이터의 구조가 복잡하거나 비선형 관계를 포함할 경우 유용하다.

3. Gradient Boosted Trees (GBT)
– 특징: Gradient Boosted Trees는 약한 학습기(결정 트리)를 순차적으로 학습하여 정확도를 개선하는 앙상블 기법이다. 각 단계에서 이전 단계의 오차를 줄이는 방향으로 모델을 업데이트한다.
– 적합한 사용 사례: 고차원의 데이터셋에서 예측 성능을 극대화하고자 할 때 유용하며, 특히 데이터가 다소 많은 경우에도 효과적이다.

Bayesian Optimization의 과정:
1. 초기 데이터로 Surrogate Model을 학습한다.
2. Surrogate Model을 사용하여 목적 함수의 예측 및 불확실성을 계산한다.
3. Acquisition Function을 통해 다음 샘플링할 지점을 선택한다.
4. 선택된 지점에서 실제 목적 함수 값을 계산한다.
5. 새로운 데이터를 Surrogate Model에 추가하여 업데이트한다.
6. 위 과정을 반복하여 최적의 값을 찾는다.

Bayesian Optimization을 활용한 하이퍼파라미터 튜닝의 예시:
– 예를 들어, 머신러닝 모델의 하이퍼파라미터(예: 학습률, 정규화 파라미터)를 튜닝하려는 경우, Gaussian Process를 Surrogate Model로 사용하여 Bayesian Optimization을 수행한다.
– Acquisition Function으로 Expected Improvement(EI)를 사용하여 다음 샘플링할 하이퍼파라미터를 선택한다.
– 선택된 하이퍼파라미터로 모델을 학습하고 검증 성능을 평가한 후, 이를 Surrogate Model에 추가하여 업데이트한다.
– 최적의 하이퍼파라미터가 도출될 때까지 위 과정을 반복한다.

이 내용을 통해 Surrogate Model의 알고리즘과 Bayesian Optimization의 활용 방법을 체계적으로 이해할 수 있다.