ㅁ 전이학습

ㅇ 정의:
기존에 학습된 모델의 지식을 새로운 문제에 적용하여 학습 시간을 단축하고 성능을 향상시키는 기법.

ㅇ 특징:
– 기존 데이터셋과 유사한 데이터셋에서 효과적임.
– 사전 학습된 모델의 품질에 따라 성능이 좌우됨.
– 적은 데이터로도 높은 성능을 낼 수 있음.

ㅇ 적합한 경우:
– 소규모 데이터셋으로 학습해야 하는 경우.
– 기존 문제와 유사한 새로운 문제를 해결해야 하는 경우.

ㅇ 시험 함정:
– 전이학습이 항상 성능을 향상시키는 것으로 오해할 수 있음.
– 사전 학습된 모델의 도메인이 완전히 다를 경우 효과가 낮음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 전이학습은 사전 학습된 모델을 활용하여 새로운 데이터셋에서 학습 시간을 줄이고 성능을 향상시킨다. (O)
2. 전이학습은 모든 데이터셋에 대해 동일한 성능을 보장한다. (X)

================================

1. Fine-tuning

ㅇ 정의:
사전 학습된 모델의 가중치를 초기화로 사용하고, 새로운 데이터셋에서 추가적으로 학습시키는 방법.

ㅇ 특징:
– 기존 모델의 가중치를 미세 조정하여 새로운 데이터셋에 적합하도록 학습.
– 학습률을 조정하여 기존 가중치가 크게 변경되지 않도록 함.
– 특정 계층만 고정하고 나머지 계층을 학습시키는 방식도 가능.

ㅇ 적합한 경우:
– 기존 모델과 새로운 문제 간에 유사한 패턴이 존재하는 경우.
– 제한된 데이터셋으로 학습해야 하는 경우.

ㅇ 시험 함정:
– Fine-tuning이 항상 기존 모델보다 성능이 높을 것으로 가정하는 경우.
– 모든 계층을 학습시키는 것이 항상 최적이라는 잘못된 이해.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Fine-tuning은 사전 학습된 모델의 가중치를 기반으로 새로운 데이터셋에서 추가 학습하는 방법이다. (O)
2. Fine-tuning은 반드시 모든 계층을 학습시켜야 한다. (X)

ㅁ 추가 학습 내용

전이학습(Transfer Learning)은 기존에 학습된 모델의 지식을 새로운 작업이나 데이터셋에 활용하는 기법으로, Fine-tuning과 Feature Extraction이 주요 방법으로 사용됩니다. 또한, 전이학습 과정에서 발생할 수 있는 도전 과제인 Catastrophic Forgetting도 중요한 주제입니다.

1. Feature Extraction(특징 추출):
Feature Extraction은 전이학습에서 자주 사용되는 방법 중 하나로, 사전 학습된 모델의 일부를 고정한 채 새로운 데이터셋에 대해 사용합니다. 일반적으로 사전 학습된 모델의 초기 레이어는 데이터의 일반적인 특징을 학습하고, 마지막 레이어는 특정 작업에 대한 정보를 학습하기 때문에, 초기 레이어를 고정하고 마지막 레이어만 재학습하는 방식으로 활용됩니다. 이를 통해 학습 시간을 줄이고, 새로운 데이터셋에서 효과적인 성능을 얻을 수 있습니다. 예를 들어, 이미지 분류 모델에서 사전 학습된 Convolutional Neural Network(CNN)의 컨볼루션 레이어를 고정한 뒤, 새로운 데이터셋에 맞는 분류 레이어를 추가하여 학습할 수 있습니다.

2. Catastrophic Forgetting(파국적 망각):
Catastrophic Forgetting은 전이학습의 주요 도전 과제 중 하나로, 모델이 새로운 작업을 학습하는 과정에서 이전 작업에 대한 정보를 잃어버리는 현상을 의미합니다. 이는 특히 Fine-tuning 과정에서 발생할 가능성이 높습니다. 예를 들어, 사전 학습된 모델을 새로운 데이터셋에 맞게 재학습할 때, 이전 데이터셋에 대한 모델의 성능이 급격히 저하될 수 있습니다. 이를 방지하기 위해 다음과 같은 방법들이 사용됩니다:
– Regularization(정규화): 이전 작업의 정보를 유지하기 위해 가중치에 제약을 가하는 방식입니다. 예를 들어, Elastic Weight Consolidation(EWC)와 같은 기법은 이전 작업에서 중요한 가중치를 보존하도록 돕습니다.
– Multi-task Learning(다중 작업 학습): 여러 작업을 동시에 학습함으로써 특정 작업에 대한 과적합을 방지하고, 이전 작업의 정보를 유지합니다.
– Replay Methods(재학습 기법): 이전 작업의 데이터를 일부 저장하거나 생성하여 새로운 작업 학습 시 함께 사용함으로써 망각을 줄이는 방식입니다.

이와 같은 내용을 학습하면 전이학습의 다양한 기법과 도전 과제를 깊이 이해할 수 있어 시험 대비에 유용할 것입니다.