ㅁ 전이학습

ㅇ 정의:
기존에 학습된 모델의 지식을 새로운 문제에 적용하여 학습 시간을 단축하거나 성능을 향상시키는 기법.

ㅇ 특징:
– 사전 학습된 모델의 가중치를 활용.
– 데이터가 부족한 상황에서 유용.
– 새로운 문제에 맞게 미세 조정(Fine-tuning) 가능.

ㅇ 적합한 경우:
– 데이터 수집이 어려운 경우.
– 기존 문제와 유사한 도메인의 문제를 해결할 때.
– 계산 자원이 제한적인 환경에서 빠른 학습이 필요한 경우.

ㅇ 시험 함정:
– 전이학습이 항상 성능을 향상시키는 것은 아님.
– 사전 학습된 모델이 새로운 문제와 도메인 차이가 클 경우, 성능이 저하될 수 있음.
– Fine-tuning 과정에서 과적합 위험 존재.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 전이학습은 기존 모델의 가중치를 활용하여 새로운 문제를 빠르게 학습할 수 있다.
X: 전이학습은 항상 새로운 문제에서 성능을 보장한다.

================================

1. Feature Extraction

ㅇ 정의:
사전 학습된 모델의 특정 계층에서 추출된 특징을 새로운 문제의 입력으로 사용하는 기법.

ㅇ 특징:
– 사전 학습된 모델의 가중치를 고정한 상태로 활용.
– 추출된 특징은 새로운 문제의 입력 데이터로 사용됨.
– Fine-tuning 없이도 활용 가능.

ㅇ 적합한 경우:
– 새로운 문제의 데이터가 적고, 사전 학습된 모델의 도메인과 유사한 경우.
– 계산 자원이 제한적이고, 빠른 결과가 필요한 경우.

ㅇ 시험 함정:
– 사전 학습된 모델의 특성이 새로운 문제와 맞지 않을 경우, 성능이 떨어질 수 있음.
– Feature Extraction만으로는 복잡한 문제를 해결하기 어려울 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Feature Extraction은 사전 학습된 모델의 가중치를 고정한 상태로 특징을 추출한다.
X: Feature Extraction은 항상 Fine-tuning을 포함한다.

ㅁ 추가 학습 내용

전이학습은 기존에 학습된 모델을 새로운 문제에 적용하는 방법으로, Fine-tuning은 전이학습의 핵심 기술 중 하나입니다. Fine-tuning은 사전 학습된 모델의 일부 또는 전체 가중치를 새로운 데이터셋과 문제에 맞게 조정하여 최적화하는 과정입니다. 이 방법은 새로운 문제 도메인의 데이터가 제한적일 때 특히 유용하며, 효율적으로 성능을 향상시킬 수 있습니다.

전이학습의 성능은 사전 학습된 모델과 새로운 문제 도메인 간의 유사성에 크게 의존합니다. 즉, 두 도메인이 비슷할수록 전이학습의 효과가 높아질 가능성이 큽니다. 따라서 사전 학습된 모델을 선택할 때 해당 모델이 학습한 데이터와 새로운 문제 도메인이 얼마나 유사한지를 고려하는 것이 중요합니다.

전이학습의 대표적인 사례로는 다음과 같은 두 가지를 들 수 있습니다:

1. 이미지 분류에서의 ResNet 활용:
ResNet(Residual Network)은 이미지 분류 문제에서 널리 사용되는 딥러닝 모델입니다. ResNet은 깊은 신경망에서 발생할 수 있는 기울기 소실 문제를 해결하기 위해 설계되었습니다. 전이학습에서는 사전 학습된 ResNet 모델을 사용하여 새로운 이미지 데이터셋에 대한 분류 작업을 수행할 수 있습니다. Fine-tuning 과정에서는 ResNet의 마지막 레이어를 새로운 데이터셋에 맞게 변경하거나, 전체 네트워크를 재학습하여 새로운 도메인에 최적화합니다.

2. 자연어 처리에서의 BERT 활용:
BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리(NLP) 분야에서 강력한 성능을 보여주는 사전 학습된 모델입니다. BERT는 대규모 텍스트 데이터에서 학습된 언어 표현을 활용하여 다양한 NLP 작업(예: 문장 분류, 질의응답, 감정 분석 등)에 적용됩니다. 전이학습에서는 BERT의 사전 학습된 가중치를 기반으로 특정 NLP 태스크에 맞게 Fine-tuning을 수행합니다. 예를 들어, 감정 분석 작업에서는 BERT의 출력 레이어를 감정 분류를 위한 레이어로 변경하고, 새로운 데이터셋으로 재학습을 진행합니다.

이러한 사례를 학습하면 전이학습의 개념과 활용 방법을 구체적으로 이해할 수 있습니다. Fine-tuning의 과정과 전이학습의 도메인 유사성 중요성을 염두에 두고 다양한 응용 사례를 학습하는 것이 시험 대비에 도움이 됩니다.