ㅁ 파운데이션 모델 혁신

ㅇ 정의:
기존의 대규모 사전 학습 모델을 지속적으로 업데이트하고 개선하여 특정 도메인 또는 새로운 데이터에 적응하도록 만드는 기술.

ㅇ 특징:
– 대규모 데이터셋에 대한 지속적인 학습 가능.
– 기존 모델의 성능을 유지하면서 새로운 데이터에 적응.
– 데이터 드리프트 문제를 완화.

ㅇ 적합한 경우:
– 도메인 특화된 데이터가 지속적으로 추가되는 경우.
– 기존 모델의 성능이 새로운 데이터에서 저하되는 경우.

ㅇ 시험 함정:
– Continual Pretraining FM이 모든 상황에서 기존 모델보다 항상 우수하다고 단정 짓는 오류를 범할 수 있음.
– 데이터 드리프트와 데이터 누락의 차이를 혼동하는 문제.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Continual Pretraining FM은 기존 모델의 성능을 유지하면서 새로운 데이터에 적응할 수 있다.
– X: Continual Pretraining FM은 항상 새로운 데이터에서 최고의 성능을 보장한다.

================================

1. Continual Pretraining FM

ㅇ 정의:
사전 학습된 파운데이션 모델을 지속적으로 업데이트하여 새로운 데이터와 도메인에 적응시키는 기법.

ㅇ 특징:
– 기존 모델의 파라미터를 활용하여 추가 학습.
– Catastrophic Forgetting(망각 문제)을 최소화.
– 추가 데이터가 기존 데이터와 상충되지 않도록 학습.

ㅇ 적합한 경우:
– 점진적으로 데이터가 축적되는 환경.
– 특정 도메인의 성능 향상이 필요한 경우.

ㅇ 시험 함정:
– Continual Pretraining FM이 데이터의 질과 상관없이 항상 성능을 향상시킨다고 오해할 수 있음.
– 기존 데이터와 새로운 데이터 간의 균형 문제를 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Continual Pretraining FM은 Catastrophic Forgetting을 방지하기 위한 기술을 포함한다.
– X: Continual Pretraining FM은 모든 데이터 환경에서 동일한 성능을 보인다.

ㅁ 추가 학습 내용

1. Catastrophic Forgetting:
이 개념은 Continual Pretraining FM에서 중요한 문제로, 새로운 데이터를 학습할 때 이전에 학습한 데이터에 대한 성능이 저하되는 현상을 의미합니다. 이를 방지하기 위한 대표적인 해결 방법으로는 Elastic Weight Consolidation(EWC)과 Replay Buffer가 있습니다.
– Elastic Weight Consolidation(EWC): 모델의 중요한 파라미터가 크게 변경되지 않도록 제약을 가함으로써 이전 학습 내용을 유지하는 방법입니다.
– Replay Buffer: 이전 데이터를 일부 저장해 두고, 새로운 데이터와 함께 학습에 사용하는 방식입니다. 이로써 모델이 이전 데이터를 잊지 않도록 도움을 줍니다.
이 외에도 Regularization, Knowledge Distillation 등 다양한 기법이 존재하므로, 각각의 방법론과 적용 사례를 학습하는 것이 필요합니다.

2. 데이터 품질 관리:
Continual Pretraining FM에서 사용하는 데이터의 품질은 모델 성능에 직접적인 영향을 미칩니다. 따라서 데이터의 전처리와 필터링이 중요합니다.
– 데이터 전처리: 노이즈 제거, 중복 데이터 제거, 정규화 등 데이터를 학습에 적합한 형태로 정리하는 과정입니다.
– 데이터 필터링: 학습에 적합하지 않은 데이터를 걸러내는 작업으로, 품질 낮은 텍스트나 불필요한 정보가 포함된 데이터를 제거합니다.
데이터 품질 관리의 중요성과 구체적인 기법들을 학습하여, Continual Pretraining FM의 성능을 최적화하는 방법을 이해해야 합니다.

3. 전이 학습(Transfer Learning)과의 차이점:
Continual Pretraining FM과 전이 학습은 유사하지만, 명확히 구분해야 합니다.
– 전이 학습(Transfer Learning): 사전 학습된 모델을 활용하여 새로운 작업에 적응시키는 방법으로, 주로 고정된 데이터셋을 사용합니다.
– Continual Pretraining FM: 모델이 지속적으로 새로운 데이터를 학습하며 점진적으로 업데이트되지만, 이전 학습 내용이 손실되지 않도록 해야 합니다.
두 접근법의 목적, 데이터 처리 방식, 학습 과정에서의 차이를 이해하고, 시험 문제에서 이를 구분할 수 있도록 대비해야 합니다.