ㅁ 전이학습

ㅇ 정의:
기존에 학습된 모델을 새로운 도메인이나 데이터셋에 적응시키는 기법으로, 데이터 부족 문제를 해결하고 학습 속도를 향상시키는 데 사용된다.

ㅇ 특징:
– 기존 모델의 가중치를 활용하여 새로운 환경에 맞게 미세 조정 가능.
– 데이터가 적거나 수집이 어려운 경우 유용.
– 모델이 원래 학습된 도메인과 새로운 도메인의 차이가 클 경우 성능 저하 가능.

ㅇ 적합한 경우:
– 새로운 도메인에서 데이터가 부족한 경우.
– 기존 모델의 성능을 유지하면서 새로운 환경에 적응해야 하는 경우.
– 비슷한 특성을 가진 데이터셋 간의 학습.

ㅇ 시험 함정:
– 전이학습이 항상 성능을 향상시키는 것은 아님. 도메인 간 차이가 클 경우 오히려 성능이 저하될 수 있음.
– 전이학습과 재학습의 차이를 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– 전이학습은 데이터가 많은 경우에만 효과적이다. (X)
– 전이학습은 기존 모델의 가중치를 활용하여 새로운 도메인에 적응시킨다. (O)

================================

1. Domain Adaptation

ㅇ 정의:
기존 모델이 학습한 도메인과 새로운 도메인 간의 차이를 줄여 새로운 환경에서도 성능을 유지할 수 있도록 하는 기술.

ㅇ 특징:
– 원래 도메인과 새로운 도메인 간의 유사성을 분석하여 적응.
– 데이터 간 분포 차이를 줄이기 위한 다양한 방법론 적용.
– 모델이 도메인 간 차이를 효과적으로 극복할 수 있어야 함.

ㅇ 적합한 경우:
– 원래 학습된 데이터와 새 도메인의 데이터가 서로 다른 분포를 가진 경우.
– 서로 다른 환경에서 동일한 작업을 수행해야 하는 경우.

ㅇ 시험 함정:
– Domain Adaptation은 모든 도메인 간 학습에 적합하다. (X) 실제로는 도메인 간 차이가 너무 크면 성능이 저하될 수 있음.
– 도메인 적응은 새로운 데이터가 없을 때도 가능하다. (X) 새로운 도메인 데이터를 일부라도 필요로 함.

ㅇ 시험 대비 “패턴 보기” 예시:
– Domain Adaptation은 기존 모델이 학습한 도메인과 새로운 도메인의 차이를 줄이는 기술이다. (O)
– Domain Adaptation은 도메인 간 차이가 클수록 성능이 향상된다. (X)

ㅁ 추가 학습 내용

Domain Adaptation은 서로 다른 도메인 간의 차이를 줄여 모델의 성능을 향상시키는 기술입니다. 주요 하위 기술과 평가 지표는 다음과 같습니다.

1. Feature Alignment:
– 정의: 도메인 간 차이를 줄이기 위해 소스 도메인과 타겟 도메인의 특징을 동일한 공간으로 매핑하는 방법.
– 특징: 특징 공간에서의 유사성을 극대화하여 도메인 간 격차를 줄임.

2. Adversarial Training:
– 정의: 생성적 적대 신경망(GAN)을 활용하여 소스 도메인과 타겟 도메인의 분포 차이를 최소화하는 방법.
– 특징: 도메인 구분자를 학습시키고 이를 기반으로 도메인 간 차이를 제거하는 방향으로 모델을 훈련. 시험에서 자주 출제될 가능성이 높음.

3. Instance-based Adaptation:
– 정의: 소스 도메인의 특정 샘플을 타겟 도메인에 맞게 조정하거나 선택적으로 사용하는 방법.
– 특징: 개별 샘플을 활용하여 도메인 간 적응을 수행.

도메인 적응의 성공 여부를 평가하는 주요 지표:
1. Accuracy:
– 정의: 모델이 올바르게 예측한 비율을 나타내는 지표.
– 사용 사례: 모델의 전반적인 성능 평가에 사용.

2. F1 Score:
– 정의: Precision과 Recall의 조화 평균으로, 불균형 데이터셋에서 유용한 성능 지표.
– 사용 사례: 분류 문제에서 모델의 성능을 종합적으로 평가.

3. Domain Confusion Metric:
– 정의: 도메인 간 분포가 얼마나 혼합되었는지를 측정하는 지표.
– 사용 사례: 도메인 적응이 성공적으로 이루어졌는지를 평가하는 데 사용.