ㅁ 멀티태스크 학습

ㅇ 정의:
– 하나의 모델이 동시에 여러 관련 작업(Task)을 학습하도록 하는 머신러닝 접근 방식.
– 각 작업 간의 공통 표현을 학습하여 일반화 성능을 향상시킴.

ㅇ 특징:
– 파라미터 공유(Parameter Sharing)를 통해 모델 크기와 학습 시간을 절약.
– 데이터가 적은 작업에서도 다른 작업의 정보로 보완 가능.
– 작업 간 상관관계가 높을수록 성능 향상 폭이 큼.

ㅇ 적합한 경우:
– 여러 작업이 동일한 입력 데이터 구조를 공유할 때 (예: 이미지 분류와 객체 검출).
– 데이터가 부족한 작업을 보완하고 싶을 때.
– 모델 배포 시 하나의 모델로 다양한 기능을 제공하고 싶을 때.

ㅇ 시험 함정:
– 관련성이 낮은 작업을 함께 학습하면 오히려 성능이 저하될 수 있음.
– 모든 작업에서 균등한 성능 향상을 기대하기 어려움.
– ‘멀티태스크 학습’과 ‘전이학습(Transfer Learning)’을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “멀티태스크 학습은 파라미터 공유를 통해 여러 작업의 성능을 동시에 향상시킬 수 있다.”
– X: “멀티태스크 학습은 항상 모든 작업에서 성능 향상을 보장한다.”

================================

1. Multi-Task Training

ㅇ 정의:
– 하나의 모델이 여러 작업을 동시에 학습하도록 훈련하는 방법론으로, 주로 신경망 구조에서 파라미터 공유를 통해 구현.

ㅇ 특징:
– 학습 데이터와 피처를 공유하여 모델이 더 일반화된 표현을 학습.
– 각 작업의 손실 함수를 가중합하여 최적화.
– 일부 작업의 성능이 다른 작업의 학습에 긍정적 영향을 줌(Positive Transfer).

ㅇ 적합한 경우:
– 자연어 처리에서 문장 분류, 개체명 인식, 감정 분석을 동시에 수행.
– 컴퓨터 비전에서 이미지 분류와 세그멘테이션을 함께 수행.

ㅇ 시험 함정:
– Negative Transfer 발생 가능성을 간과.
– Task 간 데이터 불균형 문제를 무시.
– 멀티태스크 학습과 멀티모달 학습을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Multi-Task Training은 관련 작업 간의 학습 시너지 효과를 기대할 수 있다.”
– X: “Multi-Task Training은 서로 관련 없는 작업을 학습해도 항상 성능이 향상된다.”

ㅁ 추가 학습 내용

멀티태스크 학습에서는 작업 간 손실 함수의 가중치 설정이 매우 중요하다. 가중치를 잘못 설정하면 한 작업의 성능이 다른 작업에 부정적인 영향을 미칠 수 있다.
Hard Parameter Sharing은 대부분의 파라미터를 여러 작업이 공유하는 방식이며, Soft Parameter Sharing은 일부 파라미터만 공유하고 작업별 네트워크를 유지하는 방식이다.
Negative Transfer를 방지하기 위해서는 작업 간 관련성을 사전에 분석하는 방법(예: Task Similarity Measurement)을 사용하며, 이를 Curriculum Learning과 결합하는 전략도 중요하다.
시험에서는 Multi-Task Learning, Transfer Learning, Multi-Modal Learning의 차이를 구분하는 문제가 출제될 가능성이 높다.