ㅁ 라벨링 기술

ㅇ 정의:
데이터 라벨링을 효율적으로 수행하기 위해, 모델이 학습에 가장 유용하다고 판단한 데이터를 우선적으로 선택하여 라벨링하는 기술.

ㅇ 특징:
– 전체 데이터 중 일부만 라벨링하여도 높은 성능을 도출 가능.
– 반복적인 학습 사이클을 통해 모델 성능을 점진적으로 개선.
– 라벨링 비용 절감 효과.

ㅇ 적합한 경우:
– 대규모 비라벨 데이터셋을 보유하고 있는 경우.
– 라벨링 비용이 높은 경우.
– 초기 모델 성능이 낮아 추가적인 데이터 라벨링이 필요한 경우.

ㅇ 시험 함정:
– Active Learning이 항상 데이터셋 크기를 줄이는 것은 아님.
– 모든 데이터셋에 대해 동일한 성능 향상을 보장하지 않음.
– 모델 선택에 따라 효율성이 달라질 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Active Learning은 모든 데이터셋에서 동일한 성능 향상을 보장한다. (X)
2. Active Learning은 라벨링 비용 절감에 기여할 수 있다. (O)
3. Active Learning은 초기 모델 성능이 낮은 경우 적합하지 않다. (X)
4. Active Learning은 반복적인 학습 사이클을 통해 성능을 개선한다. (O)

================================

ㅁ 추가 학습 내용

Active Learning에서 활용되는 대표적인 전략과 단점, 이를 보완하기 위한 방법론을 다음과 같이 정리합니다:

1. **Uncertainty Sampling**:
– 정의: 모델이 가장 불확실하게 예측하는 데이터를 선택하여 라벨링을 요청하는 전략.
– 특징: 불확실성이 높은 데이터를 학습에 포함함으로써 모델의 성능을 빠르게 개선할 수 있음. 불확실성은 일반적으로 예측 확률, 엔트로피, 또는 마진(예측 확률 간 차이) 등을 기준으로 측정됨.

2. **Query-by-Committee**:
– 정의: 여러 개의 서로 다른 모델(위원회)을 구성하고, 이 모델들 간에 의견이 가장 불일치하는 데이터를 선택하여 라벨링을 요청하는 전략.
– 특징: 다양한 관점에서 데이터를 평가하여 모델이 학습해야 할 중요한 데이터를 선택함. 의견 불일치 정도는 예측 결과 간의 분산 또는 투표 결과 등을 기준으로 측정됨.

3. **Expected Model Change**:
– 정의: 특정 데이터를 학습했을 때 모델이 얼마나 변할지 예측하고, 모델 변화가 가장 클 것으로 예상되는 데이터를 선택하여 라벨링을 요청하는 전략.
– 특징: 모델의 학습 방향성을 고려하여 데이터를 선택함으로써 효율적인 학습을 도모함. 모델 변화는 일반적으로 기울기 변화 등을 기준으로 평가됨.

4. **Active Learning의 단점**:
– 초기 모델의 품질에 따른 학습 효율 차이: 초기 모델이 충분히 좋은 품질을 가지지 못하면 선택된 데이터가 학습에 큰 도움을 주지 못할 수 있음.
– 라벨링 데이터의 편향 가능성: 선택된 데이터가 특정 패턴이나 분포에 치우쳐 있을 경우, 학습된 모델이 편향된 결과를 낼 수 있음.

5. **단점을 보완하기 위한 방법론**:
– 초기 모델 품질 개선: 초기 모델을 사전 학습(pre-training)하거나, 충분한 양의 라벨링 데이터를 사용하여 초기 성능을 보장함.
– 데이터 다양성 확보: 데이터 선택 시 불확실성뿐만 아니라 데이터의 다양성을 고려하여 편향을 줄이는 전략을 사용함. 대표적으로 Clustering-based Sampling이나 Diversity Sampling을 활용할 수 있음.
– 앙상블 접근법: 여러 모델을 활용하여 데이터를 평가하고, 다양한 관점에서 데이터를 선택함으로써 편향을 줄임.
– 반복적 검증: 선택된 데이터가 학습에 적합한지 주기적으로 검증하고, 필요하면 데이터 선택 기준을 조정함.