ㅁ 표형 데이터 증강

ㅇ 정의:
표형 데이터 증강은 표 형태로 정리된 데이터셋에서 데이터의 다양성을 증가시키기 위한 다양한 기술을 적용하는 과정을 의미함.

ㅇ 특징:
– 주로 정형 데이터에 대해 적용됨.
– 데이터 불균형 문제를 해결하거나 모델의 일반화 성능을 높이기 위해 사용됨.
– 데이터의 원본 특성을 유지하면서도 새로운 샘플을 생성하는 것이 중요함.

ㅇ 적합한 경우:
– 데이터셋의 클래스 불균형이 심한 경우.
– 모델의 과적합을 방지하고 일반화 성능을 향상시키고자 하는 경우.

ㅇ 시험 함정:
– 데이터 증강 기술을 무분별하게 사용하면 오히려 데이터의 품질이 저하될 수 있음.
– 데이터 증강 후 검증 데이터셋과의 중복 여부를 확인하지 않으면 평가 결과가 왜곡될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 표형 데이터 증강은 비정형 데이터셋에만 적용된다. (X)
2. 데이터 증강은 데이터 불균형 문제를 해결할 수 있는 유용한 방법이다. (O)

================================

1. 랜덤 오버샘플링

ㅇ 정의:
랜덤 오버샘플링(Random Oversampling)은 소수 클래스의 데이터를 무작위로 복제하여 데이터셋의 클래스 균형을 맞추는 기법임.

ㅇ 특징:
– 소수 클래스의 비율을 증가시켜 데이터 불균형 문제를 해결함.
– 원본 데이터를 단순히 복제하는 방식이므로 데이터 다양성은 증가하지 않음.
– 과적합의 위험이 있음.

ㅇ 적합한 경우:
– 소수 클래스의 데이터가 극히 적어서 다른 증강 방법을 적용하기 어려운 경우.
– 데이터셋의 크기가 작아 추가적인 데이터 확보가 어려운 경우.

ㅇ 시험 함정:
– 랜덤 오버샘플링은 항상 데이터셋의 성능을 향상시킨다. (X)
– 소수 클래스 데이터의 비율을 무작위로 증가시킨다. (O)

ㅇ 시험 대비 “패턴 보기” 예시:
1. 랜덤 오버샘플링은 소수 클래스 데이터를 복제하여 데이터셋의 불균형을 해결한다. (O)
2. 랜덤 오버샘플링은 데이터 다양성을 크게 증가시킨다. (X)

ㅁ 추가 학습 내용

랜덤 오버샘플링은 소수 클래스 데이터를 단순 복제하여 데이터 불균형 문제를 완화하는 기법입니다. 하지만 이 방법은 몇 가지 한계점을 가지고 있습니다. 첫째, 원본 데이터를 반복적으로 복제하기 때문에 데이터셋의 다양성이 증가하지 않습니다. 둘째, 복제된 데이터는 모델이 소수 클래스에 과적합(overfitting)되도록 유도할 수 있습니다. 이로 인해 모델의 일반화 성능이 저하될 가능성이 있습니다.

이러한 한계점을 보완하기 위해 SMOTE(Synthetic Minority Oversampling Technique)라는 대안적인 방법이 제안되었습니다. SMOTE는 소수 클래스 데이터 포인트 간의 선형 보간을 통해 새로운 데이터를 생성하는 기법입니다. 구체적으로, 소수 클래스 데이터 포인트를 선택한 후, 그와 가장 가까운 k개의 이웃 데이터 포인트를 기준으로 새로운 데이터를 생성합니다. 이 과정에서 두 데이터 포인트 사이의 차이를 랜덤한 비율로 보간하여 새로운 샘플을 만들어냅니다. 이러한 방식은 데이터셋의 다양성을 증가시키며, 단순 복제 방식과 달리 과적합 문제를 완화하는 데 도움을 줍니다.

또한, 과적합 문제를 완화하기 위한 추가적인 방법으로는 다음과 같은 접근법이 있습니다:
1. **언더샘플링과의 병행 사용**: 소수 클래스 데이터를 오버샘플링하는 동시에 다수 클래스 데이터를 일부 제거하는 언더샘플링을 함께 사용하면 데이터 균형을 더욱 효과적으로 맞출 수 있습니다.
2. **앙상블 기법 활용**: 랜덤 포레스트나 배깅과 같은 앙상블 기법을 적용하여 과적합을 방지하고 모델의 예측 성능을 향상시킬 수 있습니다.
3. **데이터 증강**: 소수 클래스 데이터의 특성을 유지하면서 다양한 변형을 가하여 데이터셋의 다양성을 높이는 방법입니다.
4. **비지도 학습 기반 생성**: GAN(Generative Adversarial Networks)과 같은 기법을 활용하여 소수 클래스 데이터를 더욱 정교하게 생성할 수 있습니다.

SMOTE는 특히 데이터 불균형 문제를 해결하는 데 강력한 도구로 널리 사용되며, 다양한 변형 기법(SMOTEENN, Borderline-SMOTE 등)이 개발되어 특정 데이터셋의 특성에 맞게 적용될 수 있습니다. 이를 통해 데이터셋의 품질을 향상시키고 모델의 예측 성능을 개선할 수 있습니다.