ㅁ 손실 마스킹

ㅇ 정의:
손실 마스킹은 모델 학습 시 특정 데이터 포인트를 손실 계산에서 제외하거나 가중치를 조정하여 모델의 성능을 최적화하는 기법이다.

ㅇ 특징:
– 결측값 또는 중요하지 않은 데이터가 포함된 경우 유용하게 사용된다.
– 손실 계산에서 제외된 데이터는 모델 가중치 업데이트에 영향을 미치지 않는다.
– 데이터의 품질에 따라 손실 마스킹이 학습 결과에 긍정적 또는 부정적 영향을 줄 수 있다.

ㅇ 적합한 경우:
– 입력 데이터에 결측값 또는 비정상치가 포함된 경우.
– 특정 데이터 포인트가 모델 학습에 불필요하거나 과적합을 유발할 가능성이 있는 경우.

ㅇ 시험 함정:
– 손실 마스킹이 적용된 경우에도 데이터의 분포 왜곡을 간과할 수 있다.
– 마스킹된 데이터가 모델 학습에 중요한 영향을 미칠 수 있다는 점을 간과할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 손실 마스킹은 결측값을 모델 학습에서 제외할 수 있다.
– X: 손실 마스킹은 모든 데이터 포인트를 동일하게 처리한다.

ㅁ 추가 학습 내용

1. 손실 마스킹과 가중치 마스킹의 정의와 차이점:
– 손실 마스킹: 손실 계산 단계에서 특정 데이터 포인트를 제외하거나 무시하는 기법. 이는 주로 결측값이나 불완전한 데이터가 포함된 경우, 해당 데이터가 모델 학습에 부정적인 영향을 미치지 않도록 하기 위해 사용된다.
– 가중치 마스킹: 모델의 특정 가중치를 학습 과정에서 고정하거나 제외하는 기법. 이는 모델 구조를 간소화하거나 특정 가중치의 영향을 제한하기 위해 활용된다.
– 차이점: 손실 마스킹은 데이터 포인트를 대상으로 하며, 손실 계산에 영향을 미친다. 반면, 가중치 마스킹은 모델의 파라미터(가중치)를 대상으로 하며, 학습 과정에서의 가중치 업데이트에 영향을 준다.

2. 손실 마스킹의 활용 사례:
– 결측값 처리: 데이터셋에 결측값이 존재할 때, 해당 데이터 포인트를 손실 계산에서 제외하여 모델이 잘못된 학습을 하지 않도록 방지.
– 불균형 데이터 처리: 클래스 간 데이터 분포가 불균형한 경우, 특정 클래스의 손실을 가중치 조정 없이 제외하거나 강조하는 데 사용.

3. 가중치 마스킹의 활용 사례:
– 모델 압축 및 경량화: 중요하지 않은 가중치를 제외하거나 고정하여 모델의 크기를 줄이고 계산 효율성을 높임.
– 특정 가중치의 영향 제한: 모델이 특정 입력 특징에 과도하게 의존하지 않도록 가중치를 제한하거나 고정.

4. 손실 마스킹이 모델 성능에 미치는 영향을 평가하기 위한 데이터 분석:
– 데이터 품질 분석: 손실 마스킹을 적용하기 전에 데이터셋에 결측값, 이상값, 노이즈 등이 포함되어 있는지 확인.
– 데이터 분포 분석: 데이터의 분포를 시각화하거나 통계적으로 분석하여 손실 마스킹이 필요한 부분을 식별.
– 손실 마스킹 적용 후 성능 비교: 손실 마스킹을 적용한 모델과 적용하지 않은 모델의 성능을 비교하여 효과를 평가.

5. 추가 학습 내용:
– 손실 마스킹과 가중치 마스킹의 이론적 배경과 적용 사례를 심도 있게 이해.
– 데이터 품질과 분포를 분석하는 도구와 기법(예: 히스토그램, 상자 그림, 결측값 비율 계산 등) 익히기.
– 손실 마스킹이 적용된 모델의 성능을 평가하는 방법(예: 교차 검증, 테스트 데이터셋 활용) 학습.