ㅁ 손실 마스킹

ㅇ 정의:
손실 계산 시 특정 값이나 범위를 무시하여 모델 학습의 효율성을 높이고자 하는 기법.

ㅇ 특징:
– 주로 시퀀스 데이터에서 패딩 토큰 또는 특정 토큰을 무시하기 위해 사용됨.
– 모델이 학습하지 않아야 할 정보로 인해 성능이 저하되는 것을 방지.
– 계산 효율성을 높이며, 불필요한 계산을 줄임.

ㅇ 적합한 경우:
– 자연어 처리에서 패딩 토큰이 포함된 데이터.
– 손실 계산에서 특정 값(예: -1)을 제외하고자 할 때.
– 데이터셋에 불완전하거나 학습에 방해가 되는 요소가 포함된 경우.

ㅇ 시험 함정:
– ignore_index 값을 설정하지 않을 경우, 패딩 값도 손실 계산에 포함되어 성능 저하.
– 무시할 값과 실제 데이터 값이 혼동될 수 있음.
– 설정한 ignore_index 값이 데이터셋의 실제 값과 충돌할 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 손실 마스킹은 계산 효율성을 높이기 위해 사용된다.
– X: 손실 마스킹은 모든 데이터를 학습에 포함시킨다.

================================

1. ignore_index

ㅇ 정의:
손실 함수에서 특정 인덱스 값을 무시하도록 설정하는 파라미터.

ㅇ 특징:
– 손실 계산 시 지정된 값은 계산에서 제외됨.
– 주로 CrossEntropyLoss와 같은 손실 함수에서 사용.
– 패딩 토큰 또는 학습에 불필요한 값들을 무시할 수 있음.

ㅇ 적합한 경우:
– 자연어 처리에서 패딩 토큰을 무시해야 할 때.
– 데이터셋에 잘못된 레이블(-1 등)이 포함된 경우.
– 특정 클래스나 값을 제외하고 손실을 계산하려는 경우.

ㅇ 시험 함정:
– ignore_index 값을 잘못 설정하면 학습에 필요한 데이터가 제외될 수 있음.
– 무시된 값이 실제로 모델 성능에 중요한 경우 오히려 성능 저하.
– 설정한 값이 데이터와 맞지 않을 경우 오류 발생.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: ignore_index는 손실 계산에서 특정 값을 제외하는 데 사용된다.
– X: ignore_index는 모든 값을 손실 계산에 포함한다.

ㅁ 추가 학습 내용

1. ignore_index를 사용할 때 유의점:
– 무시하려는 값이 실제 레이블 값과 혼동되지 않도록 데이터셋을 사전에 철저히 검토하고 전처리해야 합니다.
– 데이터셋에서 무시할 값을 명확히 정의하고, 이 값이 다른 유효한 레이블 값과 중복되지 않도록 해야 합니다.

2. ignore_index가 적용된 손실 함수의 동작 이해:
– ignore_index가 설정된 경우, 손실 함수는 해당 인덱스에 대해 계산을 수행하지 않습니다.
– 이를 통해 특정 값(예: 패딩 토큰 등)이 손실 계산에 영향을 미치지 않도록 할 수 있습니다.
– 무시된 값이 학습 과정에서 모델의 가중치 업데이트에 포함되지 않는다는 점을 이해해야 합니다.

3. 모델 출력 및 성능 분석:
– ignore_index로 인해 무시된 값이 학습 및 평가 과정에서 모델의 출력에 어떤 영향을 미치는지 분석해야 합니다.
– 무시된 값이 포함된 데이터 샘플이 모델의 전체적인 성능 평가에 미치는 영향을 검토해야 합니다.
– 필요시, 무시된 값이 있는 데이터 샘플을 별도로 분석하여 모델이 다른 샘플에서 일관된 성능을 유지하는지 확인합니다.

4. 추가적인 고려사항:
– ignore_index 설정이 데이터셋의 불균형 문제를 야기하지 않는지 확인합니다.
– 무시된 값이 포함된 데이터가 많을 경우, 모델 학습에 충분한 유효 데이터가 남아 있는지 점검합니다.