ㅁ 사전학습/언어모델 기법/토큰/Task

ㅇ 정의:
– 사전학습에서 사용되는 다양한 언어 모델과 토큰화 및 태스크 관련 기법을 포괄하는 소분류.

ㅇ 특징:
– 언어 처리 및 모델 학습의 성능을 최적화하기 위한 다양한 기술을 포함.
– 모델의 일반화 능력을 높이고, 특정 태스크에 대한 적응력을 강화.

ㅇ 적합한 경우:
– 대규모 자연어 처리 태스크 수행 시.
– 사전학습된 모델을 활용하여 특정 도메인에 맞는 응용 개발 시.

ㅇ 시험 함정:
– 용어와 기법 간의 관계를 혼동할 수 있음.
– 특정 기법의 작동 원리와 장단점을 구분하지 못할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– “다음 중 사전학습 모델의 일반적인 특징이 아닌 것은?” (X)
– “사전학습된 언어 모델은 특정 태스크에 대해 미세조정이 필요하다.” (O)

================================

1. Dynamic masking

ㅇ 정의:
– 사전학습 중 입력 데이터에서 마스킹된 토큰 위치를 매번 다르게 설정하여 학습의 다양성을 높이는 기법.

ㅇ 특징:
– 동일한 데이터셋을 여러 번 학습할 때도 항상 다른 마스킹 패턴을 사용.
– 모델의 일반화 성능 향상에 기여.

ㅇ 적합한 경우:
– 대규모 텍스트 데이터에서 일반화된 사전학습 모델을 생성할 때.
– 데이터셋이 제한적일 때 다양성을 확보하기 위해.

ㅇ 시험 함정:
– Dynamic masking과 Static masking의 차이를 혼동할 수 있음.
– 마스킹 비율이 모델 성능에 미치는 영향을 간과할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Dynamic masking은 동일한 데이터셋에 대해 동일한 마스킹 패턴을 반복적으로 사용한다.” (X)
– “Dynamic masking은 학습 데이터의 다양성을 높이는 데 유용하다.” (O)

ㅁ 추가 학습 내용

Dynamic masking과 Static masking의 비교 및 관련 학습 내용을 정리하면 다음과 같습니다:

1. Static masking:
– 고정된 마스킹 패턴을 사용합니다. 즉, 특정 데이터 샘플에 대해 동일한 위치가 반복적으로 마스킹됩니다.
– 데이터 다양성이 부족할 수 있습니다. 동일한 마스킹 패턴이 반복되기 때문에 모델이 특정 위치에 대한 학습에 편향될 가능성이 있습니다.
– 데이터 준비 단계에서 마스킹이 적용되므로, 추가적인 계산 비용은 줄어들 수 있지만 데이터의 일반화 성능에 영향을 미칠 수 있습니다.

2. Dynamic masking:
– 학습 중에 실시간으로 마스킹 패턴이 동적으로 변경됩니다. 이는 동일한 데이터 샘플에 대해 다양한 마스킹이 적용될 수 있도록 만듭니다.
– 데이터 다양성을 높여 모델의 일반화 성능을 향상시킬 수 있습니다.
– 마스킹을 실시간으로 생성하기 때문에 계산 비용이 추가될 수 있습니다.

3. 두 방식의 차이점:
– Static masking은 간단하고 계산 비용이 적지만, 데이터 다양성이 제한적입니다.
– Dynamic masking은 계산 비용이 더 들지만, 데이터 다양성을 높이고 모델의 일반화 성능 향상에 기여할 수 있습니다.

4. 마스킹 비율이 모델 성능에 미치는 영향:
– 마스킹 비율이 너무 낮으면 모델이 충분히 학습하지 못할 수 있습니다.
– 마스킹 비율이 너무 높으면 입력 데이터의 정보가 지나치게 손실되어 학습 성능이 저하될 수 있습니다.
– 적절한 마스킹 비율을 설정하기 위해 실험적으로 다양한 비율을 테스트하고, 모델 성능(예: 손실 값, 정확도 등)을 평가하는 것이 중요합니다.

이를 통해 Dynamic masking과 Static masking의 장단점을 이해하고, 실험적으로 마스킹 비율을 조정하며 모델 성능 최적화를 도모할 수 있습니다.