ㅁ 학습기법 특징 및 업데이트

1. EMA 업데이트

ㅇ 정의:
– Exponential Moving Average(지수이동평균) 기법을 모델 파라미터 업데이트에 적용하여, 학습 중 안정적인 타겟 네트워크를 유지하는 방법.

ㅇ 특징:
– 현재 모델 가중치와 이전 타겟 가중치를 EMA 방식으로 혼합하여 업데이트.
– 노이즈에 덜 민감하고 학습 안정성 향상.
– BYOL, Mean Teacher 등 자기지도학습에서 자주 사용.

ㅇ 적합한 경우:
– 라벨이 없는 데이터에서 타겟 네트워크를 안정적으로 유지해야 하는 경우.
– 학습이 불안정하거나 과도한 진동이 발생하는 경우.

ㅇ 시험 함정:
– EMA는 학습률(learning rate)과는 직접적인 관계가 없으며, 파라미터 업데이트 비율(decay rate)과 관련됨.
– EMA 업데이트는 모델 파라미터를 직접 gradient로 업데이트하는 것이 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “EMA 업데이트는 타겟 네트워크의 가중치를 이전 가중치와 현재 가중치의 가중합으로 갱신한다.”
– X: “EMA 업데이트는 학습률을 점진적으로 감소시키는 스케줄링 기법이다.”

================================

2. Jigsaw Puzzle 변형 학습

ㅇ 정의:
– 이미지를 여러 조각으로 분할하고 순서를 섞은 후, 원래 순서를 맞추도록 학습시키는 자기지도학습 기법.

ㅇ 특징:
– 공간적 구조 이해를 강화.
– 라벨 없이도 학습 가능.
– 데이터 증강과 유사한 효과.

ㅇ 적합한 경우:
– 이미지의 공간적 패턴 이해가 중요한 경우.
– 라벨 데이터가 부족한 컴퓨터 비전 과제.

ㅇ 시험 함정:
– Jigsaw Puzzle 학습은 이미지의 색상 정보보다 위치 정보 학습에 더 초점.
– 퍼즐 조각 수가 많을수록 난이도는 증가하지만, 항상 성능이 향상되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Jigsaw Puzzle 학습은 이미지 조각의 원래 위치를 예측하는 과제를 통해 특징을 학습한다.”
– X: “Jigsaw Puzzle 학습은 주로 음성 데이터에서 시간 순서를 맞추는 데 사용된다.”

================================

3. MAE 마스킹 비율

ㅇ 정의:
– Masked Autoencoder(MAE)에서 입력 데이터(주로 이미지)의 일부 패치를 마스킹하는 비율.

ㅇ 특징:
– 높은 마스킹 비율(예: 75%)을 사용해도 성능이 유지되는 것이 특징.
– 모델이 제한된 정보로 전체를 복원하도록 학습.

ㅇ 적합한 경우:
– 이미지 복원 기반 자기지도 사전학습.
– 효율적인 학습 데이터 사용이 필요한 경우.

ㅇ 시험 함정:
– 마스킹 비율이 너무 낮으면 학습 난이도가 낮아져 일반화 성능 저하 가능.
– 마스킹 비율이 높다고 항상 좋은 것은 아니며, 데이터 특성에 따라 최적 비율이 다름.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “MAE는 높은 마스킹 비율에서도 안정적인 학습 성능을 보인다.”
– X: “MAE는 입력 데이터 전체를 항상 사용하여 복원 학습을 수행한다.”

ㅁ 추가 학습 내용

EMA 업데이트에서 decay rate(감쇠율) 값 조정이 중요하며, 일반적으로 0.99~0.999 범위가 사용된다.
Jigsaw Puzzle 변형 학습은 Rotation Prediction, Context Prediction과 같은 유사한 자기지도 학습 과제와 비교 문제가 출제될 수 있다.
MAE 마스킹 비율은 Vision Transformer(ViT) 기반 구조와 함께 출제 가능성이 높으며, 마스킹 위치 선택 방식(랜덤 방식과 구조적 방식)이 성능에 미치는 영향도 숙지해야 한다.
세 기법 모두 자원 효율성, 학습 안정성, 일반화 성능 향상과 관련된 비교 문제가 나올 수 있으므로, 각 기법의 장단점과 적용 사례를 표로 정리해 두는 것이 좋다.