ㅁ 효율적 학습

ㅇ 정의:
대규모 배치 학습에서 학습률을 안정적으로 조정하기 위해 Layer-wise Adaptive Moments를 적용한 최적화 기법.

ㅇ 특징:
– Adam의 1차, 2차 모멘트 추정 방식을 기반으로 각 레이어별로 학습률을 스케일링.
– 대규모 배치(예: 32K 이상)에서도 학습 안정성과 수렴 속도를 유지.
– BERT, GPT 등 대형 NLP 모델 학습에서 효과적.

ㅇ 적합한 경우:
– GPU/TPU 클러스터에서 매우 큰 배치 크기로 학습하는 경우.
– Adam 사용 시 대규모 배치에서 성능 저하가 발생하는 경우.

ㅇ 시험 함정:
– LAMB는 작은 배치 학습에서는 Adam보다 항상 우수하다고 착각하기 쉬움(X)
– LAMB는 Layer-wise 학습률 조정을 수행함(O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “LAMB는 대규모 배치 학습을 위해 설계된 옵티마이저이다.” (O)
– “LAMB는 모든 레이어에 동일한 학습률을 적용한다.” (X)

================================

1. LAMB optimizer

ㅇ 정의:
Layer-wise Adaptive Moments optimizer로, Adam의 모멘텀 추정과 RMSProp의 스케일링 아이디어를 결합하여 각 레이어별로 학습률을 조정하는 알고리즘.

ㅇ 특징:
– Adam 대비 대규모 배치에서 일반화 성능이 유지됨.
– 각 레이어의 파라미터 노름(norm)에 기반한 학습률 보정.
– 학습 안정성을 위해 모멘트 추정치와 스케일링을 함께 적용.

ㅇ 적합한 경우:
– 수천~수만 배치 크기의 대규모 언어 모델 학습.
– 분산 환경에서 학습 속도와 성능을 동시에 확보해야 하는 경우.

ㅇ 시험 함정:
– LAMB는 Adam을 완전히 대체하는 것이 아니라, 특정 상황(대규모 배치)에 최적화됨(O)
– LAMB는 2차 모멘트를 사용하지 않는다(X)

ㅇ 시험 대비 “패턴 보기” 예시:
– “LAMB는 각 레이어별 파라미터 크기에 따라 학습률을 조정한다.” (O)
– “LAMB는 소규모 배치 학습에서 항상 더 좋은 결과를 낸다.” (X)

ㅁ 추가 학습 내용

LAMB의 내부 수식과 동작 원리를 이해하는 것이 중요하다. 파라미터 업데이트 과정은 다음과 같이 이루어진다.
1. m_t(1차 모멘트)와 v_t(2차 모멘트)를 계산한다.
2. bias correction을 적용하여 초기 단계의 편향을 보정한다.
3. 각 레이어별로 파라미터 노름과 업데이트 노름의 비율을 계산한다.
4. 이 비율을 이용해 업데이트 벡터를 스케일링한다.

LARS와의 차이점은 LAMB가 Adam 기반의 모멘트 추정과 bias correction을 포함하고 있으며, 레이어별 스케일링을 적용한다는 점이다. AdamW와 비교하면, LAMB는 weight decay 적용 방식에서 AdamW와 유사하게 decoupled weight decay를 사용하지만, 대규모 배치 학습에서 안정성을 위해 추가적인 레이어별 스케일링을 수행한다.

Weight decay는 파라미터 크기를 억제하여 과적합을 방지하는 역할을 하며, LAMB에서는 학습률 조정과 독립적으로 적용된다. Warmup 스케줄링은 초기 학습 단계에서 학습률을 점진적으로 증가시켜, 대규모 배치 학습 시 발생할 수 있는 불안정한 업데이트를 완화하는 데 사용된다.

시험에서는 대규모 배치 학습 시 일반화 성능 저하를 방지하는 방법, LAMB의 학습률 조정 방식, LARS 및 AdamW와의 비교, weight decay와 warmup의 역할 등이 서술형 또는 객관식으로 출제될 수 있다.