ㅁ 아키텍처/블록

ㅇ 정의:
신경망 아키텍처에서 특정 기능을 수행하는 모듈이나 구성 요소를 의미하며, 다양한 블록과 활성화 함수가 포함될 수 있음.

ㅇ 특징:
– 특정 작업에 최적화된 구조로 설계됨.
– 모듈화되어 있어 재사용 가능성이 높음.
– 다양한 활성화 함수와 결합하여 성능을 향상시킴.

ㅇ 적합한 경우:
– 복잡한 신경망 설계 시 모듈화된 접근이 필요한 경우.
– 특정 기능(예: 비선형성, 정규화 등)이 요구되는 경우.

ㅇ 시험 함정:
– 아키텍처와 블록의 차이를 혼동할 수 있음.
– 특정 블록의 역할과 특성을 정확히 이해하지 못할 경우 오답 가능성 증가.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 신경망 아키텍처는 모듈화된 블록으로 구성될 수 있다.
– X: 모든 블록은 활성화 함수를 포함한다.

================================

1. GELU

ㅇ 정의:
Gaussian Error Linear Unit의 약자로, 입력값에 대해 가우시안 분포를 기반으로 부드럽게 활성화하는 함수.

ㅇ 특징:
– ReLU와 달리 부드러운 곡선을 가짐.
– 입력값이 0 이하일 때도 작은 값으로 활성화 가능.
– Transformer 모델 등에서 자주 사용됨.

ㅇ 적합한 경우:
– 자연어 처리 및 컴퓨터 비전과 같은 대규모 데이터 학습 시.
– 부드러운 비선형성이 필요한 경우.

ㅇ 시험 함정:
– GELU와 ReLU, Sigmoid 등과의 차이를 혼동할 수 있음.
– 수학적 정의를 묻는 문제에서 정확한 표현을 놓칠 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: GELU는 입력값이 음수일 때도 비선형 활성화를 제공한다.
– X: GELU는 항상 ReLU보다 성능이 우수하다.

ㅁ 추가 학습 내용

GELU의 학습을 위해 다음 내용을 정리합니다:

1. GELU의 수학적 정의:
– GELU는 Gaussian Error Linear Unit의 약자로, 활성화 함수의 일종입니다.
– 수식은 φ(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x³)))로 표현됩니다.
– 이 수식은 입력값 x를 기반으로 부드러운 활성화 효과를 제공하며, tanh 함수와 다항식을 결합하여 계산됩니다.

2. GELU의 그래프 형태:
– GELU의 그래프는 입력값 x가 증가함에 따라 점진적으로 활성화되는 곡선 형태를 가집니다.
– ReLU와 달리, GELU는 음수 영역에서도 완만한 활성화 값을 가지며, 입력값이 0에 가까울 때 부드럽게 전환됩니다.

3. Transformer 모델에서 GELU가 사용된 이유:
– Transformer 모델은 복잡한 패턴을 학습해야 하므로, 부드럽고 연속적인 활성화 함수가 필요합니다.
– GELU는 입력값의 변화에 따라 부드럽게 반응하므로, 모델의 학습 안정성과 성능 향상에 기여합니다.
– 특히, GELU는 비선형성을 제공하면서도 ReLU와 달리 음수 입력값에 대해 완만한 활성화 효과를 유지합니다.

4. GELU와 ReLU의 성능 비교:
– 실험 결과에 따르면, GELU는 ReLU보다 학습 과정에서 더 나은 성능을 보이는 경우가 많습니다.
– GELU는 부드러운 전환 특성 덕분에 학습 안정성을 높이고, 특정한 데이터 분포에서 더 높은 정확도를 제공할 수 있습니다.
– 그러나 ReLU는 계산량이 적고 구현이 간단하다는 장점이 있어, 상황에 따라 선택이 달라질 수 있습니다.

위 내용을 바탕으로 GELU의 정의, 그래프 형태, Transformer에서의 활용 이유, ReLU와의 비교를 명확히 이해하고 문제에 적용할 수 있도록 준비하세요.