ㅁ 신경망 구조

ㅇ 정의:
신경망 구조는 인공지능 모델에서 데이터를 처리하고 학습하는 데 사용되는 계층적 구조를 의미하며, 입력 데이터에서 출력 데이터를 생성하기 위한 계산 과정을 정의한다.

ㅇ 특징:
– 입력층, 은닉층, 출력층으로 구성됨.
– 각 층은 뉴런으로 구성되며, 뉴런 간의 연결은 가중치로 표현됨.
– 비선형 활성화 함수를 사용하여 복잡한 패턴을 학습 가능.

ㅇ 적합한 경우:
– 이미지, 음성, 텍스트 등 다양한 데이터 유형 처리에 적합.
– 복잡한 패턴과 비선형 관계를 학습해야 하는 경우.

ㅇ 시험 함정:
– 신경망 구조와 머신러닝 알고리즘의 차이를 혼동할 수 있음.
– 층의 깊이와 뉴런 수가 성능에 미치는 영향을 과대평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 신경망 구조는 입력층, 은닉층, 출력층으로 구성된다.
X: 신경망 구조는 항상 3개의 층으로만 구성된다.

================================

1. Transformer

ㅇ 정의:
Transformer는 자연어 처리 및 시계열 데이터 분석에서 주로 사용되는 신경망 구조로, 셀프 어텐션 메커니즘을 활용하여 입력 데이터의 전체 문맥을 효율적으로 학습한다.

ㅇ 특징:
– RNN, LSTM과 달리 순차적 처리가 필요하지 않아 병렬 처리가 가능함.
– 셀프 어텐션과 포지셔널 인코딩을 통해 문맥 정보를 효과적으로 캡처함.
– 대규모 데이터에서 뛰어난 성능을 발휘함.

ㅇ 적합한 경우:
– 자연어 처리(NLP) 작업(예: 기계 번역, 텍스트 생성 등).
– 대규모 데이터셋을 활용한 학습이 가능한 경우.

ㅇ 시험 함정:
– Transformer와 CNN, RNN의 차이점을 혼동할 수 있음.
– 셀프 어텐션 메커니즘의 작동 원리에 대한 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Transformer는 셀프 어텐션을 활용하여 문맥 정보를 학습한다.
X: Transformer는 순차적 처리를 통해 문맥 정보를 학습한다.

ㅁ 추가 학습 내용

Transformer와 관련된 추가 개념 학습 내용:

1. **BERT와 GPT의 특징과 차이점**:
– BERT (Bidirectional Encoder Representations from Transformers):
– BERT는 입력 텍스트를 양방향으로 처리하여 문맥을 이해하는 데 초점을 맞춘 모델입니다.
– Masked Language Model(MLM)을 사용하여 일부 단어를 가리고 이를 예측하는 방식으로 학습합니다.
– 텍스트의 양방향 의미를 학습하기 때문에 문맥 이해 능력이 뛰어납니다.
– 주로 텍스트 분류, 질의응답, 문장 관계 예측 등과 같은 자연어 처리 작업에 사용됩니다.
– GPT (Generative Pre-trained Transformer):
– GPT는 입력 텍스트를 단방향으로 처리하며, 다음 단어를 예측하는 방식으로 학습합니다.
– Autoregressive 방식으로 작동하여 이전 단어를 기반으로 다음 단어를 생성합니다.
– 텍스트 생성 작업에 강점을 가지며, 대화형 응답 생성과 같은 작업에 적합합니다.
– GPT는 기본적으로 생성 중심의 모델이며, BERT는 이해 중심의 모델이라는 차이점이 있습니다.

2. **셀프 어텐션 메커니즘의 수학적 원리**:
– 셀프 어텐션(Self-Attention)은 입력 시퀀스 내의 각 단어가 다른 단어들과의 관계를 학습하도록 돕는 메커니즘입니다.
– 주요 계산 단계:
– Query, Key, Value 벡터 생성: 입력 임베딩을 선형 변환하여 각각 Q, K, V 벡터를 생성합니다.
– 어텐션 가중치 계산: Query와 Key 벡터의 내적(dot product)을 통해 각 단어 간의 연관성을 측정합니다. 이 값을 소프트맥스(Softmax) 함수로 정규화하여 가중치를 얻습니다.
– 결과 계산: 가중치를 Value 벡터에 곱하여 최종 어텐션 결과를 도출합니다.
– 이 과정은 병렬적으로 처리되므로 효율적이며, 문맥 정보를 효과적으로 캡처합니다.

3. **포지셔널 인코딩의 역할**:
– 포지셔널 인코딩(Positional Encoding)은 입력 시퀀스의 순서 정보를 모델에 전달하는 역할을 합니다.
– Transformer는 순환 구조가 없기 때문에 단어의 위치 정보를 직접적으로 학습하지 못합니다. 이를 보완하기 위해 포지셔널 인코딩을 추가합니다.
– 일반적으로 사인(sin)과 코사인(cos) 함수를 사용하여 각 위치에 대한 고유한 값을 생성합니다.
– 이 값은 입력 임베딩에 추가되며, 단어의 순서와 문맥 정보를 함께 학습할 수 있도록 돕습니다.

이러한 내용을 깊이 학습하면 Transformer 모델의 작동 원리와 파생 모델의 응용에 대한 이해를 높일 수 있습니다.