ㅁ 최신 알고리즘

1. Reinforcement Learning

ㅇ 정의:
에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 행동 정책을 학습하는 기계학습 방법.

ㅇ 특징:
– 시퀀스 의사결정 문제 해결에 적합
– 명시적인 지도 데이터 없이 보상 신호를 통해 학습
– 탐험(Exploration)과 활용(Exploitation)의 균형 필요

ㅇ 적합한 경우:
– 게임 AI, 로보틱스 제어, 자율주행 등 연속적 의사결정이 필요한 분야

ㅇ 시험 함정:
– 지도학습과 혼동하여 ‘정답 레이블’이 있다고 오해하는 경우
– 보상 함수 설계가 학습 성공에 미치는 영향 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “보상 신호를 기반으로 정책을 개선하는 학습 방법”
X: “정답 데이터셋을 기반으로 분류를 수행하는 방법”

2. Deep Learning

ㅇ 정의:
다층 신경망을 활용하여 데이터의 복잡한 패턴과 표현을 학습하는 기계학습 방법.

ㅇ 특징:
– 대규모 데이터와 연산 자원 필요
– 자동 특징 추출 가능
– 이미지, 음성, 자연어 처리 등 다양한 분야에 적용

ㅇ 적합한 경우:
– 비정형 데이터 처리, 고차원 특징 학습이 필요한 경우

ㅇ 시험 함정:
– 전통적 머신러닝 대비 적은 데이터에서도 잘 동작한다고 착각
– 과적합 방지를 위한 정규화, 드롭아웃 등의 기법 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “다층 구조를 통해 입력 데이터의 추상적 특징을 학습”
X: “모든 상황에서 적은 데이터로도 높은 성능 보장”

3. Transformers

ㅇ 정의:
어텐션 메커니즘을 기반으로 시퀀스 데이터를 병렬 처리하며 문맥 정보를 학습하는 딥러닝 모델 구조.

ㅇ 특징:
– RNN/LSTM 대비 병렬 처리 가능
– 장기 의존성(Long-term dependency) 학습에 강점
– 사전학습(Pre-training)과 미세조정(Fine-tuning) 구조 활용

ㅇ 적합한 경우:
– 자연어 처리, 시퀀스 예측, 멀티모달 학습

ㅇ 시험 함정:
– 순차적 연산 구조라고 오해하는 경우
– 어텐션이 항상 모든 토큰 쌍에 동일한 가중치를 부여한다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “병렬 연산과 어텐션을 이용한 시퀀스 처리”
X: “순차적 은닉 상태 전파를 기반으로 동작”

4. Sparse Models

ㅇ 정의:
모델 파라미터나 활성화 값 중 상당 부분이 0인 희소 구조를 가지는 모델.

ㅇ 특징:
– 연산량과 메모리 사용량 절감
– 대규모 모델의 효율적 추론 가능
– 희소성 유도를 위한 정규화(L1 등) 기법 사용

ㅇ 적합한 경우:
– 자원 제약 환경, 모바일/엣지 디바이스, 실시간 추론

ㅇ 시험 함정:
– 희소성이 항상 성능 향상을 보장한다고 오해
– 희소성 유도 기법과 모델 압축 기법을 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “연산 효율을 높이기 위해 파라미터 일부를 0으로 만드는 모델”
X: “모든 파라미터를 균등하게 사용하는 모델”

ㅁ 추가 학습 내용

[정리]
Reinforcement Learning(RL)
– 주요 알고리즘: Q-learning, Policy Gradient, Actor-Critic
– 탐험-활용 균형 전략: ε-greedy, UCB(Upper Confidence Bound)

Deep Learning
– 주요 아키텍처: CNN, RNN, GAN, Autoencoder
– 학습 최적화 기법: Adam Optimizer, Learning Rate Scheduling

Transformers
– Self-Attention 수식 이해
– Positional Encoding 원리
– Encoder-Decoder 구조 이해
– BERT와 GPT의 구조적 차이

Sparse Models
– 모델 경량화 기법: Pruning, Quantization, Knowledge Distillation
– 희소 행렬 연산 최적화 방법

[시험 대비 체크리스트]
1. Q-learning, Policy Gradient, Actor-Critic의 알고리즘 절차와 차이를 설명할 수 있는가?
2. ε-greedy와 UCB의 탐험-활용 균형 원리와 수식을 제시할 수 있는가?
3. CNN, RNN, GAN, Autoencoder의 구조와 적용 예시를 설명할 수 있는가?
4. Adam Optimizer의 업데이트 공식과 하이퍼파라미터 의미를 알고 있는가?
5. Learning Rate Scheduling의 종류와 효과를 설명할 수 있는가?
6. Self-Attention의 계산 과정(Q, K, V 연산)을 수식으로 설명할 수 있는가?
7. Positional Encoding의 계산 원리를 이해하고 예시를 들 수 있는가?
8. Transformer의 Encoder와 Decoder의 구조적 차이를 설명할 수 있는가?
9. BERT와 GPT의 학습 방식 및 구조 차이를 명확히 구분할 수 있는가?
10. Pruning, Quantization, Knowledge Distillation의 개념과 장단점을 설명할 수 있는가?
11. 희소 행렬 연산 최적화 방법의 원리와 적용 사례를 제시할 수 있는가?