ㅁ 파운데이션 모델 혁신

ㅇ 정의:
– 대규모 데이터와 컴퓨팅 자원을 활용하여 범용적인 AI 모델을 개발 및 개선하는 과정.

ㅇ 특징:
– 다양한 도메인에서 활용 가능하며, 특정 작업에 특화되지 않고 범용성을 지향.
– 모델의 크기와 학습 데이터의 양이 성능에 결정적인 영향을 미침.

ㅇ 적합한 경우:
– 다중 태스크를 처리하거나, 새로운 태스크를 빠르게 적응해야 하는 경우.
– 제한된 데이터로 고성능 모델을 구축하고자 할 때.

ㅇ 시험 함정:
– “파운데이션 모델은 특정 태스크에만 적합하다”는 잘못된 진술.
– “모델 크기가 작을수록 성능이 향상된다”는 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “파운데이션 모델은 다양한 태스크에 적용 가능하다.”
– X: “파운데이션 모델은 특정 도메인에만 제한적으로 사용된다.”

================================

1. Agentic FM

ㅇ 정의:
– 자율적으로 태스크를 설정하고 실행할 수 있는 능력을 가진 파운데이션 모델.

ㅇ 특징:
– 사용자의 명시적인 지시 없이도 목표를 설정하고 이를 달성하기 위한 계획을 수립.
– 강화 학습 및 자기 지도 학습 기법을 활용하여 학습함.

ㅇ 적합한 경우:
– 복잡한 문제 해결이 필요하며, 사용자 개입을 최소화하고자 할 때.
– 지속적으로 변화하는 환경에서 적응력을 요구하는 시스템.

ㅇ 시험 함정:
– “Agentic FM은 사용자의 명령 없이는 동작하지 않는다”는 진술.
– “강화 학습 기법은 Agentic FM에 사용되지 않는다”는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Agentic FM은 목표 설정 및 실행을 자율적으로 수행할 수 있다.”
– X: “Agentic FM은 항상 명시적인 사용자 지시가 필요하다.”

ㅁ 추가 학습 내용

Agentic FM과 관련된 학습 내용을 다음과 같이 정리합니다.

1. **강화 학습 (Reinforcement Learning)**
– 강화 학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 방식입니다.
– 주요 기법:
– PPO (Proximal Policy Optimization): 정책 기반 강화 학습 기법으로, 정책 업데이트 시 큰 변화가 발생하지 않도록 제한하여 안정성과 성능을 개선합니다.
– Q-Learning: 상태-행동 쌍의 가치를 학습하여 최적의 정책을 찾는 값 기반 강화 학습 방법입니다.
– DDPG (Deep Deterministic Policy Gradient): 연속적인 행동 공간에서 작동하는 강화 학습 기법으로, 액터-크리틱 구조를 사용합니다.

2. **자기 지도 학습 (Self-Supervised Learning)**
– 자기 지도 학습은 데이터의 구조적 특성을 활용해 레이블 없이 학습하는 방법입니다.
– 주요 기법:
– Contrastive Learning: 데이터 샘플 간의 유사성과 차이를 학습하여 표현력을 강화하는 방법입니다. 예: SimCLR, MoCo.
– Masked Autoencoders: 입력 데이터의 일부를 가리고 이를 복원하는 과정을 통해 학습합니다. 예: BERT, MAE.
– BYOL (Bootstrap Your Own Latent): 긍정 샘플 간의 유사성을 극대화하며, 명시적인 부정 샘플 없이 학습합니다.

3. **모델의 자율성 구현 메커니즘**
– 목표 설정 알고리즘:
– 모델이 스스로 해결해야 할 목표를 정의하고 설정하는 프로세스입니다.
– 예: Intrinsic Motivation 기반 알고리즘, 목표 조건 강화 학습.
– 계획 수립 알고리즘:
– 주어진 목표를 달성하기 위한 최적의 행동 순서를 생성하는 방법입니다.
– 예: A* 알고리즘, Monte Carlo Tree Search (MCTS), 모델 기반 강화 학습 기법.

4. **시험 대비 포인트**
– 각 기법의 작동 원리와 알고리즘의 핵심 개념을 이해하고, 이를 설명할 수 있도록 준비합니다.
– 사례 연구나 실제 적용 예시를 통해 메커니즘의 활용 방식을 익혀둡니다.
– 강화 학습과 자기 지도 학습 기법 간의 차이점과 활용 목적을 비교할 수 있어야 합니다.