ㅁ 최신 연구 주제

ㅇ 정의:
대규모 데이터셋으로 사전 학습(pre-training)되어 다양한 다운스트림 작업에 적응(fine-tuning) 가능한 범용 인공지능 모델을 의미. 대표적으로 GPT, BERT, CLIP, DALL·E 등이 있음.

ㅇ 특징:
– 수십억~수천억 개의 파라미터를 보유
– 사전 학습 후 다양한 태스크에 전이학습 가능
– 멀티모달(텍스트, 이미지 등) 확장 가능
– 고성능이지만 학습 비용과 환경 부담이 큼

ㅇ 적합한 경우:
– 데이터가 부족한 특수 도메인에서 사전 학습된 모델을 활용해 빠르게 성능 확보
– 다중 언어, 다중 모달리티 작업
– 빠른 프로토타이핑과 실험

ㅇ 시험 함정:
– “Foundation Models”를 단일 태스크 전용 모델로 오해하는 경우
– 사전 학습(pre-training)과 파인튜닝(fine-tuning)의 차이를 혼동
– 모든 경우에 비용 효율적이라고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Foundation Models는 대규모 사전 학습을 통해 다양한 다운스트림 태스크에 적용 가능하다.”
X: “Foundation Models는 반드시 특정 태스크 전용으로 처음부터 학습된다.”

ㅁ 추가 학습 내용

Foundation Models는 대규모 데이터와 연산 자원을 활용해 학습된 범용 인공지능 모델로, 언어, 이미지, 코드 등 다양한 영역에 적용 가능하다. 기존 전이학습 모델과 비교해 규모가 훨씬 크고, 범용성·멀티모달성·자기지도학습 기반이라는 점이 특징이다.

이 모델들은 주로 라벨이 없는 대규모 데이터로 Self-supervised learning을 수행한다. 학습 후에는 Prompt engineering, In-context learning, Zero-shot 및 Few-shot learning과 같은 기법을 통해 다양한 작업에 적응할 수 있다.

사회적 영향 측면에서는 데이터와 알고리즘의 편향(Bias), 윤리적 문제, 대규모 학습으로 인한 환경 부담(Carbon footprint) 등이 중요한 논점이다.

파인튜닝 기법으로는 전체 파라미터를 조정하는 Full fine-tuning, 저랭크 행렬을 추가하는 LoRA(Low-Rank Adaptation), 특정 모듈만 학습하는 Adapter tuning 등이 있다.

대표적인 사례로는 OpenAI GPT 시리즈, Google PaLM, Meta LLaMA, Stability AI의 Stable Diffusion이 있다.