ㅁ 핵심 개념

ㅇ 정의:
대규모 데이터셋을 기반으로 사전 학습(pre-training)되어 다양한 다운스트림 작업에 적응할 수 있는 범용 인공지능 모델. 예를 들어 GPT, BERT, CLIP 등이 해당.

ㅇ 특징:
– 대규모 파라미터(수억~수천억 개)와 방대한 데이터로 학습
– 전이학습(Transfer Learning) 기반으로 다양한 태스크에 재활용 가능
– 멀티모달 지원 가능(텍스트, 이미지 등)
– 사전 학습 후 파인튜닝 또는 프롬프트 엔지니어링을 통해 활용

ㅇ 적합한 경우:
– 다양한 도메인에 적용 가능한 범용 AI가 필요한 경우
– 데이터 라벨링이 제한적이거나 비용이 많이 드는 환경
– 빠른 프로토타이핑 및 AI 서비스 확장이 필요한 경우

ㅇ 시험 함정:
– 파운데이션 모델과 일반 사전학습 모델(pre-trained model)을 혼동하는 경우
– 특정 태스크 전용 모델과 범용 모델의 차이를 묻는 문제
– 멀티모달 지원 여부를 틀리게 표기하는 함정

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “파운데이션 모델은 다양한 다운스트림 태스크에 활용 가능하다.”
– O: “파운데이션 모델은 대규모 데이터와 파라미터로 학습된다.”
– X: “파운데이션 모델은 특정 태스크 전용으로만 사용된다.”
– X: “파운데이션 모델은 파인튜닝 없이 특정 도메인에 최적화된다.”

ㅁ 추가 학습 내용

파운데이션 모델의 발전 배경에는 컴퓨팅 파워의 비약적인 증가와 대규모 데이터 수집이 가능해진 환경이 있다. 이를 통해 거대한 매개변수를 가진 모델을 학습할 수 있게 되었으며, 다양한 분야에 적용 가능한 범용성을 확보하게 되었다. 대표적인 아키텍처로는 Transformer 기반 구조가 있으며, 이는 병렬 처리와 긴 문맥 이해에 강점이 있다. 학습 과정은 일반적으로 대규모 데이터로 사전 학습(pre-training)을 수행한 후, 특정 과제에 맞추어 파인튜닝(fine-tuning)하는 방식으로 진행된다.

윤리적 이슈로는 데이터 편향으로 인한 차별적 결과, 사실과 다른 내용을 생성하는 환각(hallucination), 학습 데이터에 포함된 개인정보 유출 위험 등이 있다. 파운데이션 모델은 범용 AI와 밀접한 관계를 가지며, 하나의 모델이 다양한 작업에 적용될 수 있다는 점에서 멀티모달 AI(텍스트, 이미지, 음성 등 여러 형태의 데이터 처리)와도 연계된다. 기존 전이학습은 특정 사전 학습 모델을 다른 작업에 재사용하는 형태였지만, 파운데이션 모델은 훨씬 더 대규모 데이터와 범용성을 기반으로 다양한 작업과 도메인에 적용 가능하다는 점에서 차이가 있다.