ㅁ 핵심 개념

ㅇ 정의:
대규모 데이터를 기반으로 사전 학습된 범용 모델로, 다양한 다운스트림 작업에 적용 가능한 AI 모델을 의미한다.

ㅇ 특징:
– 방대한 데이터와 컴퓨팅 자원으로 학습됨.
– 특정 작업에 맞게 추가 학습이 가능함.
– 언어, 이미지, 코드 등 다양한 도메인에서 활용 가능.

ㅇ 적합한 경우:
– 대규모 데이터가 존재하며, 여러 응용 분야에서 활용 가능한 모델이 필요한 경우.
– 특정 도메인에 맞춘 추가 학습을 통해 성능을 향상시키고자 할 때.

ㅇ 시험 함정:
– 파운데이션 모델과 전이 학습의 개념 혼동.
– 범용성과 특정 작업 성능 간의 관계를 정확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 파운데이션 모델은 특정 작업에만 사용할 수 있다. (X)
2. 파운데이션 모델은 추가 학습 없이도 모든 작업에서 최적의 성능을 보인다. (X)
3. 대규모 데이터를 기반으로 학습된 모델은 파운데이션 모델이다. (O)

ㅁ 추가 학습 내용

파운데이션 모델의 발전 배경과 주요 사례, 한계점에 대한 학습 내용은 다음과 같이 정리할 수 있습니다.

1. 파운데이션 모델의 발전 배경:
– 파운데이션 모델은 대규모 데이터와 고성능 컴퓨팅 자원의 발전을 바탕으로 등장한 인공지능 모델이다.
– 다양한 언어, 이미지, 음성 데이터를 학습하여 여러 작업에 범용적으로 활용될 수 있는 특징을 가진다.
– 딥러닝 기술의 발전과 함께, 사전 훈련(pretraining)과 미세 조정(fine-tuning) 기법이 널리 사용되면서 파운데이션 모델의 성능이 크게 향상되었다.

2. 주요 사례:
– GPT(Generative Pre-trained Transformer): OpenAI가 개발한 언어 모델로, 자연어 생성과 이해에서 뛰어난 성능을 보인다. GPT-3는 1750억 개의 매개변수를 가지고 있으며, 다양한 언어 작업을 수행할 수 있다.
– BERT(Bidirectional Encoder Representations from Transformers): Google이 개발한 모델로, 문맥을 양방향으로 이해하는 데 초점을 맞춘다. 검색 엔진, 번역, 질의응답 시스템 등에서 널리 활용된다.
– CLIP, DALL-E: OpenAI가 개발한 멀티모달 모델로, 텍스트와 이미지를 결합한 작업을 수행할 수 있다. 예를 들어, 텍스트 설명에 기반한 이미지 생성 작업이 가능하다.

3. 파운데이션 모델의 한계점:
– 편향된 데이터로 인한 윤리적 문제: 모델이 학습하는 데이터가 편향적일 경우, 결과물에도 편향이 반영될 수 있다. 이는 차별, 왜곡된 정보 전달 등 윤리적 문제를 초래할 수 있다.
– 높은 자원 소모: 파운데이션 모델의 학습과 운영에는 대규모의 컴퓨팅 자원과 에너지가 필요하다. 이는 환경적 비용 증가와 소수의 대형 기업에 의한 독점 문제를 유발할 수 있다.
– 해석 가능성 부족: 모델의 결정 과정을 이해하거나 설명하기 어려운 경우가 많아, 신뢰성과 투명성 확보에 어려움이 있다.
– 특정 작업에서의 한계: 파운데이션 모델은 범용적으로 설계되었지만, 특정 작업에서는 여전히 전문화된 모델보다 성능이 떨어질 수 있다.

이 내용을 바탕으로 파운데이션 모델의 개념, 사례, 한계점을 체계적으로 이해하면 시험 대비에 도움이 될 것이다.