ㅁ 대규모 모델 활용

1. GPT-3

ㅇ 정의:
OpenAI에서 개발한 1750억 개의 파라미터를 가진 대규모 자연어 처리(NLP) 언어 모델로, 사전학습(Pre-training)과 미세조정(Fine-tuning)을 통해 다양한 언어 작업을 수행할 수 있음.

ㅇ 특징:
– Few-shot, One-shot, Zero-shot 학습이 가능하여 별도의 대규모 라벨링 데이터 없이도 다양한 작업 수행
– Transformer 아키텍처 기반, 대규모 데이터셋으로 학습
– 범용성 높음: 번역, 요약, 질의응답, 창작 등 다방면 활용 가능
– API 형태로 제공되어 직접 모델 학습 없이도 서비스 가능

ㅇ 적합한 경우:
– 빠른 프로토타입 제작 및 다양한 언어 기반 서비스 개발
– 데이터 라벨링이 어렵거나 시간/비용 제약이 있는 경우
– 다국어 지원이 필요한 서비스

ㅇ 시험 함정:
– GPT-3는 스스로 학습하는 자율 학습 모델이 아님 (사전학습 후 파라미터 고정, 필요 시 미세조정)
– GPT-3는 완전한 추론 능력을 가진 인공지능이 아님 (통계적 패턴 기반)
– GPT-3의 파라미터 수를 잘못 기재하는 문제 (175B → 1750억 개)

ㅇ 시험 대비 “패턴 보기” 예시:
O: GPT-3는 1750억 개 파라미터를 가진 Transformer 기반 언어 모델이다.
O: GPT-3는 Zero-shot, Few-shot 학습이 가능하다.
X: GPT-3는 실시간으로 새로운 데이터를 학습하여 성능을 향상시킨다.
X: GPT-3는 기계 번역 전용 모델이다.

ㅁ 추가 학습 내용

GPT-3의 학습 데이터 범위는 2021년까지의 데이터이다.
API 사용 시에는 프롬프트 엔지니어링 기법을 활용하여 원하는 출력 결과를 유도할 수 있다.
모델의 한계로는 환각 현상(존재하지 않는 정보를 그럴듯하게 생성), 편향 문제(학습 데이터에 내재된 편향이 출력에 반영) 등이 있다.
GPT-4와의 차이점은 성능, 추론 능력, 처리 가능한 맥락 길이 등에서 발전이 있다는 점이다.
대규모 언어 모델의 윤리적 이슈로는 개인정보 유출 가능성과 허위 정보 생성 위험이 있다.

GPT-3의 학습 방식은 사전학습(Pre-training)과 미세조정(Fine-tuning)으로 구성된다.
파라미터 수는 약 1,750억 개이다.
Zero-shot은 예시 없이 바로 작업을 수행하는 방식이고, Few-shot은 소수의 예시를 제공하여 작업을 수행하는 방식이다.
GPT-3는 Transformer 구조를 기반으로 한다.
Fine-tuning 대신 Prompt Engineering을 활용하여 모델을 특정 작업에 맞게 사용할 수 있는 사례가 있다.