ㅁ 대규모 모델 활용

ㅇ 정의:
사전 학습된 초대규모 AI 모델을 다양한 다운스트림 작업에 적용하거나 커스터마이징하여 활용하는 방법.

ㅇ 특징:
– 대량의 데이터와 연산을 통해 사전 학습됨
– 다양한 태스크에 범용적으로 적용 가능
– 추가 학습 없이도 제로샷/소샷 학습 가능

ㅇ 적합한 경우:
– 데이터 수집이 어렵거나 적은 경우
– 빠른 프로토타이핑이 필요한 경우

ㅇ 시험 함정:
– 모든 경우에 성능이 좋은 것은 아님
– 특정 도메인에는 추가 튜닝 필요

ㅇ 시험 대비 “패턴 보기” 예시:
O: “대규모 사전학습 모델은 제로샷 학습이 가능하다.”
X: “대규모 모델은 항상 모든 도메인에서 최적 성능을 낸다.”

================================

1. GPT-3

ㅇ 정의:
OpenAI에서 개발한 1750억 개 파라미터를 가진 초대규모 언어모델로, 다양한 자연어 처리 작업을 수행.

ㅇ 특징:
– 제로샷, 원샷, 소샷 학습 지원
– 방대한 범용 데이터로 학습
– 고품질 텍스트 생성 가능

ㅇ 적합한 경우:
– 챗봇, 글쓰기 보조, 코드 생성 등 범용 자연어 처리

ㅇ 시험 함정:
– 최신 정보나 학습 이후의 사건은 모름
– 긴 문맥 처리 한계 존재

ㅇ 시험 대비 “패턴 보기” 예시:
O: “GPT-3는 제로샷 학습을 지원한다.”
X: “GPT-3는 모든 질문에 100% 정확한 답을 제공한다.”

================================

2. CLIP

ㅇ 정의:
OpenAI가 개발한 텍스트-이미지 멀티모달 모델로, 텍스트와 이미지를 동일한 임베딩 공간에 매핑.

ㅇ 특징:
– 텍스트와 이미지 간 의미적 유사도 계산 가능
– 제로샷 이미지 분류 가능
– 대규모 텍스트-이미지 쌍 데이터로 학습

ㅇ 적합한 경우:
– 이미지 검색, 이미지 캡셔닝, 멀티모달 검색

ㅇ 시험 함정:
– 도메인 특화 이미지에는 성능 저하 가능
– 추상적 개념에는 혼동 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “CLIP은 텍스트와 이미지를 동일한 벡터 공간에 매핑한다.”
X: “CLIP은 오직 이미지 분류만 수행할 수 있다.”

================================

3. Stable Diffusion

ㅇ 정의:
텍스트 프롬프트를 기반으로 고품질 이미지를 생성하는 오픈소스 확산 모델.

ㅇ 특징:
– 로컬 환경에서 실행 가능
– 다양한 스타일 이미지 생성 가능
– 텍스트-이미지 매핑

ㅇ 적합한 경우:
– 창작, 디자인, 컨셉 아트 제작

ㅇ 시험 함정:
– 저작권, 윤리적 문제 발생 가능
– 특정 세부 묘사 한계

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Stable Diffusion은 텍스트 기반 이미지 생성을 지원한다.”
X: “Stable Diffusion은 반드시 클라우드 환경에서만 실행된다.”

================================

4. 파인튜닝

ㅇ 정의:
사전 학습된 모델의 가중치를 기반으로 특정 도메인 데이터에 맞게 재학습하는 과정.

ㅇ 특징:
– 적은 데이터로도 성능 향상 가능
– 특정 태스크에 최적화
– 전체 또는 일부 레이어만 학습 가능

ㅇ 적합한 경우:
– 도메인 특화 응용
– 데이터가 제한적이나 높은 정확도가 필요한 경우

ㅇ 시험 함정:
– 오버피팅 위험
– 데이터 편향이 모델에 반영될 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: “파인튜닝은 사전 학습 모델을 특정 태스크에 맞게 조정한다.”
X: “파인튜닝은 반드시 모든 레이어를 다시 학습해야 한다.”

================================

5. 프롬프트 엔지니어링

ㅇ 정의:
대규모 언어모델에 원하는 출력을 얻기 위해 입력 프롬프트를 설계, 최적화하는 기법.

ㅇ 특징:
– 프롬프트 문구에 따라 성능 차이 큼
– 제로샷, 소샷 프롬프트 기법 존재
– 반복적 실험을 통해 최적화

ㅇ 적합한 경우:
– 모델 구조 변경 없이 성능 향상 필요할 때
– 빠른 프로토타이핑

ㅇ 시험 함정:
– 동일 프롬프트라도 항상 동일 결과 보장 안됨
– 프롬프트 길이 제한 존재

ㅇ 시험 대비 “패턴 보기” 예시:
O: “프롬프트 엔지니어링은 모델 구조 변경 없이 결과를 조정할 수 있다.”
X: “프롬프트 엔지니어링은 항상 일관된 결과를 보장한다.”

ㅁ 추가 학습 내용

[학습 정리]
대규모 언어모델(LLM) 및 생성 모델 관련 주요 개념 정리

1. 경량 파인튜닝 기법
– 어댑터 튜닝(Adapter Tuning): 전체 모델 파라미터를 학습하지 않고, 소규모 모듈만 학습하여 효율적으로 성능 향상
– LoRA(Low-Rank Adaptation): 모델 내부 가중치 행렬을 저랭크 형태로 분해하여 적은 파라미터만 학습
– Prefix Tuning: 입력 시퀀스 앞에 학습된 벡터(프리픽스)를 추가하여 모델의 응답을 조정

2. 컨텍스트 윈도우
– 모델이 한 번에 처리할 수 있는 토큰 수의 한계
– 긴 문서 처리 시 정보 손실 가능성 존재

3. 할루시네이션(Hallucination)
– 모델이 사실과 다른 내용을 그럴듯하게 생성하는 현상
– 신뢰성 검증 필요

4. 멀티모달 확장
– MM-GPT, Flamingo 등 텍스트와 이미지 등 다양한 입력 모달리티를 처리하는 모델
– 시각+언어 결합 처리 가능

5. 제로샷 / 원샷 / 소샷 학습
– 제로샷: 예시 없이 바로 작업 수행
– 원샷: 단일 예시 제공 후 작업 수행
– 소샷: 소수의 예시 제공 후 작업 수행

6. 프롬프트 체이닝(Prompt Chaining)
– 여러 개의 프롬프트를 단계적으로 연결하여 복잡한 작업 수행

7. 모델 배포 시 고려사항
– 개인정보 보호: 입력/출력 데이터에 민감정보 포함 여부 확인
– 라이선스 이슈: 모델 및 데이터셋의 사용 조건 준수 필요

8. 생성 모델 안전 필터링
– Stable Diffusion 등의 안전 필터링 메커니즘: 유해 콘텐츠 차단
– 사전 학습된 분류기나 규칙 기반 필터 적용

9. CLIP의 코사인 유사도 계산 원리
– 텍스트와 이미지 임베딩을 동일한 벡터 공간에 매핑
– 코사인 유사도 = 두 벡터 내적 / (각 벡터의 크기 곱)

10. GPT-3 토큰화 방식 (BPE: Byte Pair Encoding)
– 자주 등장하는 바이트 쌍을 병합하여 서브워드 단위로 분할
– 희귀 단어 처리 및 어휘 크기 최적화 가능

[시험 대비 체크리스트]
– 어댑터 튜닝, LoRA, Prefix Tuning의 원리와 차이 설명 가능 여부
– 컨텍스트 윈도우의 정의와 한계 파악
– 할루시네이션 사례와 대응 방법 숙지
– 멀티모달 모델의 특징과 예시 모델명 기억
– 제로샷, 원샷, 소샷의 정의와 차이 명확히 구분
– 프롬프트 체이닝의 개념과 활용 예시 이해
– 모델 배포 시 개인정보 보호와 라이선스 준수 사항 숙지
– Stable Diffusion의 안전 필터링 메커니즘 이해
– CLIP 임베딩에서 코사인 유사도 계산 과정 설명 가능
– GPT-3의 BPE 토큰화 원리와 장점 설명 가능