ㅁ 대규모 언어모델

1. LLaMA

ㅇ 정의:
Meta(구 Facebook)에서 개발한 대규모 언어모델(Large Language Model)로, 연구 목적과 효율성을 위해 상대적으로 적은 파라미터 수로도 높은 성능을 내도록 설계됨.

ㅇ 특징:
– 파라미터 크기를 7B, 13B, 33B, 65B 등 다양한 버전으로 제공
– 학습 데이터는 공개 웹 데이터, 책, 위키피디아 등 대규모 텍스트
– GPU 자원 소모를 줄이면서도 GPT-3 수준의 성능을 목표
– 오픈소스 연구 커뮤니티에 배포되어 다양한 파생 모델이 등장

ㅇ 적합한 경우:
– 제한된 GPU 환경에서 고성능 언어모델을 연구/개발할 때
– 맞춤형 파인튜닝을 통해 특정 도메인에 특화된 모델을 만들 때
– 대규모 언어모델의 구조 및 성능 비교 연구 시

ㅇ 시험 함정:
– LLaMA는 Meta에서 상업적 용도로 자유롭게 배포한 모델이 아님 → 연구 목적 제한 존재
– GPT-3보다 항상 성능이 우수하다고 단정할 수 없음
– 파라미터 수가 적다고 무조건 학습 속도가 빠른 것은 아님 (데이터 전처리, 최적화 영향)

ㅇ 시험 대비 “패턴 보기” 예시:
O: LLaMA는 Meta에서 개발한 연구용 대규모 언어모델이다.
O: LLaMA는 7B, 13B, 33B, 65B 등 다양한 크기로 제공된다.
X: LLaMA는 구글에서 개발한 상업용 독점 언어모델이다.
X: LLaMA는 항상 GPT-3보다 높은 성능을 보장한다.

ㅁ 추가 학습 내용

LLaMA는 Transformer 아키텍처 기반의 대규모 언어 모델로, 학습 효율성을 높이기 위해 Tokenizer와 학습 데이터 필터링을 최적화하였다. 2023년 공개된 LLaMA 2는 상업적 사용이 허용된 버전으로, 시험에서 LLaMA와 LLaMA 2의 차이를 묻는 문제가 출제될 수 있다. LLaMA는 Alpaca, Vicuna 등 다양한 파생 모델의 기반이 되었으며, 이는 파인튜닝 사례 문제로 나올 수 있다. 시험에서는 LLaMA의 파라미터 수, 공개 시기, 라이선스 제한, 주요 활용 분야 등을 비교하는 문제가 자주 출제되며, GPT, PaLM, Claude 등 다른 대규모 언어 모델과의 차이점 학습도 중요하다.