ㅁ 도메인 특화

ㅇ 정의:
특정 산업, 업무 분야 또는 조직의 요구사항에 맞춰 설계·학습된 인공지능 모델로, 범용 모델 대비 해당 영역에서 더 높은 성능과 정확성을 제공.

ㅇ 특징:
– 범용 LLM을 기반으로 하되, 도메인 데이터로 추가 학습(Fine-tuning) 또는 프롬프트 엔지니어링을 통해 최적화.
– 전문 용어, 규제 준수, 업무 프로세스에 특화.
– 데이터 프라이버시와 보안 요구가 높은 경우 폐쇄형 환경에서 운영되는 경우 많음.
– 응답 품질이 도메인 범위를 벗어나면 급격히 저하될 수 있음.

ㅇ 적합한 경우:
– 법률, 의료, 금융, 제조 등 특수 지식이 필요한 산업.
– 고객 상담, 보고서 작성, 내부 지식 검색 등 특정 프로세스 자동화.

ㅇ 시험 함정:
– 범용 LLM과의 차이점을 묻는 문제에서 ‘모든 분야에서 동등하게 우수하다’는 표현은 오답.
– 맞춤형 LLM이 항상 학습 데이터가 적어도 잘 동작한다는 서술은 틀림.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “의료 분야 진단 지원을 위해 의료 데이터로 추가 학습된 GPT 모델”
X: “모든 산업에서 동일하게 높은 성능을 보이는 LLM”

================================

1. 맞춤형 LLM

ㅇ 정의:
범용 대규모 언어모델(LLM)을 특정 도메인 데이터와 요구사항에 맞춰 재학습하거나 프롬프트 최적화를 통해 특화시킨 모델.

ㅇ 특징:
– Fine-tuning, LoRA, Prompt Engineering 등을 활용.
– 도메인 데이터셋의 품질과 양에 따라 성능 편차가 큼.
– 모델 크기와 아키텍처는 기존 LLM과 동일하나, 가중치 일부 또는 전체를 재학습.
– 폐쇄망 환경에서 사내 데이터로만 학습 가능.

ㅇ 적합한 경우:
– 특정 산업 규제 준수 필요 시.
– 기업 내부 지식베이스 활용 챗봇.
– 고객 맞춤형 서비스 제공.

ㅇ 시험 함정:
– 맞춤형 LLM이 항상 범용 모델보다 파라미터 수가 작다는 서술은 오답.
– Fine-tuning 없이도 도메인 특화가 가능하다는 점(프롬프트 기반) 혼동 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “기업 내부 매뉴얼로 학습해 사내 질의응답에 특화된 언어모델”
X: “모든 주제에서 범용 LLM보다 항상 높은 성능을 보이는 모델”

ㅁ 추가 학습 내용

맞춤형 LLM 학습 정리

1. 맞춤형 LLM 구축 방식
– 전체 Fine-tuning: 모델 전체 파라미터를 학습 데이터에 맞게 재학습. 성능 향상 폭이 크지만 데이터와 연산 자원 요구가 큼.
– 부분 Fine-tuning: LoRA, Adapter 등 일부 파라미터만 조정. 자원 절약, 빠른 학습 가능, 기존 모델의 일반화 능력 유지.
– Prompt-tuning: 모델 파라미터는 고정하고 프롬프트 텍스트나 임베딩을 최적화. 데이터와 비용 부담이 가장 적으나 성능 향상 폭은 제한적.

2. 데이터 준비
– 개인정보 비식별화: 이름, 주민번호, 연락처 등 민감정보 제거 또는 변환.
– 데이터 증강(Data Augmentation): 동의어 치환, 문장 구조 변환, 역번역 등으로 데이터 다양성 확보.

3. 도메인 특화 모델 평가 지표
– 범용 지표: Perplexity(언어 모델 예측력), BLEU(번역 품질).
– 도메인 특화 지표: 정확도, 규제 준수율, 업무 적합성 등.

4. 유지보수 전략
– 주기적 재학습: 최신 데이터 반영.
– Drift 감지: 데이터 분포 변화나 성능 저하 모니터링.
– 지속적 데이터 수집: 품질 높은 신규 데이터 확보.

5. 비용 고려
– 학습 데이터 준비 비용.
– GPU 등 연산 자원 비용.
– API 호출 비용.

6. 시험 출제 경향
– 맞춤형 LLM과 범용 LLM 비교.
– Fine-tuning과 Prompt Engineering 구분.
– 도메인 특화 적용 사례.