ㅁ 대형 모델 환경

ㅇ 정의:
여러 언어, 다양한 모달리티, 다양한 접근 방식에서 동작하는 초대규모 AI 모델이 개발·활용되는 기술적·운영적 환경.

ㅇ 특징:
– 초대규모 파라미터(수십억~수천억) 기반
– 대규모 데이터셋과 고성능 연산 자원 필요
– 언어, 이미지, 음성 등 멀티모달 지원 가능

ㅇ 적합한 경우:
– 글로벌 서비스, 멀티모달 분석, 범용 AI 플랫폼 구축

ㅇ 시험 함정:
– 단일 언어 특화 모델과 혼동
– 파운데이션 모델과 사전학습 언어모델(PLM) 구분 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “대형 모델 환경은 초대규모 파라미터와 대규모 데이터셋을 필요로 한다.”
X: “대형 모델 환경은 소규모 데이터셋과 경량 연산 자원으로 충분하다.”

================================

1. Multilingual FM

ㅇ 정의:
여러 언어를 동시에 이해하고 생성할 수 있도록 학습된 파운데이션 모델.

ㅇ 특징:
– 다국어 코퍼스를 활용한 사전학습
– 언어 간 의미 매핑 및 번역 기능 내재
– 저자원 언어 지원 가능

ㅇ 적합한 경우:
– 다국어 고객 지원 챗봇, 글로벌 문서 처리, 자동 번역 서비스

ㅇ 시험 함정:
– 다국어 모델과 번역 전용 모델 혼동
– 언어별 별도 모델보다 항상 성능이 높다고 단정

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Multilingual FM은 다국어 코퍼스를 활용하여 언어 간 의미를 매핑한다.”
X: “Multilingual FM은 단일 언어 데이터로만 학습된다.”

================================

2. Vision Foundation Model

ㅇ 정의:
이미지, 비디오 등 시각 데이터를 기반으로 범용적으로 활용 가능한 파운데이션 모델.

ㅇ 특징:
– 대규모 이미지/비디오 데이터로 사전학습
– 객체 인식, 이미지 분류, 세그멘테이션 등 다양한 시각 과제 대응
– 멀티모달 확장이 용이

ㅇ 적합한 경우:
– 자율주행, 의료 영상 분석, 스마트 감시 시스템

ㅇ 시험 함정:
– Vision FM과 특정 태스크 전용 CNN 혼동
– 텍스트 데이터만 처리 가능하다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Vision Foundation Model은 다양한 시각 과제에 범용적으로 적용 가능하다.”
X: “Vision Foundation Model은 텍스트 처리에만 사용된다.”

================================

3. Open-source FM

ㅇ 정의:
모델 아키텍처, 가중치, 학습 코드 등을 공개하여 누구나 사용·수정·배포할 수 있는 파운데이션 모델.

ㅇ 특징:
– 투명성 및 재현성 확보
– 커뮤니티 주도 개발 및 개선
– 상용 제한이 적으나 라이선스 조건 존재

ㅇ 적합한 경우:
– 연구 개발, 맞춤형 모델 파인튜닝, 교육 목적 활용

ㅇ 시험 함정:
– 오픈소스가 항상 무료라는 오해
– 라이선스 조건 무시

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Open-source FM은 모델 가중치와 코드를 공개하여 재현성을 높인다.”
X: “Open-source FM은 반드시 상업적 이용이 자유롭다.”

ㅁ 추가 학습 내용

정리 내용
1. Multilingual Foundation Model(FM)
– Zero-shot 학습: 사전 학습된 모델이 학습 데이터 없이 새로운 언어·작업을 수행하는 능력
– Few-shot 학습: 소량의 예시 데이터로 새로운 언어·작업에 적응하는 능력
– 언어 간 전이 학습 메커니즘: 다국어 임베딩 공유, 공통 표현 공간, 언어 간 상관관계 활용

2. Vision Foundation Model
– 대표 아키텍처: CLIP(Contrastive Language-Image Pretraining), DINO(Self-supervised Vision Transformer)
– 이미지-텍스트 결합 학습 방식: 이미지와 텍스트를 동일한 임베딩 공간에 매핑하여 의미적으로 정렬

3. Open-source Foundation Model
– 주요 라이선스 특징
• Apache 2.0: 상업적 이용 가능, 특허권 명시
• MIT: 간단한 조건, 상업적 이용 가능
• GPL: 파생 저작물 공개 의무(상업적 이용 제한 가능)
– 상업적 이용 가능 여부 숙지 필수
– 폐쇄형 상용 모델과 비교: 성능, 비용, 유지보수, 커스터마이징 가능성

4. 대형 모델 환경 기술
– 분산 학습: 여러 장비/노드에서 병렬 학습
– 모델 압축: Quantization(정밀도 축소), Pruning(불필요한 파라미터 제거)
– 효율적 파인튜닝: LoRA(Low-Rank Adaptation), PEFT(Parameter-Efficient Fine-Tuning)

시험 대비 체크리스트
[ ] Zero-shot과 Few-shot의 정의와 차이점 설명 가능
[ ] 언어 간 전이 학습의 핵심 메커니즘 이해
[ ] CLIP과 DINO의 특징 및 차이 설명 가능
[ ] 이미지-텍스트 결합 학습의 원리 이해
[ ] Apache 2.0, MIT, GPL 라이선스의 주요 차이와 상업적 이용 가능 여부 구분 가능
[ ] 오픈소스 모델과 폐쇄형 상용 모델의 성능·비용 비교 포인트 나열 가능
[ ] 분산 학습의 개념과 장점 이해
[ ] Quantization과 Pruning의 차이와 목적 설명 가능
[ ] LoRA와 PEFT의 원리와 장점 설명 가능