ㅁ 대형 모델 환경

ㅇ 정의:
대형 모델 환경은 수십억 개 이상의 파라미터를 가진 AI 모델이 동작하고 학습되는 하드웨어·소프트웨어 인프라를 의미하며, 대규모 데이터 처리와 병렬 연산을 지원하는 환경을 포함한다.

ㅇ 특징:
– 대규모 연산을 위한 GPU/TPU 클러스터 사용
– 분산 학습, 모델 병렬화, 데이터 병렬화 적용
– 고속 네트워크와 대용량 스토리지 필요
– AI 모델의 사전학습(pretraining)과 미세조정(fine-tuning)을 효율적으로 지원

ㅇ 적합한 경우:
– 파운데이션 모델과 같이 대규모 데이터와 파라미터를 다루는 경우
– 멀티모달 학습이나 초거대 언어·비전 모델 개발

ㅇ 시험 함정:
– 대형 모델 환경을 단순히 ‘고성능 GPU 1~2대’로만 이해하는 경우 (X)
– 분산·병렬처리 인프라와 학습 최적화 기법을 포함한 개념이라는 점을 놓치는 경우 (O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “대형 모델 환경은 단일 서버에서만 동작하는 AI 학습 환경을 의미한다.” → X
– “대형 모델 환경은 모델 병렬화와 데이터 병렬화 기술을 포함한다.” → O

================================

1. Vision Foundation Model

ㅇ 정의:
대규모 이미지 데이터셋을 기반으로 사전 학습된 범용 비전 모델로, 다양한 컴퓨터 비전 작업(분류, 검출, 분할 등)에 전이학습이 가능한 모델.

ㅇ 특징:
– 수억~수십억 장의 이미지로 사전학습
– CNN, Vision Transformer(ViT) 등 다양한 아키텍처 기반
– 범용성: 한 번 학습 후 다양한 다운스트림 태스크에 적용 가능
– 멀티모달 확장 가능 (이미지+텍스트 등)

ㅇ 적합한 경우:
– 데이터 라벨링이 제한적이지만 대규모 비전 태스크 성능이 필요한 경우
– 도메인 특화 비전 모델 개발 전, 범용 모델에서 전이학습을 활용할 때

ㅇ 시험 함정:
– Vision Foundation Model을 특정 태스크 전용 모델로 오해하는 경우 (X)
– 사전학습과 전이학습의 구분을 놓치는 경우 (O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “Vision Foundation Model은 사전학습 후 다양한 비전 태스크에 활용 가능하다.” → O
– “Vision Foundation Model은 특정 이미지 분류 태스크만 수행한다.” → X

ㅁ 추가 학습 내용

Vision Foundation Model 정리

1. 대표 모델 예시
– CLIP (OpenAI)
– DINOv2 (Meta)
– SAM (Segment Anything Model, Meta)

2. 학습 방식
– 대규모 비지도 학습 또는 자기지도 학습(self-supervised learning) 활용
– 주요 기법: Contrastive Learning, Masked Image Modeling

3. 활용 분야
– 의료영상 분석
– 위성영상 판독
– 자율주행 인식 시스템

4. 성능 한계
– 도메인 편향(domain bias)
– 데이터 편향(data bias)
– 고해상도 이미지 처리 시 연산량 급증

5. 최신 동향
– 멀티모달 파운데이션 모델(Vision+Language)로 확장
– 활용 예: 이미지-텍스트 매칭, 이미지 캡셔닝, VQA(Visual Question Answering)

6. 시험 대비 추가 학습 포인트
– Vision Transformer(ViT) 구조와 CNN 기반 구조의 차이
– 전이학습 시 파라미터 효율화 기법: LoRA, Adapter