ㅁ 멀티모달 AI

ㅇ 정의:
서로 다른 형태(Modalities)의 데이터를 동시에 이해하고 처리하는 인공지능 기술로, 예를 들어 이미지+텍스트, 비디오+오디오 등 복합 입력을 기반으로 인식·추론·생성 작업을 수행하는 AI 모델.

ㅇ 특징:
– 다양한 데이터 소스를 결합하여 더 높은 이해력과 추론 능력을 제공
– 사전학습(Pretraining)과 미세조정(Finetuning) 구조를 자주 사용
– Cross-Attention, Transformer 기반 구조 채택이 일반적
– 대규모 데이터셋 필요, 연산 자원 소모 큼

ㅇ 적합한 경우:
– 이미지와 텍스트를 함께 분석해야 하는 검색·추천 시스템
– 비디오 이해 및 자막 생성, 멀티모달 챗봇
– 의료 영상+진단 보고서 분석, 자율주행 인식 시스템

ㅇ 시험 함정:
– 멀티모달 AI와 멀티태스크 AI를 혼동하는 경우
– 단순히 다양한 데이터 형식을 지원한다고 해서 멀티모달이라고 착각
– 입력과 출력이 같은 형식이라도 중간에 다른 모달 데이터가 결합되면 멀티모달임을 놓치기 쉬움

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 동시에 입력받아 의미를 이해하는 인공지능”
X: “텍스트 데이터를 여러 언어로 번역하는 인공지능” (→ 이는 멀티모달이 아닌 다국어 NLP)

================================

1. CLIP

ㅇ 정의:
OpenAI가 개발한 이미지와 텍스트를 공동으로 학습하는 멀티모달 신경망 모델로, 대규모 웹 이미지-텍스트 쌍을 이용해 사전학습하여 이미지와 텍스트를 같은 임베딩 공간에 매핑함.

ㅇ 특징:
– Contrastive Learning(대조 학습) 기반
– Zero-shot 성능 우수 (이미 본 적 없는 이미지 분류 가능)
– 이미지와 텍스트를 동일한 벡터 공간에서 비교 가능
– 사전학습 데이터 품질에 따라 성능 편차 존재

ㅇ 적합한 경우:
– 이미지 검색(텍스트→이미지, 이미지→텍스트)
– 콘텐츠 필터링, 이미지 기반 추천
– Zero-shot 분류 작업

ㅇ 시험 함정:
– CLIP은 생성 모델이 아니라 인식·매핑 모델임
– 이미지 캡셔닝 모델과 혼동 주의 (CLIP 자체는 캡션 생성 불가)
– 학습 방식이 지도학습이 아닌 대조 학습임을 구분해야 함

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 같은 임베딩 공간에 매핑하는 대조 학습 기반 모델”
X: “이미지에 대한 설명 문장을 생성하는 생성형 멀티모달 모델”

================================

2. Flamingo

ㅇ 정의:
DeepMind가 개발한 멀티모달 대규모 언어 모델로, 이미지와 텍스트를 결합하여 Few-shot 학습 성능을 극대화한 모델.

ㅇ 특징:
– Pretrained Language Model + Cross-attention Layers 구조
– 이미지와 텍스트 시퀀스를 자연스럽게 연결
– 적은 예시(Few-shot)로도 다양한 멀티모달 작업 수행
– 대규모 비정형 데이터에서 학습

ㅇ 적합한 경우:
– 이미지 기반 질의응답(VQA)
– 대화형 멀티모달 어시스턴트
– 이미지 설명 생성, 멀티모달 추론

ㅇ 시험 함정:
– CLIP처럼 단순 임베딩 비교가 아니라 언어 생성 기능 포함
– Flamingo는 Few-shot이 핵심, Zero-shot과 혼동 주의
– Cross-attention 구조를 빼먹는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 결합하여 Few-shot 학습 성능을 발휘하는 모델”
X: “이미지와 텍스트를 매핑만 하는 비생성형 모델”

================================

3. Kosmos-1

ㅇ 정의:
Microsoft가 개발한 멀티모달 대규모 언어 모델로, 이미지+텍스트 입력을 처리하고 언어 이해·생성, 이미지 기반 추론, 시각적 질의응답 등을 수행함.

ㅇ 특징:
– 멀티모달 입력을 Transformer로 직접 처리
– 이미지 캡셔닝, VQA, 멀티모달 추론 가능
– Zero-shot, Few-shot 모두 지원
– 범용 AI 어시스턴트로 확장 가능성 높음

ㅇ 적합한 경우:
– 시각 정보와 텍스트를 동시에 다루는 어시스턴트
– 이미지 기반 시험 문제 풀이
– 멀티모달 문서 이해

ㅇ 시험 함정:
– Kosmos-1은 단일 모달 NLP 모델이 아님
– 이미지 생성 모델과 혼동 주의
– 학습 데이터 다양성과 범용성 강조

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 동시에 입력받아 언어 이해와 생성까지 수행하는 모델”
X: “이미지를 생성하는 GAN 기반 모델”

================================

4. VideoGPT

ㅇ 정의:
OpenAI에서 제안한 비디오 생성 모델로, 비디오 프레임 시퀀스를 토큰 단위로 변환 후 GPT 계열의 오토리그레시브 모델로 학습하여 비디오를 생성함.

ㅇ 특징:
– 비디오 데이터를 VQ-VAE 등으로 토큰화
– 시계열적 연속성을 고려한 프레임 예측
– 텍스트 조건부 비디오 생성 가능
– 대규모 연산 리소스 필요

ㅇ 적합한 경우:
– 짧은 영상 생성, 비디오 예측
– 게임 환경 시뮬레이션
– 예술·광고 영상 제작

ㅇ 시험 함정:
– GPT라는 이름 때문에 텍스트 전용 모델로 오해 가능
– VideoGPT는 인식 모델이 아닌 생성 모델
– 멀티모달이지만 주로 비디오+텍스트 형태임

ㅇ 시험 대비 “패턴 보기” 예시:
O: “비디오를 토큰화하여 GPT 계열 오토리그레시브 방식으로 생성하는 모델”
X: “이미지와 텍스트를 매핑하는 대조 학습 기반 모델”

—

원하시면 제가 여기에 **그림/도식 포함 버전**으로 시각화한 학습 자료도 만들어드릴 수 있습니다.
다음으로 시각화 자료를 만들어 드릴까요?