ㅁ 멀티모달 구조

ㅇ 정의:
서로 다른 형태의 데이터를 동시에 처리하고 결합하여 의미를 추론하는 모델 구조로, 이미지와 텍스트를 함께 이해하는 모델이 대표적임.

ㅇ 특징:
– 입력 데이터의 모달리티가 2개 이상(예: 시각+언어)
– 각 모달리티별 인코더를 두고, 융합(Fusion) 모듈을 통해 결합
– 사전학습(Pre-training) 시 대규모 멀티모달 데이터셋 사용
– 크로스 어텐션(Cross-Attention)과 같은 모듈 활용

ㅇ 적합한 경우:
– 이미지 설명 생성(Image Captioning)
– 시각적 질문 응답(VQA)
– 이미지-텍스트 검색

ㅇ 시험 함정:
– 멀티모달 구조라고 해서 반드시 모든 입력을 동시에 처리하는 것은 아님(비동기 처리 가능)
– 단순히 여러 데이터 소스를 사용하는 것과 멀티모달 융합은 다름

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 동시에 처리하는 모델 구조를 멀티모달 구조라 한다.”
X: “멀티모달 구조는 항상 동기적으로 입력을 처리해야 한다.”

================================

1. Vision-Language Model

ㅇ 정의:
시각 정보(이미지, 영상)와 언어 정보(텍스트)를 동시에 처리하고 이해하는 인공지능 모델로, 이미지 캡셔닝, 비주얼 질문 응답 등에서 사용됨.

ㅇ 특징:
– 비전 인코더(CNN, Vision Transformer)와 언어 인코더(Transformer 기반 언어 모델)를 결합
– 크로스 모달 어텐션(Cross-modal Attention) 또는 임베딩 융합 사용
– 대규모 이미지-텍스트 페어 데이터로 사전학습
– 제로샷(zero-shot) 및 퓨샷(few-shot) 학습 가능

ㅇ 적합한 경우:
– 이미지에 대한 자연어 설명 생성
– 이미지 기반 질의응답
– 멀티모달 검색(이미지→텍스트, 텍스트→이미지)

ㅇ 시험 함정:
– Vision-Language Model이 반드시 이미지 캡션 생성만 하는 것은 아님
– 단순한 OCR은 Vision-Language Model에 해당하지 않음

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 함께 이해하는 모델을 Vision-Language Model이라 한다.”
X: “Vision-Language Model은 텍스트만 입력으로 받아 처리한다.”

ㅁ 추가 학습 내용

Vision-Language Model 학습 정리

대표 아키텍처와 특징
– CLIP: 이미지와 텍스트를 각각 인코딩한 후 동일한 임베딩 공간에서 유사도를 계산하는 구조.
– BLIP: 이미지-텍스트 사전학습과 텍스트 생성 능력을 결합한 모델.
– Flamingo, LLaVA: 대규모 언어모델(LLM)에 비전 인코더를 결합하여 멀티모달 입력을 처리하는 구조.

멀티모달 융합 방식
– Early Fusion: 입력 단계에서 서로 다른 모달리티 데이터를 결합.
– Late Fusion: 각 모달리티를 개별 처리 후 최종 단계에서 결합.
– Hybrid Fusion: 처리 과정 중간 단계에서 모달리티 융합.

크로스 어텐션
– 서로 다른 모달리티 간 정보 교환을 위해 한 모달리티의 정보를 다른 모달리티의 어텐션 계산에 활용.

LLM + 비전 인코더 결합
– 비전 인코더로부터 추출한 비전 피처를 토큰화하여 LLM의 입력으로 변환.
– 이를 통해 텍스트와 이미지가 함께 포함된 입력을 처리 가능.

멀티모달 구조 vs 멀티소스 데이터 처리
– 멀티모달 구조: 서로 다른 형태(모달리티)의 데이터를 통합적으로 처리.
– 멀티소스 데이터 처리: 동일한 모달리티지만 출처가 다른 데이터를 처리.

멀티모달 사전학습 목표
– 이미지-텍스트 매칭: 이미지와 텍스트의 의미적 일치 여부를 학습.
– 마스킹 기반 학습: 일부 입력을 마스킹하고 이를 예측하도록 학습하여 표현력 강화.