ㅁ 멀티모달 구조

ㅇ 정의:
텍스트, 이미지, 음성 등 서로 다른 형태의 데이터를 동시에 처리하고 이해할 수 있도록 설계된 모델 구조.

ㅇ 특징:
– 입력 데이터의 형식이 다르더라도 공통 표현 공간에서 의미를 매칭.
– 각 모달리티별 인코더와 이를 통합하는 융합 모듈 포함.
– 학습 시 멀티태스크 학습, 대규모 사전학습 활용.

ㅇ 적합한 경우:
– 이미지 설명 생성, 비디오 자막, 음성 질의응답 등 다중 모달 데이터 처리.

ㅇ 시험 함정:
– 단일 모달 모델과 혼동하기 쉬움.
– 멀티모달 구조가 반드시 모든 모달을 동시에 학습하는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지와 텍스트를 함께 이해하는 구조는 멀티모달 구조의 예이다.”
X: “멀티모달 구조는 항상 이미지+텍스트+음성을 동시에 입력해야 한다.”

================================

1. Vision-Language Model

ㅇ 정의:
시각 정보(이미지, 비디오)와 언어 정보를 함께 처리하여 의미를 추론하는 모델.

ㅇ 특징:
– 이미지 인코더(CNN, ViT)와 텍스트 인코더(Transformer) 사용.
– 공통 임베딩 공간에서 이미지와 텍스트 매칭.
– 대규모 이미지-텍스트 페어 데이터로 학습.

ㅇ 적합한 경우:
– 이미지 캡셔닝, 이미지-텍스트 검색, VQA(Visual Question Answering).

ㅇ 시험 함정:
– 단순 OCR과 구분 필요.
– Vision-Language Model이 항상 양방향 매핑을 지원하는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지 설명을 생성하는 모델은 Vision-Language Model의 한 예이다.”
X: “Vision-Language Model은 텍스트만 입력받아 이미지를 생성한다.”

================================

2. Speech-Language Model

ㅇ 정의:
음성 데이터를 텍스트와 함께 처리하여 의미를 이해하거나 생성하는 모델.

ㅇ 특징:
– 음성 인코더(MFCC, wav2vec 2.0 등)와 텍스트 인코더 사용.
– 음성-텍스트 변환(STT) 또는 텍스트-음성 변환(TTS)과 통합.
– 대규모 음성-텍스트 페어 데이터로 학습.

ㅇ 적합한 경우:
– 음성 질의응답, 실시간 통역, 음성 기반 챗봇.

ㅇ 시험 함정:
– 단순 STT/TTS 시스템과 구분 필요.
– Speech-Language Model이 항상 양방향 변환을 지원하는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “음성 질문에 텍스트로 답변하는 모델은 Speech-Language Model의 예이다.”
X: “Speech-Language Model은 음성 입력을 반드시 텍스트로만 변환한다.”

================================

3. Cross-attention

ㅇ 정의:
서로 다른 모달리티 간의 정보 결합을 위해 한 모달의 쿼리를 다른 모달의 키/값에 주의(attention)하는 메커니즘.

ㅇ 특징:
– Transformer 구조에서 멀티모달 융합 시 자주 사용.
– 한 모달의 정보가 다른 모달의 정보 해석에 직접 영향을 미침.

ㅇ 적합한 경우:
– 이미지-텍스트 매칭, 비디오-오디오 동기화.

ㅇ 시험 함정:
– Self-attention과 혼동하기 쉬움.
– Cross-attention이 항상 양방향으로 적용되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “텍스트 쿼리가 이미지 특징에 주의를 주는 것은 Cross-attention의 예이다.”
X: “Cross-attention은 동일한 모달리티 내 토큰 간 관계를 학습한다.”

================================

4. CoT

ㅇ 정의:
Chain-of-Thought의 약자로, 모델이 복잡한 문제 해결 시 중간 추론 과정을 명시적으로 생성하도록 하는 기법.

ㅇ 특징:
– 멀티모달 모델에서도 적용 가능.
– 단계별 reasoning을 통해 정답 정확도 향상.
– 프롬프트 엔지니어링과 결합 시 효과 극대화.

ㅇ 적합한 경우:
– 수학 문제 풀이, 복잡한 논리 추론, 멀티스텝 질의응답.

ㅇ 시험 함정:
– 단순한 step-by-step 출력과 CoT를 혼동.
– CoT가 항상 성능을 향상시키는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “중간 추론 과정을 출력하도록 유도하는 것은 CoT 기법의 예이다.”
X: “CoT는 멀티모달 모델에는 적용할 수 없다.”

ㅁ 추가 학습 내용

[학습 정리]
멀티모달 구조 학습에서는 서로 다른 형태의 데이터를 결합하는 전략이 중요하다. 대표적으로 Early Fusion은 입력 단계에서 서로 다른 모달리티 데이터를 결합하는 방식이며, Late Fusion은 각 모달리티를 개별적으로 처리한 후 결과를 결합한다. Hybrid Fusion은 두 접근을 혼합하여 중간 단계와 최종 단계 모두에서 융합을 수행한다.
Vision-Language Model(VLM)과 Speech-Language Model(SLM)에서는 사전학습(pretraining)과 파인튜닝(finetuning)의 차이를 이해해야 한다. 사전학습은 대규모 데이터로 일반적인 표현을 학습하는 단계이고, 파인튜닝은 특정 과업에 맞추어 모델을 조정하는 과정이다.
대표적인 멀티모달 아키텍처로 CLIP(이미지-텍스트 매칭), BLIP(이미지 캡셔닝 및 질의응답), Flamingo(멀티모달 few-shot 학습에 특화)가 있다.
Cross-attention 구현 시 Query, Key, Value의 매핑 방식과 이에 따른 메모리 사용량, 연산량, 성능 간의 트레이드오프를 이해해야 한다.
Chain-of-Thought(CoT) 기법에서는 Zero-shot CoT(프롬프트에 ‘Let’s think step by step’ 등 추가)와 Few-shot CoT(예시 reasoning 포함) 변형을 구분하고, 이를 멀티모달 reasoning에 적용한 사례를 숙지해야 한다.
시험에서는 멀티모달 구조(여러 데이터 모달리티를 결합)와 멀티태스크 학습(여러 과업을 동시에 학습)을 혼동하는 함정 문제가 자주 나오므로 개념을 명확히 구분해야 한다.

[시험 대비 체크리스트]
1. Early Fusion, Late Fusion, Hybrid Fusion의 정의와 차이점 설명 가능 여부
2. Vision-Language Model과 Speech-Language Model의 개념과 활용 사례 이해
3. 사전학습과 파인튜닝의 목적, 과정, 차이 명확히 설명 가능 여부
4. CLIP, BLIP, Flamingo의 특징과 대표적인 활용 분야 숙지
5. Cross-attention의 Query-Key-Value 매핑 방식과 메모리/성능 트레이드오프 이해
6. Zero-shot CoT와 Few-shot CoT의 정의, 특징, 적용 예시 구분 가능 여부
7. 멀티모달 reasoning 적용 사례 설명 가능 여부
8. 멀티모달 구조와 멀티태스크 학습의 개념적 차이 명확히 구분 가능 여부