ㅁ 멀티모달 구조

ㅇ 정의:
텍스트, 이미지, 음성 등 서로 다른 형태의 데이터를 동시에 처리하고 이해할 수 있도록 설계된 모델 구조.

ㅇ 특징:
– 서로 다른 모달리티 간의 정보 융합 필요
– 모달별 인코더와 공통 표현 공간 사용
– 학습 시 멀티태스크 또는 공동 학습 기법 활용

ㅇ 적합한 경우:
– 이미지 캡셔닝, 비디오 설명, 음성 기반 질의응답 등 복합 데이터 처리 필요 시

ㅇ 시험 함정:
– 단일 모달 모델과의 차이를 혼동
– 멀티모달 구조를 단순 데이터 병합으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: 멀티모달 구조는 서로 다른 형태의 데이터를 통합하여 처리할 수 있다.
X: 멀티모달 구조는 오직 하나의 데이터 형태만 처리한다.

================================

1. Vision-Language Model

ㅇ 정의:
이미지와 텍스트를 동시에 처리하여 시각적 정보와 언어 정보를 결합하는 모델.

ㅇ 특징:
– CNN, ViT 등 이미지 인코더와 Transformer 기반 텍스트 인코더 사용
– 공통 임베딩 공간에서 의미적 매칭 수행

ㅇ 적합한 경우:
– 이미지 캡션 생성, 이미지-텍스트 검색, VQA(Visual Question Answering)

ㅇ 시험 함정:
– 이미지 처리와 텍스트 처리를 완전히 분리된 모델로 착각
– 단순한 이미지 분류 모델과 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: Vision-Language Model은 이미지와 텍스트를 공동으로 이해하기 위해 설계된다.
X: Vision-Language Model은 텍스트만 처리한다.

================================

2. Speech-Language Model

ㅇ 정의:
음성과 텍스트를 동시에 처리하여 음성 신호의 의미를 언어와 결합하는 모델.

ㅇ 특징:
– 음성 인코더(예: wav2vec 2.0)와 텍스트 인코더 결합
– 음성 인식(STT)과 자연어 이해(NLU) 통합 가능

ㅇ 적합한 경우:
– 음성 기반 질의응답, 실시간 자막 생성, 음성 명령 이해

ㅇ 시험 함정:
– 음성 인식 모델과 동일시
– 음성-텍스트 간 상호작용 기능을 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: Speech-Language Model은 음성과 텍스트를 함께 처리하여 의미를 연결한다.
X: Speech-Language Model은 음성 데이터를 텍스트로 변환하는 기능만 수행한다.

================================

3. Cross-attention

ㅇ 정의:
서로 다른 모달리티의 특징을 연결하기 위해 한 모달의 쿼리를 다른 모달의 키/값에 주목시키는 메커니즘.

ㅇ 특징:
– Transformer 구조에서 주로 사용
– 모달 간 정보 교환 및 융합 강화

ㅇ 적합한 경우:
– 이미지-텍스트 매칭, 비디오-오디오 동기화

ㅇ 시험 함정:
– Self-attention과 혼동
– Cross-attention을 단순 피처 합성으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: Cross-attention은 서로 다른 입력 간의 상관관계를 학습하는 데 사용된다.
X: Cross-attention은 동일한 입력 내의 토큰들만 주목한다.

================================

4. CoT

ㅇ 정의:
Chain of Thought의 약자로, 모델이 복잡한 문제를 단계별로 추론하도록 유도하는 기법.

ㅇ 특징:
– 중간 추론 과정을 명시적으로 생성
– 복잡한 수리, 논리 문제 해결에 효과적

ㅇ 적합한 경우:
– 수학 문제 풀이, 다단계 논리 추론, 조건부 결론 도출

ㅇ 시험 함정:
– 단순한 답변 생성과 동일시
– CoT를 데이터 전처리 기법으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: CoT는 모델이 문제 해결 과정을 단계적으로 표현하도록 한다.
X: CoT는 모델이 정답만 바로 출력하도록 한다.

ㅁ 추가 학습 내용

멀티모달 구조 학습에서는 각 모달리티별 전처리 방식과 인코더 구조의 차이를 이해해야 한다.
이미지 인코더로는 CNN, ViT, Swin Transformer 등이 있으며,
음성 인코더로는 MFCC, wav2vec 2.0, HuBERT 등이 사용된다.

Vision-Language Model의 대표 아키텍처로는 CLIP, BLIP, Flamingo가 있고,
Speech-Language Model에서는 Whisper, SpeechT5 등의 최신 모델 구조와 특징을 숙지해야 한다.

Cross-attention은 Encoder-Decoder 구조에서 주로 사용되며, Query-Key-Value의 역할과 Self-attention과의 차이점을 이해하는 것이 중요하다.

CoT(Chain of Thought)는 Zero-shot CoT, Few-shot CoT, Self-consistency 등 다양한 변형 기법이 존재하며,
시험에서는 CoT가 모델의 추론 신뢰도를 높이는 원리와 한계, 예를 들어 잘못된 중간 추론이 최종 답변에 미치는 영향 등을 묻는 문제가 출제될 수 있다.