ㅁ 개념 및 실천

ㅇ 정의:
서로 다른 형태(모달리티)의 데이터를 결합하여 분석·처리하는 접근 방식. 예를 들어 텍스트, 이미지, 오디오, 센서 데이터 등을 통합하여 모델에 입력하는 것을 의미함.

ㅇ 특징:
– 각 모달리티의 특성을 보존하면서 상호 보완적으로 활용 가능
– 데이터 표현의 다양성 확보 → 모델의 이해력 및 예측력 향상
– 데이터 간 동기화와 정렬(synchronization)이 중요
– 전처리 단계에서 각 모달별 정규화, 스케일링, 특징 추출 필요

ㅇ 적합한 경우:
– 의료 영상+환자 기록 결합 분석
– 자율주행: 카메라 영상+LiDAR 센서 데이터 통합
– 감정 분석: 음성 톤+텍스트 내용 결합

ㅇ 시험 함정:
– 단일 모달리티(single modality)와 혼동하는 경우
– 멀티태스크 학습(multi-task learning)과 개념 혼동
– 데이터 융합 시점(early fusion vs late fusion) 구분 문제

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Multimodality는 서로 다른 유형의 데이터를 결합하여 분석하는 방법이다.”
X: “Multimodality는 동일한 형식의 데이터만 사용하는 분석 방법이다.”

ㅁ 추가 학습 내용

Multimodality 학습에서는 각 모달리티별 특징 추출 방법과 융합 전략에 대한 이해가 중요하다.
특징 추출 방법에는 CNN, RNN, Transformer 등이 있으며, 융합 전략에는 early fusion, late fusion, hybrid fusion이 있다.

시험에서는 다음과 같은 내용이 자주 출제될 수 있다.
– 모달리티 간 동기화 문제
– 결측 모달 처리(imputation)
– 모달리티 불균형 문제(imbalance)

추가로 알아두면 좋은 개념은 다음과 같다.
– 멀티모달 임베딩(multimodal embedding) 기법
– attention 기반 융합
– cross-modal retrieval 개념