ㅁ 기술 및 응용

1. Multimodal Models

ㅇ 정의:
텍스트, 이미지, 오디오, 비디오 등 서로 다른 형태의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 모델. 서로 다른 모달리티 간의 상호 보완적 정보를 통합하여 더 정확한 분석과 추론을 수행.

ㅇ 특징:
– 다양한 데이터 소스를 결합해 맥락 이해 능력이 향상됨.
– 각 모달리티별 전처리와 특성 추출이 필요함.
– Transformer 기반 아키텍처나 CLIP, Flamingo 등 사전학습 모델 활용이 많음.
– 데이터 불균형, 동기화 문제, 대규모 연산 자원 요구.

ㅇ 적합한 경우:
– 이미지+텍스트 검색, 비디오 설명 생성, 의료 영상+환자 기록 분석.
– 단일 모달 데이터로는 부족한 복합적 의미 이해가 필요한 경우.

ㅇ 시험 함정:
– 단일 모달 모델과 혼동하는 경우 (예: 텍스트만 처리하는 GPT 계열).
– 멀티태스크 모델과 멀티모달 모델을 동일시하는 오류.
– ‘모달리티’를 ‘모델의 모드’로 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
(O) 멀티모달 모델은 텍스트와 이미지를 동시에 처리할 수 있다.
(X) 멀티모달 모델은 반드시 모든 모달리티를 동일한 정확도로 처리한다.
(O) CLIP은 이미지와 텍스트를 동일한 임베딩 공간에 매핑한다.
(X) 멀티모달 모델은 항상 단일 모달 모델보다 계산 자원이 적게 든다.

ㅁ 추가 학습 내용

Multimodal Models 학습 시 추가로 알아야 할 내용 정리

1. Early Fusion, Late Fusion, Hybrid Fusion의 차이와 장단점
– Early Fusion: 모달리티별 특징을 입력 단계에서 결합하여 학습. 장점은 모달리티 간 상호작용을 초기에 반영 가능, 단점은 모달리티별 고유 특성이 손실될 수 있음.
– Late Fusion: 각 모달리티를 독립적으로 처리한 후 결과를 결합. 장점은 해석력이 높고 모달리티별 특성 보존 가능, 단점은 모달리티 간 상호작용 학습이 제한됨.
– Hybrid Fusion: Early와 Late 방식의 장점을 결합하여 상호작용과 특성 보존을 모두 고려.

2. 대표 멀티모달 모델 사례와 특징
– CLIP(OpenAI): 이미지와 텍스트를 함께 학습하여 텍스트-이미지 매칭 성능 우수.
– ALIGN(Google): 대규모 이미지-텍스트 데이터로 학습, 효율적인 멀티모달 표현 학습.
– Flamingo(DeepMind): 다양한 모달리티 입력에 대응하며 적은 예시로도 학습 가능.
– Kosmos-1(Microsoft): 멀티모달 입력과 멀티태스크 처리 가능.

3. 멀티모달 학습의 주요 과제
– 모달리티 간 시계열 동기화 문제
– 데이터 라벨 불균형 문제
– 모달리티 결손(missing modality) 처리 방법 필요

4. 실제 응용 시 주의사항
– 개인정보가 포함된 멀티모달 데이터의 보안과 프라이버시 보호 필요
– 대규모 연산 비용과 환경적 영향 고려

5. 시험 대비 주요 포인트
– 멀티모달, 멀티태스크, 멀티라벨 개념 구분
– 모달리티 정의 문제
– 대표 모델과 적용 사례 연결 문제 자주 출제