ㅁ 기술 및 응용

ㅇ 정의:
– Vision-Language Models(VLM)은 이미지, 비디오 등 시각 데이터와 텍스트 데이터를 동시에 처리하고 이해하는 AI 모델로, 멀티모달 학습을 통해 두 모달리티 간의 의미적 연관성을 학습한다.

ㅇ 특징:
– 이미지 캡셔닝, 비주얼 질문응답(VQA), 멀티모달 검색 등 다양한 작업 수행 가능
– 사전학습(Pre-training)과 파인튜닝(Fine-tuning) 전략을 활용
– CLIP, BLIP, Flamingo 등 대규모 데이터 기반 모델이 주류
– Cross-attention, Contrastive Learning 등 기법 사용

ㅇ 적합한 경우:
– 텍스트와 이미지가 결합된 검색 및 추천 시스템
– 시각적 정보와 설명을 함께 제공해야 하는 서비스(예: 시각장애인 보조)
– 전자상거래 상품 검색, 멀티모달 챗봇, 교육 콘텐츠 생성

ㅇ 시험 함정:
– VLM은 단순한 이미지 분류 모델이나 NLP 모델과 혼동하기 쉬움
– 멀티모달 학습과 멀티태스크 학습을 혼동하는 경우 출제
– CLIP은 Contrastive Learning 기반, Flamingo는 Few-shot 학습 지원 등 모델별 특징 구분 필요

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Vision-Language Models는 이미지와 텍스트를 함께 처리하는 멀티모달 AI 모델이다.”
– X: “Vision-Language Models는 텍스트 데이터만 처리하는 자연어 처리 모델이다.”

ㅁ 추가 학습 내용

Vision-Language Models의 대표 아키텍처 차이

1. CLIP
– 이미지와 텍스트를 각각 별도의 인코더로 처리
– 임베딩 공간에서 이미지-텍스트 간 유사도를 학습
– 주로 Zero-shot 이미지 분류, 검색 등에 활용

2. BLIP
– 이미지와 텍스트 간 양방향 생성 능력 강화
– 이미지에서 텍스트 생성, 텍스트에서 이미지 이해 모두 가능
– 비전-언어 간 상호작용을 촉진하는 구조

3. Flamingo
– 사전학습된 VLM 기반
– 소량의 예시(Few-shot)만으로 새로운 작업 수행 가능
– 멀티모달 Few-shot 학습 구조

최신 연구 동향
– 멀티모달 프롬프트 엔지니어링: 다양한 모달 입력을 효과적으로 활용하는 프롬프트 설계 기법
– Cross-modal Retrieval: 서로 다른 모달 간 검색(예: 이미지로 텍스트 검색, 텍스트로 이미지 검색)
– Zero-shot Image Classification: 사전학습 모델을 활용해 학습 없이 이미지 분류
– Multimodal Chain-of-Thought: 멀티모달 정보를 단계적으로 추론하는 기법

멀티모달과 다중센서 데이터 처리 차이
– 멀티모달: 서로 다른 형태의 데이터(예: 이미지+텍스트) 통합 처리
– 다중센서: 동일하거나 유사한 형태의 데이터를 여러 센서로부터 수집해 처리

멀티모달 융합 단계 구분
– Early Fusion: 입력 단계에서 모달 데이터를 결합
– Late Fusion: 각 모달을 개별 처리 후 결과를 결합
– Hybrid Fusion: Early와 Late 방식을 혼합하여 결합