ㅁ 멀티모달 AI

ㅇ 정의:
텍스트, 이미지, 음성 등 서로 다른 형태의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 기술.

ㅇ 특징:
– 다양한 데이터 소스 결합 가능
– 입력 간 상호 보완적 정보 활용
– 복합적인 질문 응답 및 추론 가능

ㅇ 적합한 경우:
– 이미지 설명 생성, 시각 질의응답(VQA)
– 음성과 텍스트를 함께 분석하는 고객 서비스 챗봇

ㅇ 시험 함정:
– 단일 모달 AI와의 차이를 혼동하는 문제
– 멀티모달 AI가 반드시 모든 모달리티를 동시에 사용하는 것은 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: “멀티모달 AI는 텍스트와 이미지를 함께 처리할 수 있다.”
X: “멀티모달 AI는 반드시 세 가지 이상의 모달을 동시에 처리해야 한다.”

================================

1. Kosmos-1

ㅇ 정의:
마이크로소프트가 개발한 멀티모달 대규모 언어 모델로, 텍스트와 이미지를 동시에 이해하고 생성할 수 있는 AI 모델.

ㅇ 특징:
– 이미지와 텍스트를 함께 입력받아 질문에 답변 가능
– 시각적 추론과 언어 이해를 결합
– 사전 학습(Pre-training)과 지시 조정(Instruction Tuning) 적용

ㅇ 적합한 경우:
– 이미지 기반 질의응답(VQA)
– 이미지 설명 자동 생성
– 멀티모달 콘텐츠 생성

ㅇ 시험 함정:
– Kosmos-1이 오직 텍스트만 처리한다고 오해하는 경우
– GPT 계열과 동일하다고 혼동하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Kosmos-1은 텍스트와 이미지를 동시에 이해할 수 있다.”
X: “Kosmos-1은 텍스트 전용 모델이다.”

ㅁ 추가 학습 내용

Kosmos-1은 2023년 마이크로소프트에서 발표된 이미지-텍스트 멀티모달 입력을 처리할 수 있는 대규모 언어 모델이다. 멀티모달 AI는 서로 다른 형태의 데이터를 동시에 처리하는 인공지능을 의미하며, 비전-언어 모델(Vision-Language Model)은 그중 시각 정보와 언어 정보를 함께 다루는 모델을 말한다. Kosmos-1은 사전학습(pre-training)과 지시조정(instruction tuning) 과정을 거쳐 학습되었으며, 주요 활용 사례로 시각적 질의응답(Visual Question Answering)과 이미지 설명 생성(Image Captioning)이 있다. CLIP, Flamingo 등 다른 멀티모달 모델과 비교했을 때, Kosmos-1은 이미지 입력이 없는 경우에도 텍스트 기반 질의응답이 가능하다는 특징이 있다. 또한 멀티모달 학습에서는 서로 다른 데이터 유형 간의 의미를 맞추는 데이터 정렬(alignment)이 중요한 요소로 작용한다.