ㅁ 멀티모달 AI

ㅇ 정의:
텍스트, 이미지, 음성, 영상 등 서로 다른 형태의 데이터를 동시에 처리하고 이해하는 인공지능 기술.

ㅇ 특징:
서로 다른 모달리티 간 상호 보완적 정보 활용, 복합 입력 기반의 정교한 추론 가능.

ㅇ 적합한 경우:
영상 자막 생성, 시각-청각 기반 감정 분석, 멀티미디어 검색 등.

ㅇ 시험 함정:
단일 모달 AI와 혼동, 멀티모달은 반드시 2개 이상의 상이한 데이터 유형을 포함해야 함.

ㅇ 시험 대비 “패턴 보기” 예시:
– 멀티모달 AI는 텍스트와 이미지 중 하나만 처리할 수 있다 (X)
– 멀티모달 AI는 영상과 음성을 함께 분석할 수 있다 (O)

================================

1. VideoGPT

ㅇ 정의:
GPT 계열의 언어 모델 아키텍처를 기반으로, 영상 데이터를 토큰화하여 예측·생성하는 멀티모달 생성 모델.

ㅇ 특징:
영상 프레임을 시퀀스 형태로 변환 후 Transformer 구조로 처리, 장면 전환 예측 및 새로운 영상 생성 가능.

ㅇ 적합한 경우:
짧은 동영상 생성, 영상의 다음 프레임 예측, 비디오 압축 표현 학습.

ㅇ 시험 함정:
VideoGPT는 실시간 스트리밍 처리에 최적화되어 있다는 설명은 틀림. 주로 사전 학습된 데이터셋 기반의 비실시간 생성에 활용됨.

ㅇ 시험 대비 “패턴 보기” 예시:
– VideoGPT는 영상 데이터를 토큰 단위로 변환하여 처리한다 (O)
– VideoGPT는 오디오 신호만을 처리하는 모델이다 (X)

ㅁ 추가 학습 내용

VideoGPT 시험 대비 정리

1. VQ-VAE 기반 토큰화 방식
– 벡터 양자화 변분 오토인코더(VQ-VAE)를 사용하여 비디오 프레임을 이산 토큰 시퀀스로 변환
– 연속적인 픽셀 값을 코드북(codebook) 인덱스로 매핑하여 압축 및 표현 효율성 향상
– 비디오 데이터를 토큰 단위로 변환함으로써 Transformer 기반 시퀀스 모델이 처리 가능하게 함

2. Transformer의 시퀀스 예측 메커니즘
– 입력 토큰 시퀀스를 기반으로 다음 토큰을 예측하는 자기회귀(autoregressive) 구조
– 비디오 토큰의 시간적 순서를 고려하여 프레임 간 관계를 학습
– 멀티헤드 어텐션을 통해 장기 의존성(long-term dependency) 처리 가능

3. 시간적 일관성 유지 방법
– 학습 데이터셋 구성 시 프레임 순서와 간격을 유지하여 모델이 자연스러운 시간 흐름을 학습하도록 함
– 랜덤 샘플링 시에도 시간 축의 연속성을 보장하는 전략 사용
– 데이터 증강 시 시간 왜곡이 최소화되도록 설계

4. VideoGPT와 다른 모델 비교
– CLIP: 이미지와 텍스트의 멀티모달 표현 학습, 비디오 직접 생성 기능 없음
– Imagen Video: 텍스트-비디오 생성 모델, 고해상도·고프레임 비디오 생성 가능
– Phenaki: 장시간 비디오 생성에 특화, 텍스트 시퀀스를 기반으로 비디오 생성
– VideoGPT: VQ-VAE 토큰화 + Transformer 기반 비디오 시퀀스 생성, 주로 비디오 예측 및 생성에 초점

5. 응용 사례
– 비디오 요약: 핵심 장면만 추출하여 짧게 재구성
– 장면 전환 감지: 컷, 페이드 등 전환 지점 자동 탐지
– 비디오 기반 질의응답(QA): 비디오 내용을 분석하여 질문에 답변

6. 시험 출제 포인트
– ‘멀티모달’이라는 용어가 포함되어 있어도 실제로는 단일 모달 처리인 경우가 있음
– 문제에서 멀티모달 여부를 혼동시키는 함정이 자주 출제됨