ㅁ 멀티모달 구조

ㅇ 정의:
서로 다른 형태의 데이터를 동시에 처리하고 결합하여 의미를 추론하는 모델 구조로, 예를 들어 음성(Speech)과 텍스트(Language)를 함께 이해하고 생성할 수 있는 시스템.

ㅇ 특징:
– 음성 신호를 텍스트로 변환(STT)하거나, 텍스트를 음성으로 변환(TTS)하는 기능과 더불어, 음성의 의미적 맥락을 언어 모델과 결합.
– 음성의 억양, 감정, 발화 속도 등의 패턴을 이해하여 텍스트 의미와 함께 분석.
– 서로 다른 모달리티 간의 임베딩 공간을 공유하거나 정렬.

ㅇ 적합한 경우:
– 음성 명령 기반의 대화형 AI 비서.
– 회의록 자동 생성 및 요약.
– 다국어 실시간 통역.

ㅇ 시험 함정:
– 단순 STT/TTS 시스템과 멀티모달 구조 혼동.
– 음성+텍스트 결합 모델과 이미지+텍스트 멀티모달 모델의 차이 구분 필요.
– 멀티모달 구조라고 해서 항상 두 모달리티가 대칭적으로 처리되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “음성과 텍스트를 동시에 처리하여 의미를 추론하는 모델”
X: “음성을 텍스트로만 변환하는 단일 모달 모델”

================================

1. Speech-Language Model

ㅇ 정의:
음성 데이터와 언어 데이터를 동시에 입력·출력으로 사용하여 의미를 이해하고 생성하는 AI 모델. 음성 인식, 음성 합성, 대화 이해를 통합적으로 수행.

ㅇ 특징:
– 음성 신호를 벡터 임베딩으로 변환 후 언어 모델과 결합.
– 발화자의 감정, 억양 등의 패러링귀를 반영 가능.
– 사전 학습된 음성 인식 모델과 대규모 언어 모델을 결합하는 경우가 많음.

ㅇ 적합한 경우:
– 콜센터 자동 응답 시스템.
– 음성 기반 질의응답 서비스.
– 장애인 보조 서비스(시각 장애인 음성 안내 등).

ㅇ 시험 함정:
– Speech-Language Model을 단순한 STT+챗봇 조합으로 오해.
– 음성 입력만 처리하는 모델과 혼동.
– 언어 모델 부분이 항상 텍스트만 처리한다고 생각하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “음성과 언어를 결합하여 의미를 이해하고 생성”
X: “텍스트만 처리하는 전통적인 언어 모델”

ㅁ 추가 학습 내용

멀티모달 학습 시 모달리티 간 정렬 기법
– CTC(Connectionist Temporal Classification) 기반 정렬: 입력과 출력의 길이가 다를 때, 프레임 단위로 정렬을 수행하며 중간에 공백(blank) 토큰을 사용하여 시퀀스 매칭을 가능하게 함.
– Cross-Attention 메커니즘: 한 모달리티의 특징을 Query로, 다른 모달리티의 특징을 Key와 Value로 사용하여 서로의 정보에 집중하도록 하는 방식.

음성 임베딩 추출 모델과 언어 모델 결합 방식
– Wav2Vec 2.0: 비지도 사전학습을 통해 음성의 잠재 표현을 학습하고, 이후 다운스트림 작업에 활용.
– HuBERT: 음성을 클러스터링하여 가상의 라벨을 만들고, 이를 예측하는 방식으로 학습.
– 언어 모델 결합: 음성 임베딩을 추출한 후 이를 텍스트 기반 언어 모델의 입력으로 전달하거나, 멀티모달 Transformer 구조로 통합.

실시간 스트리밍 처리와 배치 처리의 차이
– 실시간 스트리밍 처리: 입력이 들어오는 즉시 순차적으로 처리하여 지연 시간을 최소화. 메모리 사용량이 제한적이며, 온라인 서비스에 적합.
– 배치 처리: 일정량의 데이터를 모아 한 번에 처리. 처리 효율과 정확도가 높지만 지연 시간이 길어 실시간성은 떨어짐.

멀티모달 프리트레이닝 전략
– 공동 임베딩 공간 학습: 서로 다른 모달리티를 동일한 벡터 공간에 매핑하여 의미적으로 유사한 데이터가 가까이 위치하도록 학습.
– 모달리티 드롭아웃: 학습 중 일부 모달리티 입력을 의도적으로 제거하여 모델이 특정 모달리티에 과도하게 의존하지 않도록 함.

평가 지표
– WER(Word Error Rate): 음성 인식 결과의 단어 오류율을 측정.
– BLEU: 기계 번역 또는 텍스트 생성 결과의 품질을 참조 문장과 비교하여 평가.
– MOS(Mean Opinion Score): 사람의 주관적 평가를 기반으로 음성 품질을 수치화.

모델 유형 구분
– Speech-Language Model: 음성을 입력으로 받아 텍스트를 생성하거나 이해하는 모델.
– Audio-Language Model: 음악, 환경음 등 비음성 오디오까지 포함하여 처리하는 모델.
– Image-Language Model: 이미지를 입력으로 받아 텍스트를 생성하거나 이해하는 모델.