ㅁ 파운데이션 모델 혁신

ㅇ 정의:
– 파운데이션 모델 혁신은 대규모 언어 모델(LLM)이나 멀티모달 모델을 기반으로 다양한 문제를 해결하기 위해 새로운 방법론을 개발하거나 기존 한계를 극복하는 기술적 접근을 의미한다.

ㅇ 특징:
– 대규모 데이터와 고성능 컴퓨팅 자원을 활용하여 학습됨.
– 특정 도메인에 특화된 성능을 발휘할 수 있도록 커스터마이징 가능함.
– 모델의 일반화 성능과 효율성을 동시에 고려.

ㅇ 적합한 경우:
– 대규모 데이터셋에서 일반화 가능한 패턴을 학습해야 하는 경우.
– 특정 도메인 문제를 해결하기 위한 맞춤형 모델이 필요한 경우.

ㅇ 시험 함정:
– 파운데이션 모델의 정의와 특징을 혼동하거나, 단순히 대규모 데이터만 사용하면 혁신으로 간주하는 경우.
– 특정 사례를 일반화하여 모든 문제에 적용 가능한 것으로 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 파운데이션 모델은 대규모 데이터와 고성능 컴퓨팅 자원을 활용하여 학습된다.
– X: 파운데이션 모델은 항상 특정 도메인에 특화된 성능을 발휘한다.

================================

1. Retrieval-augmented FM

ㅇ 정의:
– Retrieval-augmented FM은 외부 데이터베이스에서 관련 정보를 검색하여 모델의 입력으로 활용함으로써 성능을 향상시키는 방법론이다.

ㅇ 특징:
– 모델이 학습하지 않은 정보도 외부 검색을 통해 활용 가능.
– 기존 모델의 메모리 한계를 극복하고, 최신 정보에 대한 접근을 가능하게 함.
– 검색된 정보의 품질에 따라 모델 성능이 크게 좌우됨.

ㅇ 적합한 경우:
– 최신 정보가 필요한 작업(예: 실시간 뉴스 요약, 법률 자문)에서 유용.
– 모델이 학습 데이터에 포함되지 않은 정보를 처리해야 하는 경우.

ㅇ 시험 함정:
– Retrieval-augmented FM을 단순히 모델의 파라미터 수를 줄이는 기술로 오해.
– 검색된 정보가 항상 정확하다고 가정하거나, 검색 과정의 한계를 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Retrieval-augmented FM은 외부 데이터베이스에서 관련 정보를 검색하여 모델 입력으로 활용한다.
– X: Retrieval-augmented FM은 모델의 모든 연산을 외부 검색에 의존한다.

ㅁ 추가 학습 내용

Retrieval-augmented FM과 관련하여 학습해야 할 내용을 다음과 같이 정리합니다:

1. Retrieval 과정에서 사용하는 검색 알고리즘의 원리와 차이점:
– BM25: 전통적인 정보 검색 모델로, 문서와 쿼리 간의 TF-IDF 기반 점수 계산을 통해 관련성을 평가.
– Dense Retrieval: 신경망 기반 임베딩 모델을 활용하여 쿼리와 문서를 벡터로 변환한 뒤, 벡터 간의 유사도를 계산하여 검색.
– 차이점: BM25는 단어의 빈도와 가중치에 의존하는 반면, Dense Retrieval는 문맥을 포함한 의미적 유사성을 반영.

2. Retrieval-augmented FM이 Latent Knowledge와 Explicit Knowledge를 조합하는 방식:
– Latent Knowledge: 사전 학습된 파라미터에 내재된 암묵적 지식.
– Explicit Knowledge: 외부 검색을 통해 명시적으로 가져온 정보.
– 조합 방식: 모델이 검색된 정보를 입력 컨텍스트에 통합하여 응답 생성 시 활용. 이를 통해 Latent Knowledge의 한계를 보완.

3. Retrieval 과정 중 발생할 수 있는 Latency 문제와 최적화 기법:
– Latency 문제: 검색 과정에서 발생하는 시간 지연으로 인해 모델의 실시간 응답 속도가 저하될 수 있음.
– 최적화 기법: 인덱스 압축, 효율적인 검색 알고리즘 사용, 캐싱 전략, 검색 공간 축소를 위한 사전 필터링.

4. Retrieval-augmented FM과 기존 Knowledge Graph 기반 접근법의 비교 및 장단점:
– Retrieval-augmented FM:
장점: 다양한 도메인에서 동적인 정보 검색 가능, 최신 정보 반영.
단점: 검색 정확도와 속도에 따라 성능이 좌우됨.
– Knowledge Graph 기반 접근법:
장점: 구조화된 데이터로 인해 정확성 높음, 특정 도메인에 최적화.
단점: 데이터 구축 및 유지보수 비용이 높음, 범용성이 낮을 수 있음.