ㅁ 대형 모델 환경 ㅇ 정의: 다국어(Multilingual) 파운데이션 모델(FM)은 하나의 대규모 모델이 여러 언어를 동시에 이해하고 생성할 수 있도록 학습된 모델을 의미하며, 대규모 언어 데이터셋과 다국어 코퍼스를 기반으로 사전학습됨. ㅇ 특징: – 언어 간 의미 매핑을 통해 번역 없이도 다양한 언어 입력을 처리 가능 – 저자원 언어에 대해서도 성능 향상을 기대할 수 있음 – 언어별
ㅁ 도메인 특화 ㅇ 정의: 특정 산업, 업무 분야 또는 조직의 요구사항에 맞춰 설계·학습된 인공지능 모델로, 범용 모델 대비 해당 영역에서 더 높은 성능과 정확성을 제공. ㅇ 특징: – 범용 LLM을 기반으로 하되, 도메인 데이터로 추가 학습(Fine-tuning) 또는 프롬프트 엔지니어링을 통해 최적화. – 전문 용어, 규제 준수, 업무 프로세스에 특화. – 데이터 프라이버시와 보안 요구가
ㅁ 도메인 특화 ㅇ 정의: 특정 산업 또는 분야에 최적화된 AI 모델을 개발하여 해당 영역의 문제 해결에 특화된 인공지능. ㅇ 특징: – 범용 AI보다 해당 도메인 데이터와 규제, 업무 프로세스에 대한 이해도가 높음 – 데이터 전처리와 피처 엔지니어링이 도메인 지식 기반으로 이루어짐 – 모델의 해석 가능성과 규제 준수가 중요한 경우가 많음 ㅇ 적합한 경우: –
ㅁ 도메인 특화 ㅇ 정의: 특정 산업이나 분야(도메인)의 요구사항과 규제, 데이터 특성을 반영하여 설계·개발된 AI 모델을 의미함. 범용 AI보다 해당 분야 문제 해결에 최적화됨. ㅇ 특징: – 해당 도메인의 전문 지식과 데이터셋을 기반으로 학습 – 도메인별 규제·윤리 기준 반영 필수 – 범용 모델보다 좁은 범위에서 높은 정확도 – 데이터 전처리, 피처 엔지니어링 과정이 도메인 특화됨
ㅁ 도메인 특화 ㅇ 정의: 특정 산업이나 분야(도메인)의 요구와 특성에 맞춰 설계·학습된 인공지능 모델을 의미하며, 범용 AI보다 해당 분야의 전문성과 정확성이 높음. ㅇ 특징: – 데이터셋이 해당 도메인에 특화됨 – 전문 용어와 문맥 이해도가 높음 – 범용 모델 대비 응답 속도와 정확성이 높지만 다른 분야로의 전이성은 낮음 ㅇ 적합한 경우: – 법률, 의료, 금융 등
ㅁ 검색 생성 융합 ㅇ 정의: 검색 생성 융합은 대규모 언어 모델(LLM)이 응답을 생성하기 전에 외부 지식베이스나 검색 시스템으로부터 관련 정보를 검색하고, 이를 생성 과정에 통합하는 기술을 의미한다. ㅇ 특징: – 검색 단계와 생성 단계를 결합하여 최신성, 정확성을 높임. – 검색 결과를 컨텍스트로 제공하여 환각(hallucination) 감소. – 검색 품질이 전체 성능에 직접적인 영향을 미침. ㅇ
ㅁ 검색 생성 융합 ㅇ 정의: – Retrieval-Augmented Generation Plus(RAG+)는 기존 RAG 구조에 추가적인 후처리, 전처리, 필터링, 재순위화, 멀티소스 검색 등을 결합하여 생성 모델의 답변 정확도와 신뢰성을 높이는 기술. ㅇ 특징: – 검색 단계에서 다중 데이터 소스 활용 가능 – 검색 결과에 대한 재순위화 및 필터링 적용 – 생성 단계 전후로 품질 검증 로직 포함
ㅁ 검색 생성 융합 ㅇ 정의: GAR(Generation-Augmented Retrieval)은 대규모 언어모델(LLM)의 생성 능력과 정보 검색(Retrieval) 기능을 결합하여, 외부 지식 기반에서 관련 정보를 검색한 뒤 이를 생성 과정에 반영하는 접근 방식이다. ㅇ 특징: – 검색 단계에서 최신성·정확성이 높은 데이터를 확보하여 생성 결과의 신뢰성을 높임. – LLM의 한계인 지식 컷오프 문제를 완화. – 검색된 문서를 프롬프트에 포함시켜 모델이
ㅁ 구조/방법 ㅇ 정의: – Sparse Mixture는 혼합전문가 모델(MoE)에서 모든 전문가를 동시에 사용하는 대신, 입력별로 일부 전문가만 활성화하는 방식의 구조를 의미한다. ㅇ 특징: – 게이트 네트워크가 입력에 따라 k개의 전문가만 선택 – 계산 효율성이 높고, 메모리 사용량 절감 – 전문가별 특화 학습 가능 – 학습 시 전문가 불균형 사용 문제 발생 가능 ㅇ 적합한 경우:
ㅁ 구조/방법 1. Switch Transformer ㅇ 정의: 구글에서 제안한 혼합전문가 모델(MoE)의 변형으로, 여러 전문가(Expert) 중 하나만 활성화하여 연산 효율을 극대화한 대규모 언어 모델 구조. ㅇ 특징: – 기존 MoE는 여러 전문가를 동시에 활성화하지만, Switch Transformer는 입력 토큰마다 하나의 전문가만 선택(Switch)하여 연산량을 줄임. – 라우팅 네트워크가 각 토큰을 담당할 전문가를 결정. – 파라미터 수는 많지만, 실제