[월:] 2025년 08월

ㅁ 가중치 최적화 ㅇ 정의: 모델의 파라미터(가중치)를 효율적으로 조정하거나 감소시켜 연산량과 메모리 사용량을 줄이는 기술. ㅇ 특징: – 성능 유지 또는 최소 성능 저하를 목표로 함 – 학습 또는 학습 후 단계에서 적용 가능 – 경량화와 추론 속도 향상에 기여 ㅇ 적합한 경우: – 엣지 디바이스, 모바일 환경 – 실시간 추론이 필요한 응용 ㅇ 시험

ㅁ 모니터링/실행 1. Data Drift Detection ㅇ 정의: 데이터 분포가 시간에 따라 변화하여 모델 성능이 저하되는 현상을 감지하는 기법. ㅇ 특징: – 입력 데이터의 통계적 특성을 지속적으로 추적. – KS 검정, PSI, KL Divergence 등의 통계 기법 활용. – 비지도 방식으로 운영 환경에서 자동 감지 가능. ㅇ 적합한 경우: – 실시간 예측 시스템에서 데이터 특성이

ㅁ 배포 아키텍처 ㅇ 정의: ㅇ 특징: ㅇ 적합한 경우: ㅇ 시험 함정: ㅇ 시험 대비 “패턴 보기” 예시: ================================ 1. Model-in-service ㅇ 정의: – 모델을 애플리케이션 코드 내부에 직접 포함하여 배포하는 방식으로, 모델 로직과 서비스 로직이 동일한 프로세스에서 실행됨. ㅇ 특징: – 배포 단순, 외부 호출 지연 없음. – 모델 업데이트 시 애플리케이션 전체

ㅁ 설명가능 인공지능(XAI) 핵심기법 1. Global Surrogate ㅇ 정의: – 복잡한 블랙박스 모델의 전체 동작을 근사하는 해석 가능한 대체 모델(예: 의사결정나무)을 학습하여 설명하는 방법. ㅇ 특징: – 전체 데이터셋 기반으로 전역적 설명 제공. – 설명 모델은 원본 모델보다 단순. ㅇ 적합한 경우: – 모델 전반의 의사결정 구조를 이해하고자 할 때. – 규제 준수나 경영진 보고용.

ㅁ PEFT/Fine-tuning 초기화/설정 1. A 행렬 ㅇ 정의: – LoRA(Low-Rank Adaptation)에서 저차원 근사화를 위해 사용되는 가중치 행렬 중 하나로, 입력 특성을 저차원 잠재 공간으로 투영하는 역할. ㅇ 특징: – 초기값은 일반적으로 정규분포 또는 Xavier 초기화 사용. – 학습 시 B 행렬과 함께 곱해져 원래 가중치 변화량을 구성. ㅇ 적합한 경우: – 대규모 언어모델 파라미터 효율적

ㅁ PEFT/Fine-tuning ㅇ 정의: 사전 학습된 대규모 언어 모델(LLM)이나 딥러닝 모델을 전체 파라미터가 아닌 일부만 조정하여 새로운 태스크에 맞게 적응시키는 기법. ㅇ 특징: 전체 파라미터 업데이트 대비 메모리와 연산량이 절감되며, 원본 모델의 성능을 유지하면서 빠른 학습이 가능함. ㅇ 적합한 경우: 리소스 제약 환경, 다수의 태스크에 대해 빠르게 모델을 맞춰야 하는 상황, 데이터가 제한적인 경우. ㅇ

ㅁ 사전학습/언어모델 기법/토큰/Task 1. Dynamic masking ㅇ 정의: – 사전학습 시 마스킹 위치를 고정하지 않고 학습 배치마다 무작위로 변경하는 기법. ㅇ 특징: – 동일한 문장이라도 학습 시마다 다른 토큰이 마스킹됨. – 데이터 다양성을 높여 모델의 일반화 성능 향상. ㅇ 적합한 경우: – 대규모 코퍼스에서 다양한 문맥 패턴 학습이 필요한 경우. ㅇ 시험 함정: – Static

ㅁ Contrastive/Self-supervised 학습 ㅇ 정의: – 레이블이 없는 데이터에서 데이터의 표현을 학습하는 방법으로, 데이터의 변환/증강을 통해 서로 다른 뷰를 생성하고, 유사한 것은 가깝게, 다른 것은 멀게 학습하는 방식. ㅇ 특징: – 대규모 비라벨 데이터 활용 가능 – 데이터 증강 기법이 성능에 큰 영향 – 사전학습(pretraining)과 전이학습(finetuning)을 분리 ㅇ 적합한 경우: – 라벨 데이터가 부족한 경우

ㅁ 적합성/장점 1. 실시간 생성 ㅇ 정의: – 입력 데이터나 조건이 주어졌을 때 지연 없이 즉시 결과를 생성하는 모델 특성. ㅇ 특징: – 낮은 추론 지연 시간(latency) – 경량화된 모델 구조나 효율적인 연산 최적화 필요 – 실시간 스트리밍, 대화형 인터페이스에 적합 ㅇ 적합한 경우: – 실시간 번역, 게임 NPC 대화, 라이브 영상 합성 등 ㅇ

ㅁ 핵심 원리 1. Reparameterization Trick ㅇ 정의: – 확률 분포에서 샘플링하는 과정을 미분 가능하게 만들기 위해 확률 변수 z를 평균과 표준편차, 그리고 표준 정규분포에서 뽑은 ε로 재표현하는 기법. ㅇ 특징: – z = μ + σ * ε 형태로 표현하여 역전파가 가능. – VAE 학습에서 잠재 변수 샘플링의 불연속성을 해결. ㅇ 적합한 경우: –