[카테고리:] AI 이론

ㅁ 설명가능 인공지능(XAI) 핵심기법 1. Global Surrogate ㅇ 정의: 복잡하고 블랙박스 형태의 원래 모델을 대체하여 전체 예측 동작을 근사하는 해석 가능한 모델(예: 의사결정나무, 선형회귀)을 학습시키는 방법. ㅇ 특징: – 원래 모델 전체의 전역적 동작 패턴을 설명. – surrogate 모델은 해석 가능성을 위해 단순한 구조를 가짐. – 원래 모델과 surrogate 모델은 입력-출력 데이터셋을 공유하여 학습. –

ㅁ PEFT/Fine-tuning 초기화/설정 ㅇ 정의: 사전 학습된 모델의 일부 계층(layer)만 선택적으로 학습하거나 고정(freeze)하여 파라미터 효율적 미세 조정을 수행하는 과정에서, 어떤 layer에 적용할지를 결정하는 단계. ㅇ 특징: – 전체 모델이 아닌 특정 layer에만 학습을 적용하여 연산량과 메모리 사용량 절감 – 하위 layer는 일반적인 언어/패턴 이해를 담당, 상위 layer는 태스크 특화 패턴을 담당하는 경향 – Transformer 구조에서는

ㅁ PEFT/Fine-tuning 초기화/설정 1. 학습률 ㅇ 정의: 모델의 가중치를 업데이트할 때 변화량의 크기를 결정하는 하이퍼파라미터로, 경사하강법(Gradient Descent)에서 한 번의 스텝에 이동하는 정도를 의미함. ㅇ 특징: – 값이 너무 크면 발산하거나 최적값을 지나칠 수 있음. – 값이 너무 작으면 수렴 속도가 느려지고 지역 최소값에 빠질 수 있음. – Fine-tuning에서는 사전 학습된 가중치를 크게 변형하지 않도록 일반적으로

ㅁ PEFT/Fine-tuning 초기화/설정 ㅇ 정의: 사전 학습된 대규모 언어모델(LLM)에서 파라미터 효율적 미세조정(PEFT) 기법 중 LoRA(Low-Rank Adaptation)에서 사용되는 B 행렬은 저랭크 분해의 두 번째 행렬로, A 행렬과 곱해져 원래 모델 가중치 변경분을 형성한다. ㅇ 특징: – 일반적으로 작은 크기의 행렬로 초기화되며, 학습 시 업데이트되는 주된 대상. – A 행렬은 고정 또는 부분 학습이 가능하지만, B 행렬은

ㅁ PEFT/Fine-tuning 초기화/설정 ㅇ 정의: 사전 학습된 대규모 언어 모델(LLM)이나 딥러닝 모델을 특정 작업에 맞게 효율적으로 미세 조정하기 위해, 전체 파라미터를 업데이트하지 않고 일부 파라미터만 학습하거나 초기값을 조정하는 기법. ㅇ 특징: – 기존 모델의 가중치를 그대로 두고, 추가된 작은 모듈(어댑터, LoRA 등)만 학습 가능 – 학습 속도와 메모리 사용량 절감 – 데이터가 적어도 과적합 위험이

ㅁ PEFT/Fine-tuning 1. rank r ㅇ 정의: 사전학습된 대규모 언어모델(LLM)에서 파라미터 효율적 미세조정(PEFT) 기법 중 Low-Rank Adaptation(LoRA)에서 사용되는 랭크 값으로, 업데이트할 가중치 행렬을 저차원(r)으로 분해하여 학습하는 방식의 차원을 의미함. ㅇ 특징: – r 값이 작을수록 학습 파라미터 수와 메모리 사용량이 줄어들어 효율적임. – 너무 작은 r은 표현력 부족으로 성능 저하를 초래할 수 있음. – r

ㅁ PEFT/Fine-tuning ㅇ 정의: 사전 학습된 대규모 언어모델(LLM)이나 딥러닝 모델의 모든 파라미터를 업데이트하지 않고, 특정 저차원 행렬(랭크가 낮은 행렬)만 학습하여 모델을 효율적으로 미세 조정하는 방법. ㅇ 특징: – 전체 파라미터 대비 학습해야 하는 파라미터 수가 매우 적어 메모리와 연산량 절감. – 원본 모델의 성능을 크게 훼손하지 않으면서 특정 태스크에 적합하게 조정 가능. – LoRA(Low-rank Adaptation)

ㅁ PEFT/Fine-tuning ㅇ 정의: 사전 학습된 대규모 언어 모델(LLM)이나 딥러닝 모델의 전체 파라미터를 모두 업데이트하지 않고, 일부 파라미터나 추가 모듈만 학습하여 특정 작업에 맞게 미세 조정하는 방법. ㅇ 특징: – 전체 모델 파라미터 대비 학습해야 하는 파라미터 수가 매우 적어 메모리와 연산량을 절감. – 원본 모델의 일반화 능력을 유지하면서 특정 도메인이나 태스크에 맞춘 성능 향상이

ㅁ PEFT/Fine-tuning 1. BitFit ㅇ 정의: 사전 학습된 언어 모델에서 모든 가중치를 학습하지 않고, 각 층의 bias 파라미터만 미세 조정하는 경량 파인튜닝 기법. ㅇ 특징: – 전체 파라미터 대비 0.1~0.5% 정도만 업데이트하므로 메모리와 연산량이 매우 적음. – bias 값만 조정해도 특정 다운스트림 태스크에서 성능 향상이 가능함. – 기존 모델 구조를 변경하지 않음. – 학습 속도가

ㅁ PEFT/Fine-tuning 1. Prefix Tuning ㅇ 정의: 사전 학습된 언어 모델의 원래 파라미터를 고정한 채, 입력 토큰 앞에 학습 가능한 ‘prefix’ 벡터를 추가하여 모델의 출력을 원하는 방향으로 조정하는 미세 조정 기법. ㅇ 특징: – 전체 파라미터가 아닌 prefix 부분만 학습하므로 메모리와 학습 시간이 절약됨 – 원본 모델의 지식을 유지하면서 특정 작업에 맞게 조정 가능 –