ㅁ PEFT/강화

ㅇ 정의:
PEFT(Parameterized Efficient Fine-Tuning)는 사전 학습된 모델을 효율적으로 튜닝하는 방법이며, 강화 학습은 모델의 성능을 정렬하거나 개선하는 데 사용된다.

ㅇ 특징:
– PEFT는 모델의 일부 파라미터만 조정하여 효율성을 높임.
– 강화 학습은 보상 신호를 통해 모델의 행동을 개선함.

ㅇ 적합한 경우:
– 자원 제한 환경에서 대규모 모델을 튜닝할 때.
– 특정 작업에 대한 모델 정렬이 필요할 때.

ㅇ 시험 함정:
– PEFT의 적용 가능성을 과대평가하거나 모든 모델에 동일한 효과를 기대하는 경우.
– 강화 학습에서 보상 설계 오류로 인해 모델이 비효율적으로 학습하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
X: PEFT는 모든 파라미터를 조정하여 모델 성능을 극대화한다.
O: PEFT는 모델의 일부 파라미터만 조정하여 효율성을 높인다.

================================

1. Speculative Decoding

ㅇ 정의:
Speculative Decoding은 모델의 응답 생성 과정을 가속화하기 위해 여러 응답 후보를 동시에 생성하고, 이를 평가하여 최적의 응답을 선택하는 방법이다.

ㅇ 특징:
– 응답 생성 속도를 높이고 계산 자원을 절약함.
– 후보 응답의 품질 평가가 중요함.

ㅇ 적합한 경우:
– 실시간 응답이 필요한 애플리케이션.
– 대규모 언어 모델의 응답 생성 효율성을 높이고자 할 때.

ㅇ 시험 함정:
– 모든 후보 응답이 적합하다는 가정을 하는 경우.
– 평가 기준이 불명확하거나 비효율적인 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
X: Speculative Decoding은 항상 최적의 응답을 생성한다.
O: Speculative Decoding은 여러 응답 후보를 생성하고 이를 평가하여 최적의 응답을 선택한다.

ㅁ 추가 학습 내용

Speculative Decoding의 평가 기준 설계와 관련된 학습 내용을 정리하면 다음과 같습니다:

1. **후보 응답의 품질 평가 알고리즘 및 메트릭**:
– 후보 응답의 품질을 평가하기 위해 자주 사용되는 알고리즘과 메트릭은 다음과 같습니다:
– **BLEU (Bilingual Evaluation Understudy)**: 기계 번역 품질 평가에 자주 사용되며, 생성된 텍스트와 참조 텍스트 간의 n-gram 일치를 측정합니다.
– **ROUGE (Recall-Oriented Understudy for Gisting Evaluation)**: 요약 및 텍스트 생성에서 사용되며, 생성된 텍스트와 참조 텍스트 간의 중복된 n-gram, 단어, 문장 등을 기반으로 평가합니다.
– **Perplexity**: 모델이 텍스트를 얼마나 잘 예측하는지 평가하는 데 사용되며, 낮은 Perplexity 값이 더 나은 품질을 나타냅니다.
– **Human Evaluation**: 알고리즘 평가 외에도, 품질 평가를 위해 인간 평가자를 활용하여 유창성, 문맥 적합성, 창의성 등을 측정합니다.
– **Diversity Metrics**: 생성된 응답의 다양성을 평가하기 위해 사용되며, 후보 응답이 반복적이거나 단조롭지 않은지를 확인합니다.

2. **Speculative Decoding의 실제 적용 사례**:
– Speculative Decoding은 주로 대규모 언어 모델에서 응답 속도를 높이고 계산 비용을 줄이는 데 사용됩니다.
– 예를 들어, 대화형 AI 시스템(챗봇)이나 실시간 번역 시스템에서 사용되어 응답 시간을 줄이고 사용자 경험을 개선합니다.
– 검색 엔진의 쿼리 확장, 문서 요약, 코드 생성과 같은 다양한 자연어 처리(NLP) 작업에서도 활용됩니다.

3. **성능 비교 데이터**:
– Speculative Decoding의 성능은 기존의 디코딩 방법(예: Greedy Decoding, Beam Search)과 비교하여 평가됩니다.
– 주요 비교 지표:
– 응답 생성 속도: Speculative Decoding은 일반적으로 속도가 더 빠릅니다.
– 품질 보존: 속도를 높이면서도 생성된 텍스트의 품질이 기존 방법과 유사하거나 더 나은 경우가 많습니다.
– 예시 데이터:
– 특정 데이터셋(예: OpenAI의 GPT 모델에서 사용한 데이터셋)에서 Speculative Decoding이 Beam Search 대비 2배 이상의 속도 향상을 보였다는 결과가 보고된 바 있습니다.

4. **평가 기준 설계 시 고려 사항**:
– 응답의 정확성과 유창성 간의 균형을 유지해야 합니다.
– 속도 향상이 품질 저하로 이어지지 않도록 평가 메트릭을 신중히 선택해야 합니다.
– 실제 사용 사례에 적합한 메트릭을 선정하여 실질적인 성능 향상을 측정해야 합니다.

이러한 내용을 바탕으로 Speculative Decoding의 평가 기준 설계와 관련된 시험 문제에 대비할 수 있습니다.