세부 이슈: Instruction-tuning

ㅁ 세부 이슈 ㅇ 정의: LLM(대규모 언어 모델)에서 특정 작업에 대한 성능을 향상시키기 위해 주어진 지침에 따라 모델을 미세 조정하는 과정. ㅇ 특징: – 사전 학습된 모델에 추가 데이터를 제공하여 특정 작업에 맞게 조정. – 일반적인 텍스트 생성보다 특정 작업에 대한 정확도가 높아짐. – 데이터의 품질과 양에 따라 성능이 크게 좌우됨. ㅇ 적합한 경우: –

프롬프트 설계: Prompt Injection

ㅁ 프롬프트 설계 ㅇ 정의: 사용자가 AI 모델과 상호작용하기 위해 입력하는 명령어 또는 질문을 설계하는 과정. ㅇ 특징: – 명확하고 구체적인 지침 제공. – 모델의 출력 품질에 직접적인 영향을 미침. – 다양한 입력 시나리오에 대한 고려 필요. ㅇ 적합한 경우: – 특정한 답변을 유도해야 할 때. – 사용자 경험을 최적화하려는 경우. ㅇ 시험 함정: –

프롬프트 설계: Chain-of-Thought

ㅁ 프롬프트 설계 ㅇ 정의: – 프롬프트 설계는 AI 모델이 사용자 입력에 대해 적절한 응답을 생성할 수 있도록 입력 구조를 설계하는 과정이다. ㅇ 특징: – 사용자의 요구를 명확히 반영해야 하며, 모델의 성능을 극대화하기 위한 최적화가 필요하다. – 다양한 입력 조건에 대해 일관된 결과를 도출할 수 있도록 설계된다. ㅇ 적합한 경우: – 복잡한 문제를 단계적으로 해결해야

프롬프트 설계: Few-shot

ㅁ 프롬프트 설계 ㅇ 정의: 프롬프트 설계는 AI 모델이 사용자 요청에 적합한 응답을 생성할 수 있도록 입력 텍스트를 구성하는 과정이다. 이 과정은 모델의 성능을 극대화하고 원하는 결과를 얻기 위해 중요하다. ㅇ 특징: – 명확하고 간결한 문구를 사용하여 모델이 혼란 없이 이해할 수 있도록 한다. – 다양한 사례를 포함하여 모델이 더 많은 정보를 학습하도록 유도한다. –

프롬프트 설계: Zero-shot

ㅁ 프롬프트 설계 ㅇ 정의: – 프롬프트 설계는 AI 모델이 주어진 입력에 대해 원하는 출력을 생성하도록 입력 형식을 구성하는 과정. ㅇ 특징: – AI 모델의 성능은 프롬프트의 질에 따라 크게 달라질 수 있음. – 특정 문제에 대해 최소한의 정보만 제공하거나, 추가적인 맥락을 포함하여 모델의 응답을 조정 가능. ㅇ 적합한 경우: – 명확한 질문이나 지시가 필요한

대표 기법: Noisy Student

ㅁ 대표 기법 ㅇ 정의: 준지도 학습에서 레이블이 부족한 데이터를 활용하기 위해 사용하는 방법으로, 학생-교사 모델을 활용하여 데이터를 증폭하고 노이즈를 추가해 학습 성능을 개선하는 기법. ㅇ 특징: – 교사 모델과 학생 모델의 반복적인 학습 구조를 가짐. – 노이즈 추가를 통해 모델의 일반화 성능을 향상시킴. – 레이블이 없는 데이터와 레이블이 있는 데이터를 모두 활용 가능. ㅇ

대표 기법: MixMatch

ㅁ 대표 기법 ㅇ 정의: 준지도 학습에서 라벨이 없는 데이터를 효과적으로 활용하기 위해, 라벨이 있는 데이터와 혼합하여 학습하는 기법. ㅇ 특징: – 라벨이 없는 데이터에 대해 가상의 라벨을 생성하여 활용. – 데이터 증강(Data Augmentation)을 통해 학습 데이터의 다양성을 확보. – 정규화를 통해 모델의 일반화 성능을 향상시킴. ㅇ 적합한 경우: – 라벨링된 데이터가 부족한 상황에서 모델의

대표 기법: Consistency Training

ㅁ 대표 기법 ㅇ 정의: 준지도 학습에서 사용되는 방법으로, 모델이 동일한 입력에 대해 일관된 출력 값을 생성하도록 학습시키는 기법이다. ㅇ 특징: – 데이터의 변형(예: 이미지 회전, 밝기 조정)을 통해 입력 데이터의 다양성을 증가시키고, 변형된 데이터에 대해 동일한 예측을 요구한다. – 라벨이 없는 데이터에서 모델의 일반화 능력을 향상시키는 데 도움을 준다. – 데이터의 불확실성을 줄이고 안정성을

대표 기법: Pseudo Labeling

ㅁ 대표 기법 ㅇ 정의: 준지도 학습에서 대표적인 기법으로, 초기 모델이 예측한 레이블을 신뢰 가능한 데이터로 간주하여 학습에 사용하는 방법. ㅇ 특징: 초기 모델의 품질에 따라 성능이 크게 좌우되며, 초기 레이블의 신뢰도가 낮으면 학습이 왜곡될 위험이 있음. ㅇ 적합한 경우: 라벨링된 데이터가 제한적이고, 비라벨링된 데이터가 충분히 많은 경우. ㅇ 시험 함정: Pseudo Labeling은 항상 정확한

주요 기법: 오토인코더

ㅁ 주요 기법 ㅇ 정의: 비지도 학습에서 데이터를 효율적으로 표현하기 위해 입력 데이터를 압축하고 복원하는 신경망 구조. ㅇ 특징: – 입력 데이터와 출력 데이터가 동일하게 설정됨. – 데이터의 잠재 공간 표현(latent space)을 학습하여 특징을 추출. – 과적합 방지를 위해 드롭아웃(dropout)이나 정규화 기법을 사용. ㅇ 적합한 경우: – 데이터의 노이즈 제거. – 차원 축소 및 데이터