ㅁ 프롬프트 설계

ㅇ 정의:
– 프롬프트 설계는 AI 모델이 주어진 입력에 대해 원하는 출력을 생성하도록 입력 형식을 구성하는 과정.

ㅇ 특징:
– AI 모델의 성능은 프롬프트의 질에 따라 크게 달라질 수 있음.
– 특정 문제에 대해 최소한의 정보만 제공하거나, 추가적인 맥락을 포함하여 모델의 응답을 조정 가능.

ㅇ 적합한 경우:
– 명확한 질문이나 지시가 필요한 경우.
– 사용자 입력의 변동성을 줄이고 싶을 때.

ㅇ 시험 함정:
– 프롬프트와 출력 간의 관계를 과소평가하거나 과대평가하는 문제.
– 프롬프트가 너무 모호하거나 지나치게 구체적일 경우 모델의 성능 저하 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “프롬프트 설계는 AI 모델의 성능에 큰 영향을 미친다.”
– X: “프롬프트 설계는 항상 AI 모델의 성능을 최적화한다.”

================================

1. Zero-shot

ㅇ 정의:
– Zero-shot은 사전 학습 데이터에 없는 새로운 작업이나 문제를 해결하기 위해 모델이 일반화 능력을 사용하는 방법.

ㅇ 특징:
– 별도의 추가 학습 없이도 새로운 문제를 처리 가능.
– 모델의 사전 학습된 지식과 맥락 이해 능력이 중요.

ㅇ 적합한 경우:
– 데이터 수집이 어렵거나 새로운 작업에 대해 빠른 대응이 필요한 경우.
– 다양한 작업을 한 번에 처리해야 할 때.

ㅇ 시험 함정:
– Zero-shot이 항상 완벽한 결과를 보장한다고 생각하는 오류.
– 특정 작업에 대해 Zero-shot이 아닌 Few-shot이나 Fine-tuning이 더 적합할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Zero-shot은 추가 학습 없이 새로운 작업을 처리하는 방식이다.”
– X: “Zero-shot은 모든 작업에서 최고의 성능을 보장한다.”

ㅁ 추가 학습 내용

Zero-shot 학습 관련 추가 학습 노트:

1. **Zero-shot 학습의 일반화 능력 평가 방법**:
– Zero-shot 학습은 모델이 사전에 학습하지 않은 새로운 태스크나 도메인에서 얼마나 잘 수행할 수 있는지를 평가합니다.
– 모델의 일반화 능력을 평가하기 위해 다음과 같은 방법이 사용됩니다:
– **벤치마크 데이터셋**: Zero-shot 성능을 평가하기 위해 널리 사용되는 데이터셋이 존재합니다. 예를 들어:
– **GLUE (General Language Understanding Evaluation)**: 다양한 자연어 처리 태스크를 포함하며 모델의 일반적인 언어 이해 능력을 평가합니다.
– **SuperGLUE**: GLUE의 확장판으로 더 어려운 태스크를 포함하여 모델의 성능을 평가합니다.
– **ImageNet-Zero-Shot**: 컴퓨터 비전에서 Zero-shot 성능을 평가하기 위한 데이터셋으로, 모델이 새로운 클래스의 이미지를 얼마나 잘 분류하는지 측정합니다.
– **TREC**: 정보 검색 관련 태스크에서 Zero-shot 성능을 평가하는 데 사용됩니다.
– **정량적 지표**: 정확도(Accuracy), F1 점수, BLEU 점수 등 다양한 정량적 지표를 사용하여 모델의 성능을 비교합니다.

2. **Zero-shot 학습의 한계점**:
– **특정 도메인 지식 부족**:
– 모델이 학습하지 않은 특정 도메인에 대해 충분한 지식을 갖고 있지 않으면 Zero-shot 태스크에서 실패할 가능성이 높습니다.
– 예를 들어, 의료나 법률과 같은 전문적인 도메인에서는 모델이 적절한 답변을 생성하지 못할 수 있습니다.
– **문맥 이해 부족**:
– Zero-shot 모델은 복잡한 문맥을 이해하거나 다단계 추론이 필요한 태스크에서 어려움을 겪을 수 있습니다.
– 예를 들어, 긴 문서에서 특정 정보를 찾아야 하는 질문 응답 태스크에서는 성능이 낮아질 수 있습니다.
– **훈련 데이터의 편향**:
– 모델이 훈련 데이터에서 특정 편향을 학습한 경우, 새로운 태스크에서 편향된 결과를 생성할 수 있습니다.
– 예를 들어, 특정 언어에 대한 편향이 있는 경우 다국어 태스크에서 성능이 저하될 수 있습니다.
– **복잡한 태스크 수행 한계**:
– Zero-shot 모델은 새로운 태스크에서 단순한 분류나 매칭은 잘 수행할 수 있지만, 창의적이거나 복잡한 문제 해결 능력이 요구되는 태스크에서는 성능이 떨어질 수 있습니다.
– 예를 들어, 새로운 스타일의 글을 작성하거나 새로운 개념을 생성하는 태스크에서 실패할 가능성이 높습니다.

3. **Zero-shot 학습 실패 사례**:
– **새로운 도메인의 전문 용어 이해 실패**:
– 모델이 생물학적 데이터의 분석이나 법률 문서의 해석을 요구하는 태스크에서 실패할 수 있습니다.
– **문화적 또는 지역적 차이를 반영하지 못하는 경우**:
– 특정 문화나 지역적 맥락에서 사용되는 표현을 이해하지 못해 부정확한 결과를 생성할 수 있습니다.
– **훈련 데이터에 없는 새로운 클래스 분류 실패**:
– 예를 들어, 모델이 학습 데이터에서 본 적 없는 동물의 이미지를 분류하려고 할 때 실패할 수 있습니다.

Zero-shot 학습은 모델의 일반화 능력을 평가하는 중요한 방법이지만, 위와 같은 한계점을 고려하여 적절한 벤치마크와 평가 방법을 사용하는 것이 필요합니다.