ㅁ 프롬프트 엔지니어링

ㅇ 정의:
– 대규모 언어 모델(LLM)이나 생성형 AI에서 원하는 출력 결과를 얻기 위해 입력 문장(프롬프트)을 설계·조정하는 기법.

ㅇ 특징:
– 모델 파라미터를 변경하지 않고 입력 구조와 예시, 지시문 등을 최적화.
– 자연어 형식으로 작성되며, 모델의 내부 지식과 추론 능력을 유도.

ㅇ 적합한 경우:
– 모델 재학습 없이 성능 향상을 원할 때.
– 시간·비용 제약이 있어 빠른 실험이 필요한 경우.

ㅇ 시험 함정:
– 프롬프트 엔지니어링이 모델 학습 자체를 포함한다고 혼동.
– 단순 질의와 프롬프트 기법을 구분하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 파라미터를 변경하지 않고 입력 설계로 성능을 높인다.”
X: “프롬프트 엔지니어링은 모델 재학습 과정이다.”

================================

1. Few-shot

ㅇ 정의:
– 프롬프트에 소수(일반적으로 1~5개)의 예시를 포함하여 모델이 패턴을 학습하고 응답하도록 하는 기법.

ㅇ 특징:
– 예시를 통해 모델이 태스크의 형식과 의도를 이해.
– 데이터가 적을 때도 효과적.

ㅇ 적합한 경우:
– 새로운 태스크에 대해 모델이 기본 지식은 있으나 형식을 맞춰야 할 때.

ㅇ 시험 함정:
– Few-shot을 소규모 데이터 학습(few-shot learning)과 동일시.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “프롬프트에 3개의 예시를 포함하여 모델이 형식을 학습하게 한다.”
X: “Few-shot은 반드시 모델 재학습을 수반한다.”

================================

2. Zero-shot

ㅇ 정의:
– 예시 제공 없이 지시문만으로 모델이 태스크를 수행하도록 하는 기법.

ㅇ 특징:
– 모델의 사전 학습 지식을 최대한 활용.
– 프롬프트 설계가 간결.

ㅇ 적합한 경우:
– 모델이 이미 충분한 사전 지식을 가진 태스크.

ㅇ 시험 함정:
– Zero-shot에서도 은근히 예시가 포함되는 경우가 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “예시 없이 지시문만으로 분류 작업을 수행한다.”
X: “Zero-shot은 반드시 예시 1개 이상이 필요하다.”

================================

3. Chain-of-Thought

ㅇ 정의:
– 모델이 문제 해결 과정을 단계별로 서술하도록 유도하는 프롬프트 기법.

ㅇ 특징:
– 복잡한 추론 문제에서 중간 사고 과정을 노출.
– 정답률 향상에 도움.

ㅇ 적합한 경우:
– 수학 문제, 논리 추론, 다단계 의사결정.

ㅇ 시험 함정:
– Chain-of-Thought를 단순히 긴 답변과 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “중간 추론 과정을 단계별로 작성하게 한다.”
X: “Chain-of-Thought는 항상 최종 답만 출력한다.”

================================

4. Prompt Tuning

ㅇ 정의:
– 프롬프트를 벡터 형태로 학습하여 모델 입력에 최적화하는 기법.

ㅇ 특징:
– 모델 파라미터는 고정하고, 학습 가능한 프롬프트 임베딩만 조정.
– 대규모 모델에서 효율적인 파인튜닝 방법.

ㅇ 적합한 경우:
– 특정 태스크에 맞춘 성능 향상이 필요하지만 전체 파인튜닝이 부담스러운 경우.

ㅇ 시험 함정:
– Prompt Tuning을 단순한 문장 수정과 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 파라미터 고정, 프롬프트 임베딩만 학습한다.”
X: “Prompt Tuning은 프롬프트 문장을 사람이 직접 수정하는 과정이다.”

ㅁ 추가 학습 내용

프롬프트 엔지니어링 시험 대비 핵심 정리

1. Few-shot과 Zero-shot 구분
– Few-shot: 프롬프트에 예시를 포함하여 모델이 참고하도록 함
– Zero-shot: 예시 없이 지시문만 제공
– 혼동 방지를 위해 예시 포함 여부를 명확히 구분

2. Chain-of-Thought(CoT)
– 복잡한 추론 문제에서 효과적
– 단계별 사고 과정을 모델이 출력하도록 유도
– 수학 문제, 논리 퍼즐 등에서 활용

3. Prompt Tuning
– 학습 가능한 임베딩을 사용하여 프롬프트를 최적화
– 사람이 수동으로 작성하는 프롬프트 설계와 다름
– Parameter-Efficient Fine-Tuning(PEFT) 기법의 하나
– LoRA, Prefix Tuning과 비교 가능

4. 시험 출제 포인트
– 모델 파라미터 변경 여부: 프롬프트 엔지니어링은 파라미터를 변경하지 않지만, Prompt Tuning은 일부 학습된 임베딩 사용
– 프롬프트 구성 요소: 입력 예시 수, 지시문의 명확성, 출력 형식 지정 방법
– 각 기법의 차이점, 적용 사례, 장단점 비교