ㅁ 프롬프트 엔지니어링

ㅇ 정의:
주어진 목표를 달성하기 위해 인공지능 모델에 입력으로 제공되는 텍스트를 최적화하는 과정.

ㅇ 특징:
– 모델의 성능을 향상시키기 위한 간단한 방법.
– 추가적인 학습 없이 입력 데이터만 조작하여 결과를 개선.
– 주로 자연어 처리(NLP) 모델에서 활용.

ㅇ 적합한 경우:
– 사전 학습된 모델을 수정하지 않고 특정 작업에 적합하게 만들고자 할 때.
– 데이터나 리소스가 제한적인 환경에서 모델을 활용해야 할 때.

ㅇ 시험 함정:
– 프롬프트의 품질이 모델 성능에 미치는 영향을 과소평가하는 경우.
– 프롬프트 튜닝과 모델 재학습을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: 프롬프트 엔지니어링은 사전 학습된 모델의 가중치를 수정하지 않고 성능을 향상시킨다.
2. X: 프롬프트 엔지니어링은 모델의 재학습을 포함한다.

================================

1. Prompt Tuning

ㅇ 정의:
사전 학습된 모델에 특정 작업을 수행하도록 안내하는 입력 텍스트를 최적화하는 기법.

ㅇ 특징:
– 입력 텍스트를 조정하여 모델 출력의 품질을 개선.
– 추가 학습 없이도 모델의 성능을 특정 작업에 맞게 조율 가능.
– 프롬프트의 설계가 결과의 정확성과 신뢰성에 큰 영향을 미침.

ㅇ 적합한 경우:
– 특정 도메인에서 모델의 성능을 빠르게 개선해야 할 때.
– 추가 데이터 생성이나 모델 재학습이 어려운 경우.

ㅇ 시험 함정:
– Prompt Tuning이 모든 상황에서 최적의 결과를 보장한다고 오해하는 경우.
– 지나치게 복잡한 프롬프트가 오히려 성능을 저하시킬 수 있다는 점을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: Prompt Tuning은 입력 텍스트를 최적화하여 모델 성능을 개선하는 기법이다.
2. X: Prompt Tuning은 모델의 내부 가중치를 변경하여 성능을 향상시킨다.

ㅁ 추가 학습 내용

1. Few-shot Prompting:
Few-shot Prompting은 모델에게 몇 가지 예시를 제공하여 원하는 작업을 수행하도록 유도하는 기법입니다. 프롬프트에 몇 개의 입력-출력 쌍을 포함시켜 모델이 작업의 맥락을 이해하고 적절한 응답을 생성할 수 있도록 합니다.
예시:
“Q: 5+3은? A: 8
Q: 2+4는? A: 6
Q: 7+2는? A:”

2. Zero-shot Prompting:
Zero-shot Prompting은 모델에게 별도의 예시를 제공하지 않고, 작업을 설명하는 텍스트만으로 원하는 응답을 생성하도록 요청하는 기법입니다. 모델이 사전 학습된 지식을 활용해 직접적으로 문제를 해결해야 합니다.
예시:
“다음 질문에 답하세요: 5+3은?”

3. Chain-of-thought Prompting:
Chain-of-thought Prompting은 모델이 복잡한 문제를 단계별로 논리적으로 풀어나가도록 유도하는 기법입니다. 문제 해결 과정을 설명하도록 요청하여 더 정확한 응답을 얻을 수 있습니다.
예시:
“5+3을 계산하려면 먼저 5에 3을 더합니다. 따라서 답은?”

4. 프롬프트 엔지니어링의 한계점:
– 모델의 성능은 프롬프트 작성 방식에 크게 의존하며, 최적의 프롬프트를 설계하기 어렵습니다.
– 특정 작업에서 모델이 일관되지 않은 결과를 생성할 수 있습니다.
– 복잡한 작업에서는 프롬프트만으로 충분한 정보를 제공하기 어려울 수 있습니다.

5. 한계점 보완 방법:
– 하이브리드 접근법: 프롬프트 엔지니어링과 함께 사전 처리, 후처리, 외부 지식 기반 활용 등을 병행하여 성능을 개선합니다.
– 프롬프트 튜닝: 모델이 특정 작업에 대해 더 나은 성능을 보이도록 프롬프트를 반복적으로 수정하고 최적화합니다.
– 추가 데이터 제공: Few-shot Prompting을 활용하여 더 많은 예시를 제공하거나, 학습 데이터를 확장해 모델의 이해도를 높입니다.