ㅁ 프롬프트 엔지니어링

ㅇ 정의:
프롬프트 엔지니어링은 대규모 언어 모델(LLM)과 같은 사전 학습된 모델에 대해 원하는 출력 결과를 얻기 위해 입력 문장(프롬프트)을 설계·조정하는 기법이다.

ㅇ 특징:
– 모델의 파라미터를 직접 변경하지 않고 입력 문구를 최적화하여 성능을 개선
– 소량의 데이터로도 특정 태스크에 맞춘 성능 향상이 가능
– 자연어 기반 지시문, 예시, 제약 조건 등을 포함하여 모델 응답을 유도

ㅇ 적합한 경우:
– 모델 재학습 없이 빠르게 태스크 적합도를 높이고 싶은 경우
– 리소스가 제한되어 파인튜닝이 어려운 경우
– 다양한 상황별 응답 패턴을 실험하고 싶은 경우

ㅇ 시험 함정:
– 프롬프트 엔지니어링과 파인튜닝을 혼동하는 경우가 많음 (프롬프트 엔지니어링은 모델 가중치 변경 없음)
– Prompt Tuning과 In-context Learning의 차이를 헷갈릴 수 있음
– “프롬프트 엔지니어링은 항상 모델 정확도를 높인다”라는 절대적 표현은 오답

ㅇ 시험 대비 “패턴 보기” 예시:
O: “프롬프트 엔지니어링은 모델 파라미터 변경 없이 입력 설계로 성능을 높인다.”
X: “프롬프트 엔지니어링은 모델을 재학습하여 성능을 높인다.”

================================

1. Prompt Tuning

ㅇ 정의:
Prompt Tuning은 사전 학습된 언어 모델에 대해 프롬프트를 학습 가능한 임베딩으로 두고, 해당 임베딩만 학습시켜 특정 태스크 성능을 높이는 기법이다.

ㅇ 특징:
– 모델 전체 파라미터는 고정하고, 입력 프롬프트에 해당하는 임베딩 벡터만 업데이트
– 메모리·연산 자원 소모가 적음
– 프롬프트가 사람이 읽을 수 있는 자연어가 아닐 수 있음 (soft prompt)
– 소량의 태스크 데이터로 효율적 학습 가능

ㅇ 적합한 경우:
– 대규모 모델을 전체 재학습하기 어려운 경우
– 여러 태스크에 대해 효율적으로 전환 학습이 필요한 경우
– 프롬프트 엔지니어링의 자동화·최적화를 원할 때

ㅇ 시험 함정:
– Prompt Tuning과 Prefix Tuning, Adapter Tuning을 혼동하는 경우가 많음
– Prompt Tuning은 사람이 직접 작성한 텍스트 프롬프트를 학습하는 것이 아니라 임베딩 벡터를 학습하는 것임을 놓치기 쉬움
– “Prompt Tuning은 모델 파라미터 전체를 업데이트한다”는 표현은 오답

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Prompt Tuning은 프롬프트 임베딩만 학습하여 태스크 성능을 높인다.”
X: “Prompt Tuning은 모델 전체 파라미터를 재학습한다.”

ㅁ 추가 학습 내용

Prompt Tuning은 사람이 작성한 예시를 직접 넣는 In-context Learning과 달리, 연속 벡터 형태의 Soft Prompt를 학습하는 방식이다.
Prefix Tuning은 Prompt Tuning과 유사하게 학습 가능한 토큰을 추가하지만, 입력 시퀀스 앞뿐 아니라 Transformer의 각 계층에 프리픽스를 주입한다는 차이가 있다.
시험에서는 Prompt Tuning, Prefix Tuning, Adapter Tuning의 차이를 비교하는 문제가 자주 나오므로, 파라미터 업데이트 범위, 적용 위치, 메모리 사용량 등을 표로 정리해 두는 것이 효과적이다.
또한 Hard Prompt(자연어 기반)와 Soft Prompt(임베딩 기반)의 차이, 장단점, 적용 예시를 함께 숙지해야 한다.