ㅁ 프롬프트 설계

ㅇ 정의:
사용자가 AI 모델에 의도적으로 조작된 입력(Prompt)을 제공하여 모델의 원래 의도나 안전장치를 우회하게 만드는 기법.

ㅇ 특징:
– 모델의 내부 지침이나 비공개 데이터 노출을 유도할 수 있음.
– 정상적인 질의와 구별이 어려울 수 있음.
– 대화형 AI, 코드 생성 모델 등 다양한 영역에서 발생 가능.

ㅇ 적합한 경우:
– 보안 취약점 분석 및 방어 로직 검증.
– AI 서비스 운영 전 안전성 테스트.

ㅇ 시험 함정:
– 단순한 오입력이나 오타와 혼동하지 않기.
– 프롬프트 인젝션은 의도적 공격이라는 점을 간과하지 않기.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “프롬프트 인젝션은 AI 모델의 의도된 동작을 변경하기 위해 설계된 입력이다.”
X: “프롬프트 인젝션은 모델의 정확성을 높이기 위한 기법이다.”

================================

1. Prompt Injection

ㅇ 정의:
AI 모델에 제공되는 입력을 조작하여, 모델이 원래 의도하지 않은 정보나 기능을 수행하게 만드는 공격 기법.

ㅇ 특징:
– 명령어 삽입, 역할 변경, 정책 우회 등의 형태로 나타남.
– 보안 필터링을 우회하거나, 내부 지침을 노출시키는 사례 있음.
– 사용자가 자연스러운 대화 형식을 가장하여 공격 가능.

ㅇ 적합한 경우:
– AI 서비스 보안 점검.
– 모델의 취약점 분석 및 방어 전략 수립.

ㅇ 시험 함정:
– 프롬프트 인젝션과 데이터 포이즈닝(학습 데이터 조작)을 혼동하지 않기.
– 단순한 프롬프트 최적화와 공격적 인젝션의 구분 필요.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “프롬프트 인젝션은 AI의 정책을 우회하기 위해 입력을 설계하는 공격 기법이다.”
X: “프롬프트 인젝션은 모델의 학습 데이터 품질을 향상시키는 방법이다.”

ㅁ 추가 학습 내용

프롬프트 인젝션은 모델의 동작을 의도적으로 변경하기 위해 입력에 명령어를 주입하는 공격 기법이다.
유형은 크게 두 가지로 구분된다.
첫째, 직접 인젝션(Direct Injection)은 즉시 지침을 변경하는 방식으로, 사용자가 입력에 직접 명령을 포함시켜 모델이 원래 의도와 다른 행동을 하도록 유도한다.
둘째, 간접 인젝션(Indirect Injection)은 외부 데이터에 숨겨진 명령어를 주입하는 방식으로, 모델이 해당 데이터를 읽는 과정에서 공격자가 심어둔 지침을 실행하게 된다.

방어 기법으로는 입력 검증(Input Sanitization)을 통해 유해한 명령을 제거하거나 변형하는 방법, 컨텍스트 분리(Context Isolation)를 통해 신뢰할 수 없는 입력과 중요한 지침을 분리하는 방법, 출력 필터링(Output Filtering)을 통해 모델의 응답에서 민감 정보나 의도치 않은 내용이 포함되지 않도록 하는 방법, 그리고 모델 체인에서 검증 단계를 추가하여 중간 결과를 점검하는 방법이 있다.

실제 사례로는 사용자가 문서에 숨겨둔 지침을 모델이 읽고 실행하여 기밀 정보가 유출된 경우가 있다.

시험에서는 프롬프트 인젝션과 데이터 포이즈닝, Jailbreak Prompt를 구분하는 문제가 자주 출제된다. 프롬프트 인젝션은 주로 추론 단계에서 발생하며, 학습 단계에서 발생하는 공격과는 구분해야 한다.