ㅁ 프롬프트 설계

ㅇ 정의:
사용자가 AI 모델과 상호작용하기 위해 입력하는 명령어 또는 질문을 설계하는 과정.

ㅇ 특징:
– 명확하고 구체적인 지침 제공.
– 모델의 출력 품질에 직접적인 영향을 미침.
– 다양한 입력 시나리오에 대한 고려 필요.

ㅇ 적합한 경우:
– 특정한 답변을 유도해야 할 때.
– 사용자 경험을 최적화하려는 경우.

ㅇ 시험 함정:
– 모호한 지시로 인해 출력이 불명확해지는 경우.
– 과도하게 복잡한 프롬프트로 인해 모델이 혼란을 겪는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: “사용자가 입력한 질문에 대해 두 가지 예시를 들어 설명하시오.”
2. X: “질문에 답해.”

================================

1. Prompt Injection

ㅇ 정의:
AI 모델이 의도치 않은 동작을 하도록 유도하는 악의적인 프롬프트 입력 기법.

ㅇ 특징:
– 모델의 기본 지침을 우회하거나 무력화함.
– 보안 취약점으로 악용될 가능성이 있음.
– 의도적으로 설계된 입력을 통해 모델의 신뢰성을 저하시킬 수 있음.

ㅇ 적합한 경우:
– AI 시스템의 보안 취약점을 테스트할 때.
– 악용 사례를 방지하기 위한 연구 목적으로 활용.

ㅇ 시험 함정:
– Prompt Injection과 단순한 오입력을 혼동하는 경우.
– 보안과 관련된 질문에 대해 모호한 답변을 작성하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: “Prompt Injection은 AI 시스템의 보안 취약점을 악용하는 기법이다.”
2. X: “Prompt Injection은 사용자가 AI 모델을 더 효율적으로 사용하는 방법이다.”

================================

ㅁ 추가 학습 내용

Prompt Injection에 대한 방어 기법으로 ‘Input Validation’과 ‘Context Locking’은 중요한 역할을 합니다.

1. Input Validation: 입력값을 사전에 검증하여 악의적인 명령을 차단하는 방법입니다. 이 기법은 사용자가 입력한 데이터가 예상된 형식과 내용인지 확인하고, 의도치 않은 명령이나 코드가 포함되어 있을 경우 이를 제거하거나 차단합니다. 이를 통해 시스템이 악의적인 입력을 처리하지 않도록 보호할 수 있습니다. Input Validation은 데이터의 무결성과 보안을 유지하는 데 필수적이며, 정규 표현식, 화이트리스트, 블랙리스트 등을 활용해 구현됩니다.

2. Context Locking: 모델이 특정한 컨텍스트 내에서만 작동하도록 제한하는 기법입니다. 이 방법은 모델이 주어진 지침이나 작업 범위를 벗어나지 않도록 설계되어야 하며, 이를 통해 외부 입력이 모델의 의도된 동작을 변경하거나 악용하는 것을 방지합니다. 예를 들어, 모델이 특정한 질문에만 답변하도록 설정하거나, 특정한 작업에만 집중하도록 제한함으로써 안전성을 강화할 수 있습니다.

추가적으로, Prompt Injection 가능성을 줄이기 위해 사용자 입력과 시스템 지침을 분리하는 설계 원칙도 중요합니다. 이를 통해 사용자 입력이 시스템의 주요 지침에 영향을 미치지 않도록 격리하고, 시스템의 핵심 동작이 외부 요인에 의해 변경되지 않도록 보호할 수 있습니다. 이러한 분리 설계는 보안성을 높이고, 모델의 신뢰성을 유지하는 데 기여합니다.