ㅁ 프롬프트 인젝션

ㅇ 정의:
프롬프트 인젝션은 AI 모델의 입력 프롬프트를 조작하여 의도하지 않은 동작을 유발하거나 민감한 정보를 노출시키는 공격 기법이다.

ㅇ 특징:
– 입력값을 통해 모델의 행동을 변경.
– AI 시스템의 신뢰성을 저하시킬 수 있음.
– 다양한 변형 기법이 존재.

ㅇ 적합한 경우:
– AI 시스템의 보안 취약점을 테스트할 때.
– 모델의 입력 처리 로직을 검증할 때.

ㅇ 시험 함정:
– 프롬프트 인젝션과 데이터 중독(Data Poisoning)을 혼동할 수 있음.
– 단순한 입력 오류와 공격 기법을 구분하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “프롬프트 인젝션은 입력값을 통해 AI 모델의 동작을 조작하는 기법이다.”
– X: “프롬프트 인젝션은 모델의 학습 데이터를 변경하여 동작을 조작하는 기법이다.”

================================

1. Prompt Injection Variants

ㅇ 정의:
Prompt Injection Variants는 프롬프트 인젝션의 다양한 변형 형태로, 특정 목표를 달성하기 위해 다양한 방식으로 입력값을 조작하는 기법을 포함한다.

ㅇ 특징:
– 일반적인 프롬프트 인젝션보다 더 구체적이고 목적 지향적임.
– 변형 기법마다 취약점과 대응 방식이 다를 수 있음.

ㅇ 적합한 경우:
– 특정 유형의 프롬프트 인젝션 공격을 분석하고 방어책을 마련할 때.

ㅇ 시험 함정:
– 변형 기법 간의 차이를 명확히 이해하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Prompt Injection Variants는 프롬프트 인젝션의 변형 기법으로, Indirect Injection과 Jailbreak이 포함된다.”
– X: “Prompt Injection Variants는 프롬프트 인젝션과 별개의 공격 기법이다.”

================================

1.1 Indirect Injection

ㅇ 정의:
Indirect Injection은 사용자 입력이 아닌 외부 데이터 소스를 통해 AI 모델의 동작을 조작하는 프롬프트 인젝션 기법이다.

ㅇ 특징:
– 외부 데이터 의존성이 높은 시스템에서 발생 가능.
– 데이터 소스의 신뢰성을 확보하는 것이 중요.

ㅇ 적합한 경우:
– 외부 데이터 소스를 사용하는 AI 시스템의 보안 테스트.

ㅇ 시험 함정:
– 외부 데이터와 사용자 입력을 통한 프롬프트 인젝션의 차이를 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Indirect Injection은 외부 데이터 소스를 통해 AI 모델의 동작을 조작하는 기법이다.”
– X: “Indirect Injection은 사용자 입력을 통해 AI 모델을 조작하는 기법이다.”

================================

1.2 Jailbreak

ㅇ 정의:
Jailbreak은 AI 모델의 제한된 동작을 우회하거나 금지된 행동을 수행하도록 만드는 프롬프트 인젝션 기법이다.

ㅇ 특징:
– 모델의 정책이나 제한사항을 무력화.
– 주로 악의적인 목적을 위해 사용됨.

ㅇ 적합한 경우:
– AI 모델의 정책 준수 여부를 검증할 때.

ㅇ 시험 함정:
– Jailbreak과 일반적인 프롬프트 인젝션을 동일시할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Jailbreak은 AI 모델의 제한 사항을 우회하여 금지된 작업을 수행하도록 하는 기법이다.”
– X: “Jailbreak은 AI 모델의 학습 데이터를 변경하여 동작을 조작하는 기법이다.”

ㅁ 추가 학습 내용

프롬프트 인젝션과 관련된 보안 대책과 대응 전략을 학습하기 위해 다음과 같은 내용을 정리하여 학습하면 좋습니다:

1. **프롬프트 인젝션이란 무엇인가**:
– 프롬프트 인젝션은 사용자가 의도하지 않은 명령이나 데이터를 모델에 삽입하여 모델이 예상치 못한 동작을 수행하도록 만드는 공격 기법입니다. 이는 주로 자연어 처리 모델에서 발생하며, 악의적인 입력을 통해 모델의 응답을 조작하거나 민감한 정보를 유출시키는 데 사용될 수 있습니다.

2. **보안 대책**:
– **입력 검증(Input Validation)**:
– 사용자가 입력한 데이터를 철저히 검증하여 악의적인 패턴이나 의도된 조작을 식별합니다. 예를 들어, 금지된 키워드나 명령어를 필터링하거나 입력 데이터를 정규화하여 예상치 못한 동작을 방지합니다.
– 데이터의 길이, 형식, 내용 등을 확인하여 비정상적인 입력을 차단합니다.
– **외부 데이터 소스의 신뢰성 확보**:
– 모델이 외부 데이터 소스를 참조하거나 사용하는 경우, 해당 데이터의 출처를 검증하고 신뢰성을 보장해야 합니다. 신뢰할 수 없는 데이터 소스를 사용하는 것은 프롬프트 인젝션의 가능성을 높일 수 있습니다.
– 데이터 무결성을 확인하기 위해 암호화 및 디지털 서명 기술을 활용할 수 있습니다.
– **모델의 출력 제한(Output Limitation)**:
– 모델이 생성하는 응답을 제한하여 민감한 정보가 포함되지 않도록 합니다. 예를 들어, 응답의 길이를 제한하거나 특정 유형의 정보를 포함하지 않도록 필터링합니다.
– 모델이 생성한 출력이 의도된 범위를 벗어나지 않도록 사후 검증을 수행합니다.

3. **구체적인 방어 기법과 사례**:
– **사전 정의된 프롬프트 사용**:
– 모델이 처리할 수 있는 프롬프트를 미리 정의하고, 사용자 입력을 이와 비교하여 허용 여부를 결정합니다.
– 사용자 입력을 직접적으로 모델에 전달하지 않고, 중간 계층에서 안전한 방식으로 처리합니다.
– **샌드박스 환경 구축**:
– 모델이 실행되는 환경을 격리하여 악의적인 입력이 시스템 전체에 영향을 미치지 않도록 합니다.
– 샌드박스 내에서 모델의 동작을 모니터링하고 비정상적인 활동을 감지합니다.
– **모니터링 및 로깅**:
– 모델의 입력과 출력을 지속적으로 모니터링하여 비정상적인 패턴을 탐지합니다.
– 로그 데이터를 분석하여 공격 시도를 식별하고 대응합니다.

4. **프롬프트 인젝션과 유사한 공격 기법의 차이점**:
– **데이터 중독(Data Poisoning)**:
– 데이터 중독은 모델의 학습 데이터에 악의적인 데이터를 삽입하여 모델의 성능을 저하시키거나 특정 방향으로 왜곡시키는 공격입니다. 이는 학습 단계에서 발생하며, 프롬프트 인젝션은 주로 실행 단계에서 발생합니다.
– **모델 역공학(Model Reverse Engineering)**:
– 모델 역공학은 모델의 내부 구조와 학습된 정보를 추출하려는 시도로, 주로 모델의 보안 취약점을 파악하거나 민감한 데이터를 복원하는 데 사용됩니다. 프롬프트 인젝션은 모델의 동작을 조작하는 데 초점이 맞춰져 있습니다.

5. **시험 대비를 위한 학습 포인트**:
– 프롬프트 인젝션의 정의와 주요 특징.
– 공격을 방지하기 위한 입력 검증, 신뢰성 확보, 출력 제한의 중요성.
– 구체적인 방어 기법과 실제 사례.
– 데이터 중독 및 모델 역공학과의 차이점 및 각각의 특징.
– 각 보안 대책의 장단점과 실제 적용 시 고려해야 할 요소들.

이 내용을 체계적으로 학습하면 프롬프트 인젝션 및 관련 보안 문제에 대해 깊이 있는 이해를 할 수 있을 것입니다.