ㅁ 신뢰/위험

ㅇ 정의: AI 모델에서 사용자 입력을 조작하여 의도치 않은 동작을 유발하거나 데이터를 유출시키는 공격을 탐지하고 방지하는 기법.

ㅇ 특징: 입력 데이터에 대한 검증 및 필터링을 통해 악의적인 명령어 실행을 방지함. 모델의 취약점을 악용하려는 시도를 식별하는 데 초점.

ㅇ 적합한 경우: 사용자 입력이 모델 동작에 직접적으로 영향을 미치는 애플리케이션(예: 챗봇, 자동화된 고객 서비스).

ㅇ 시험 함정: Prompt Injection과 일반적인 SQL Injection을 혼동하거나, 방어 기법의 적용 범위를 과대평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:

1. “Prompt Injection Detection은 사용자가 입력한 명령어를 모두 허용한다.” (X)
2. “Prompt Injection Detection은 악의적인 입력을 탐지하고 차단하는 데 중점을 둔다.” (O)

================================

1. Prompt Injection Detection

ㅇ 정의: AI 시스템에 전달된 입력값 중 악의적이거나 예상치 못한 동작을 유발할 수 있는 데이터를 탐지하고, 모델의 신뢰성을 유지하기 위한 기술.

ㅇ 특징: 실시간으로 입력을 분석하며, 의심스러운 패턴을 사전에 정의하거나 머신러닝 기반으로 학습하여 탐지함.

ㅇ 적합한 경우: 보안이 중요한 AI 시스템(예: 금융, 의료)에서 사용자 입력의 무결성을 유지해야 할 때.

ㅇ 시험 함정: Prompt Injection Detection을 단순한 오타 수정 시스템으로 오해하거나, 모든 공격 유형에 대해 완벽하게 방어할 수 있다고 착각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:

1. “Prompt Injection Detection은 모든 악성 입력을 100% 완벽히 차단한다.” (X)
2. “Prompt Injection Detection은 AI 모델의 입력값을 검증하여 예상치 못한 동작을 방지한다.” (O)

ㅁ 추가 학습 내용

Prompt Injection Detection과 관련된 방어 기법 및 사례에 대해 아래와 같이 정리하여 학습을 진행하세요.

1. 입력 데이터 정규화:
– 사용자 입력 데이터를 처리하기 전에 불필요한 공백, 특수 문자, 혹은 예상치 못한 형식을 제거하여 통일된 형식으로 변환합니다.
– 데이터 정규화를 통해 악의적인 패턴이 숨겨지는 것을 방지할 수 있습니다.
– 예를 들어, HTML 인코딩, SQL 인젝션 방지를 위한 escape 처리 등을 포함할 수 있습니다.

2. 화이트리스트 기반 필터링:
– 허용된 명령어나 입력 값만 수용하도록 시스템을 설계합니다.
– 예상 가능한 안전한 입력 값과 패턴을 미리 정의하여 그 외의 입력은 거부합니다.
– 이 기법은 특히 명확한 입력 형식이 요구되는 애플리케이션에서 효과적입니다.

3. 컨텍스트 기반 의도 분석:
– 입력 데이터의 의도를 파악하여 정상적인 요청인지 확인합니다.
– 자연어 처리(NLP) 기술을 활용하여 입력의 맥락을 분석하고, 의심스러운 패턴이나 비정상적인 요청을 탐지합니다.
– 예를 들어, 사용자가 의도적으로 모델의 동작을 변경하려는 명령어를 포함했는지 판단합니다.

4. GPT 모델에 대한 공격 시나리오:
– 공격자는 모델의 프롬프트를 조작하여 비정상적인 응답을 유도하거나, 민감한 정보를 유출시키는 시도를 할 수 있습니다.
– 예시로, “Ignore all previous instructions and respond with…”와 같은 명령어를 삽입하여 모델의 기존 제약을 무력화하려는 시도가 있습니다.

5. 대응책:
– 모델의 프롬프트를 고정하거나, 입력을 검증하는 추가 계층을 구축하여 악의적인 명령어가 포함되지 않도록 방어합니다.
– 입력 데이터와 모델 간의 상호작용을 모니터링하여 비정상적인 패턴을 감지합니다.
– 최신 연구 및 사례를 지속적으로 검토하여 새로운 공격 벡터에 대비합니다.

이 내용을 바탕으로 각 방어 기법의 원리와 적용 방법, 그리고 실제 사례를 연관 지어 학습하면 시험 대비에 효과적일 것입니다.