ㅁ 신뢰/위험

1. Prompt Injection Detection

ㅇ 정의:
– 사용자가 의도적으로 악성 프롬프트를 입력하여 AI 모델의 동작을 왜곡하거나 보안 정책을 우회하려는 시도를 탐지하는 기술.

ㅇ 특징:
– 자연어 입력 분석 기반 필터링.
– 의도 분석 및 맥락 기반 위험 점수 부여.
– 실시간 모니터링 및 차단 기능 포함.

ㅇ 적합한 경우:
– 공개된 챗봇 서비스나 고객지원 AI 시스템.
– 외부 입력이 직접 모델에 전달되는 환경.

ㅇ 시험 함정:
– 단순 오타 교정이나 문장 재구성은 Prompt Injection이 아님.
– 모든 악성 입력이 Prompt Injection은 아니며, 데이터 주입(Data Injection)과 혼동 금지.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “사용자가 AI의 정책을 우회하도록 유도하는 입력을 탐지한다.”
– X: “Prompt Injection Detection은 모델 학습 데이터를 암호화한다.”

2. Model Watermarking

ㅇ 정의:
– AI 모델의 생성 결과물에 식별 가능한 패턴(워터마크)을 삽입하여 출처를 추적하거나 무단 사용을 방지하는 기술.

ㅇ 특징:
– 텍스트, 이미지, 오디오 등 다양한 생성물에 적용 가능.
– 사용자에게는 인지되지 않는 형태로 삽입.
– 법적 증거로 활용 가능.

ㅇ 적합한 경우:
– 생성형 AI 서비스에서 저작권 보호 필요 시.
– 모델의 불법 복제 및 악용 방지.

ㅇ 시험 함정:
– 워터마크는 모델 자체를 보호하는 것이 아니라 결과물을 식별하는 것임.
– 암호화와 혼동하지 말 것.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “모델이 생성한 이미지에 보이지 않는 식별 정보를 삽입한다.”
– X: “Model Watermarking은 학습 데이터의 품질을 향상시킨다.”

3. AI Red-Teaming

ㅇ 정의:
– AI 시스템의 취약점을 식별하기 위해 모의 공격과 시나리오 기반 테스트를 수행하는 보안 검증 활동.

ㅇ 특징:
– 실제 공격자 관점에서 테스트.
– 다양한 위협 모델과 시나리오 적용.
– 보안팀, 개발팀, 외부 전문가 협업.

ㅇ 적합한 경우:
– 서비스 출시 전 보안성 검증.
– 규제 준수를 위한 보안 평가.

ㅇ 시험 함정:
– 단순 기능 테스트와 구분 필요.
– Red-Teaming은 지속적인 모니터링 활동이 아니라 특정 시점의 집중 점검.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “AI 모델의 취약점을 찾기 위해 공격자 시뮬레이션을 수행한다.”
– X: “AI Red-Teaming은 모델 응답 속도를 향상시키는 튜닝 기법이다.”

4. Adversarial Attack Prevention

ㅇ 정의:
– AI 모델이 적대적 예제(Adversarial Example)에 의해 잘못된 출력을 내지 않도록 방어하는 기술.

ㅇ 특징:
– 입력 데이터 변형에 강인한 모델 구조 설계.
– 적대적 학습(Adversarial Training) 적용.
– 탐지 및 차단 알고리즘 포함.

ㅇ 적합한 경우:
– 이미지 인식, 음성 인식 등 보안 민감 애플리케이션.
– 금융, 의료 등 오류 허용 범위가 낮은 분야.

ㅇ 시험 함정:
– 일반적인 데이터 노이즈 제거와 혼동 금지.
– Adversarial Attack은 의도적인 공격임을 명심.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “모델이 의도적으로 조작된 입력에 대해 잘못된 판단을 하지 않도록 한다.”
– X: “Adversarial Attack Prevention은 모델의 학습 속도를 높이는 기법이다.”

ㅁ 추가 학습 내용

[학습 정리]

Prompt Injection Detection
– 입력 필터링 외에 대화 맥락 추적 기법 이해
– 사용자 인증과 연계한 탐지 절차 숙지
– 시그니처 기반 탐지 기법의 원리와 적용 사례 파악

Model Watermarking
– 워터마크의 강인성(robustness) 평가 방법
– 워터마크 제거 공격 유형과 방어 기법
– 법적 효력 확보를 위한 표준화 동향 및 관련 규제 이해

AI Red-Teaming
– 블루팀(방어팀)과의 협업 절차 및 역할 분담
– 시나리오 기반 평가 지표 설정 방법
– 윤리적 해킹 가이드라인 및 준수 사항

Adversarial Attack Prevention
– FGSM(Fast Gradient Sign Method), PGD(Projected Gradient Descent) 등의 대표 공격 기법 특징
– 각 공격 기법에 대응하는 방어 전략
– 입력 전처리 기반 방어와 모델 구조 기반 방어의 차이점, 장단점 비교

[시험 대비 체크리스트]

Prompt Injection Detection
– 대화 맥락 추적의 필요성과 구현 방법을 설명할 수 있는가?
– 사용자 인증 연계 시 장점과 한계점을 구분할 수 있는가?
– 시그니처 기반 탐지의 탐지 원리를 이해하고 있는가?

Model Watermarking
– 강인성 평가 지표와 평가 절차를 알고 있는가?
– 워터마크 제거 공격의 유형과 방어책을 제시할 수 있는가?
– 표준화 동향과 법적 효력 확보 절차를 설명할 수 있는가?

AI Red-Teaming
– 레드팀과 블루팀의 협업 프로세스를 설명할 수 있는가?
– 시나리오 기반 평가 지표를 설정하는 방법을 알고 있는가?
– 윤리적 해킹 가이드라인의 핵심 내용을 숙지했는가?

Adversarial Attack Prevention
– FGSM과 PGD의 차이점과 공격 원리를 설명할 수 있는가?
– 각 공격에 대응하는 방어 전략을 구체적으로 제시할 수 있는가?
– 입력 전처리 기반 방어와 모델 구조 기반 방어의 차이를 명확히 구분할 수 있는가?