ㅁ 신뢰/위험

ㅇ 정의:
AI 시스템의 신뢰성을 확보하고, 위험 요소를 최소화하기 위해 보안 및 프라이버시를 고려한 설계와 운영 방식을 연구하는 분야.

ㅇ 특징:
– AI 모델의 예측 신뢰성을 높이고, 외부 공격에 대한 방어 체계를 마련.
– 데이터 프라이버시와 시스템 안전성을 동시에 고려.
– 동적이고 복잡한 위협 환경에 적응 가능한 기술 필요.

ㅇ 적합한 경우:
– AI 모델이 민감한 데이터를 처리하거나, 보안이 중요한 환경에서 운영될 때.
– 외부 공격(예: Adversarial Attack) 가능성이 높은 경우.

ㅇ 시험 함정:
– 신뢰와 위험의 정의를 혼동하여 답을 작성하는 경우.
– AI 보안과 일반적인 IT 보안을 동일시하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “AI 시스템의 신뢰성 확보는 데이터 프라이버시와 보안 요소를 포함한다.”
– X: “AI 시스템은 신뢰성을 위해 보안 요소만 고려하면 된다.”

================================

1. Adversarial Attack Prevention

ㅇ 정의:
AI 시스템이 적대적 공격(Adversarial Attack)에 대처할 수 있도록 설계된 기술 및 방법론.

ㅇ 특징:
– 적대적 샘플을 탐지하고 방어하는 메커니즘 포함.
– 모델의 취약점을 분석하고, 이를 개선하기 위한 지속적인 학습 필요.
– 보안과 성능 간의 균형을 유지하는 것이 중요.

ㅇ 적합한 경우:
– 이미지 인식, 음성 인식과 같은 민감한 AI 애플리케이션.
– 금융, 의료와 같이 높은 신뢰성이 요구되는 분야.

ㅇ 시험 함정:
– Adversarial Attack과 일반적인 데이터 손실 방지를 혼동하는 경우.
– 방어 기술의 종류를 묻는 문제에서 적대적 샘플 생성 기술을 답하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Adversarial Attack Prevention은 적대적 샘플 탐지와 방어를 포함한다.”
– X: “Adversarial Attack Prevention은 데이터 암호화 기술을 주로 사용한다.”

================================

ㅁ 추가 학습 내용

Adversarial Attack Prevention에 대한 학습 내용을 다음과 같이 정리합니다:

1. **적대적 샘플 탐지 알고리즘**
– **FGSM (Fast Gradient Sign Method)**: 적대적 공격을 생성하는 대표적인 알고리즘으로, 입력 데이터에 모델의 손실 함수의 그래디언트를 기반으로 작은 변화를 추가하여 오분류를 유도합니다. 공격 강도는 ε로 조절되며, ε 값이 클수록 공격이 강력해집니다.
– **PGD (Projected Gradient Descent)**: FGSM의 확장된 형태로, 여러 단계에 걸쳐 적대적 샘플을 생성합니다. 각 단계에서 그래디언트를 기반으로 입력 데이터를 업데이트하며, 공격을 더 정교하게 만듭니다. 업데이트된 샘플이 허용 가능한 범위를 벗어나지 않도록 투영(projection)을 적용합니다.

2. **방어 기법**
– **Adversarial Training**: 적대적 샘플을 생성하고 이를 학습 데이터에 포함시켜 모델을 훈련함으로써 공격에 대한 내성을 높이는 방법입니다. 모델이 다양한 적대적 샘플에 대해 강건성을 가지도록 훈련됩니다.
– **Gradient Masking**: 그래디언트 정보를 숨기거나 왜곡하여 적대적 공격 알고리즘이 효과적으로 작동하지 못하도록 만드는 방법입니다. 그러나 이 기법은 종종 우회 가능한 경우가 많아 한계가 있습니다.

3. **실세계 사례**
– **자율주행차의 표지판 변조 공격**: 적대적 샘플이 실세계에서 사용되는 사례로, 표지판의 일부를 변조하여 자율주행차가 이를 잘못 인식하도록 유도하는 공격이 있습니다. 예를 들어, 정지 표지판에 작은 스티커를 붙여 이를 속도 제한 표지판으로 잘못 인식하게 만들 수 있습니다. 이는 자율주행차의 안전성과 기능에 심각한 영향을 미칠 수 있습니다.

4. **시험 대비**
– 적대적 샘플 탐지 알고리즘과 방어 기법의 원리를 비교하고, 각각의 장단점을 분석하는 문제를 준비합니다.
– 자율주행차의 표지판 변조 공격과 같은 실세계 사례를 분석하여, 공격의 원리와 이를 방어하기 위한 기법을 설명하는 문제를 연습합니다.
– FGSM과 PGD를 활용한 적대적 샘플 생성 과정의 수식을 이해하고, 이를 모델에 적용하는 실습 문제를 대비합니다.