ㅁ 모델 추출

ㅇ 정의:
– 모델 추출은 공격자가 머신러닝 모델의 내부 구조, 하이퍼파라미터, 또는 훈련 데이터를 복제하거나 유사한 모델을 생성하기 위해 사용하는 공격 기법이다.

ㅇ 특징:
– API 호출을 통해 모델의 입력-출력 관계를 분석하여 원래 모델을 복제.
– 모델의 복잡도, 학습 데이터의 민감도에 따라 성공 확률이 달라짐.
– 원래 모델과 동일하거나 유사한 성능을 가진 복제 모델을 생성할 수 있음.

ㅇ 적합한 경우:
– 클라우드 기반 AI 서비스에서 모델의 내부 구조를 숨기지 않고 API를 통해 예측 결과를 제공하는 경우.
– 공격자가 모델의 동작 방식을 이해하거나, 상업적 이익을 위해 모델을 복제하려는 경우.

ㅇ 시험 함정:
– 모델 추출 공격은 항상 원래 모델과 동일한 성능을 보장하지 않는다.
– 단순히 API 호출 수가 많다고 해서 반드시 성공하는 것은 아니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 모델 추출 공격은 API 호출을 통해 모델의 입력-출력 관계를 분석하여 복제 모델을 생성한다.
– X: 모델 추출 공격은 반드시 원래 모델과 동일한 성능을 가진 복제 모델을 생성한다.

ㅁ 추가 학습 내용

모델 추출 공격 방어 기법에 대해 학습하기 위해 다음 내용을 정리합니다:

1. **모델 추출 공격 방어 기법**:
– **API 호출 제한**: API 사용 횟수를 제한하여 공격자가 모델의 내부 구조를 추론하기 위해 과도한 요청을 보내는 것을 방지합니다. 일정한 시간 내 호출 수를 제한하거나, 비정상적인 패턴을 감지하여 차단하는 방식이 포함됩니다.
– **출력 노이즈 추가**: 모델의 출력값에 노이즈를 추가하여 공격자가 정확한 예측 결과를 기반으로 모델을 복제하는 것을 어렵게 만듭니다. 노이즈는 모델의 성능에 영향을 최소화하면서도 공격자의 추론을 방해할 수 있도록 신중히 설계되어야 합니다.
– **차별적 프라이버시(Differential Privacy)**: 모델 학습 과정이나 결과에 차별적 프라이버시를 적용하여 민감한 데이터를 유출하지 않으면서도 공격자가 모델의 구조를 추론하는 것을 막습니다. 이는 데이터와 출력 간의 연결성을 약화시키는 데 효과적입니다.

2. **모델 추출 공격의 실제 사례와 영향**:
– **사례**: 클라우드 기반 머신러닝 서비스에서 제공되는 모델 API를 대상으로 한 공격 사례가 보고된 바 있습니다. 공격자는 다수의 입력 데이터를 API에 제공하여 출력값을 수집한 뒤, 이를 기반으로 원래 모델과 유사한 성능의 복제 모델을 생성했습니다.
– **영향**: 이러한 공격으로 인해 원래 모델의 지적 재산권이 침해될 수 있으며, 복제된 모델이 악의적으로 사용될 경우 원래 모델의 신뢰성과 수익성이 훼손될 위험이 있습니다. 또한, 민감한 데이터가 유출될 가능성도 존재합니다.

이 내용을 통해 모델 추출 공격 방어 기법의 중요성과 실질적인 영향을 이해할 수 있습니다.