ㅁ 블랙박스 해법

ㅇ 정의:
인공지능 모델의 내부 구조가 복잡하거나 해석이 어려운 경우, 외부에서 동작을 관찰하여 설명 가능한 형태로 변환하는 기법.

ㅇ 특징:
– 원래 모델의 파라미터나 구조를 직접 해석하지 않고, 입력-출력 관계를 기반으로 설명.
– 모델 불투명성을 보완하기 위해 별도의 해석 모델이나 시각화 기법 활용.

ㅇ 적합한 경우:
– 딥러닝, 앙상블 등 복잡한 모델의 의사결정 과정을 설명할 때.
– 규제나 법적 요구사항으로 설명 가능성이 필요한 경우.

ㅇ 시험 함정:
– 블랙박스 해법이 항상 원래 모델의 정확한 내부 동작을 복원하는 것은 아님.
– 화이트박스 해법과 혼동하는 경우 출제.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 내부 구조를 알 수 없어도 설명 가능성을 제공한다.”
X: “블랙박스 해법은 반드시 원래 모델과 동일한 구조를 사용한다.”

================================

1. Surrogate 모델

ㅇ 정의:
복잡한 블랙박스 모델의 입력과 출력을 학습하여, 해석 가능한 단순 모델로 근사하는 방법.

ㅇ 특징:
– 의사결정트리, 선형회귀, 로지스틱 회귀 등 단순 모델 사용.
– 원래 모델의 예측 결과를 학습 데이터로 사용.
– 전역(Global) 또는 국소(Local) 수준 설명 가능.

ㅇ 적합한 경우:
– 전체 모델의 전반적인 경향을 설명하고자 할 때.
– 특정 예측 사례에 대한 국소적 설명이 필요할 때.

ㅇ 시험 함정:
– Surrogate 모델의 설명이 원래 모델의 모든 복잡성을 반영하지 못할 수 있음.
– Surrogate 모델의 성능이 높다고 해서 원래 모델의 성능을 보장하지 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Surrogate 모델은 블랙박스 모델의 동작을 근사하기 위해 사용된다.”
X: “Surrogate 모델은 원래 모델과 동일한 파라미터를 사용한다.”

================================

2. 로지스틱 회귀

ㅇ 정의:
종속 변수가 범주형(이진)일 때, 확률을 예측하는 선형 모델 기반 통계 기법.

ㅇ 특징:
– 출력은 0~1 사이 확률값.
– 시그모이드 함수 사용.
– 계수 해석이 용이하여 설명 가능성이 높음.

ㅇ 적합한 경우:
– 이진 분류 문제.
– 변수 간 관계를 명확히 해석해야 하는 경우.

ㅇ 시험 함정:
– 로지스틱 회귀는 회귀 분석이지만, 종속변수가 연속형이 아님.
– 선형회귀와 혼동하는 문제 출제.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “로지스틱 회귀는 시그모이드 함수를 사용하여 확률을 예측한다.”
X: “로지스틱 회귀의 출력은 반드시 연속적인 실수값이다.”

================================

3. CAM vs Grad-CAM 차이

ㅇ 정의:
CNN 기반 모델의 이미지 분류 결과에 대한 시각적 설명 기법 비교. CAM(Class Activation Map)은 특정 클래스의 활성화 맵을, Grad-CAM(Gradient-weighted CAM)은 그래디언트를 가중치로 활용하여 활성화 맵을 생성.

ㅇ 특징:
– CAM: 마지막 합성곱 층의 가중치와 특성 맵을 사용.
– Grad-CAM: 그래디언트를 이용해 가중치를 계산, 다양한 구조에 적용 가능.
– Grad-CAM은 사전 구조 제약이 적음.

ㅇ 적합한 경우:
– CAM: 글로벌 평균 풀링(GAP) 구조를 가진 CNN.
– Grad-CAM: 구조 제약 없이 다양한 CNN 모델.

ㅇ 시험 함정:
– CAM은 GAP 구조 필요, Grad-CAM은 필요 없음.
– Grad-CAM이 CAM보다 항상 더 선명한 시각화를 제공한다는 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Grad-CAM은 그래디언트를 이용해 클래스별 중요 영역을 시각화한다.”
X: “CAM은 모든 CNN 구조에 적용 가능하다.”

ㅁ 추가 학습 내용

Surrogate 모델은 전역 설명(Global Surrogate)과 국소 설명(Local Surrogate)로 구분된다.
전역 설명은 복잡한 원본 모델 전체를 대체하는 단순한 해석 가능한 모델을 학습하여 전체 데이터 전반의 동작을 설명하는 방식이다.
국소 설명은 특정 데이터 포인트 주변의 모델 동작을 해석 가능한 모델로 근사하여 해당 사례에 대한 설명을 제공하는 방식이다.

로지스틱 회귀에서는 오즈비(Odds Ratio) 해석과 로그 오즈(Log Odds) 변환 개념이 중요하다.
오즈비는 사건이 발생할 확률과 발생하지 않을 확률의 비율이며, 로지스틱 회귀 계수는 로그 오즈의 변화량을 나타낸다.
계수의 지수값을 취하면 오즈비로 해석할 수 있다.

CAM(Class Activation Map)과 Grad-CAM 비교 시, Grad-CAM++와 같은 변형 기법의 특징을 이해해야 한다.
CAM은 주로 특정 클래스에 대한 CNN의 마지막 합성곱 층의 가중치를 사용하여 활성화 맵을 생성한다.
Grad-CAM은 그래디언트를 활용하여 특정 클래스에 기여한 영역을 시각화하며, Grad-CAM++는 다중 객체나 복잡한 영역에서 더 정교한 가중치 계산을 제공한다.
Heatmap 해석 시 색상 범위와 각 색상의 의미를 정확히 이해해야 하며, 색상에 따른 중요도 해석에서 함정 문제에 주의해야 한다.

블랙박스 해법과 화이트박스 해법의 차이는 접근 방식과 해석 가능성에 있다.
블랙박스 해법은 내부 구조를 알 수 없고 입력과 출력만으로 분석하는 방식이며, 예로 딥러닝 모델이 있다.
화이트박스 해법은 내부 구조와 파라미터를 모두 알고 해석할 수 있는 방식이며, 예로 선형 회귀나 의사결정나무가 있다.

LIME과 SHAP은 대표적인 Surrogate 기반 기법이다.
LIME은 특정 데이터 포인트 주변에서 단순 모델로 근사하여 국소 설명을 제공한다.
SHAP은 게임이론 기반의 셰플리 값을 이용해 각 특징의 기여도를 계산하며, 전역 및 국소 설명 모두 가능하다.