ㅁ 기법 및 특성

1. CAM

ㅇ 정의:
– Class Activation Map의 약자로, CNN 계열 모델에서 특정 클래스 예측에 기여한 이미지 영역을 시각적으로 표시하는 기법.

ㅇ 특징:
– 마지막 합성곱 층의 특성과 가중치를 활용하여 시각화.
– 모델 구조에 Global Average Pooling(GAP)이 필요.

ㅇ 적합한 경우:
– 이미지 분류 모델의 시각적 설명이 필요한 경우.

ㅇ 시험 함정:
– GAP 없는 구조에서는 CAM 직접 적용 불가.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “CAM은 CNN의 마지막 합성곱 층과 GAP를 활용하여 클래스별 활성화 맵을 생성한다.”
– X: “CAM은 모든 딥러닝 모델에서 동일하게 적용 가능하다.”

1.1 CAM의 하위 주요 기술 없음

================================

2. Grad-CAM

ㅇ 정의:
– Gradient-weighted Class Activation Mapping으로, CAM의 한계(GAP 필요)를 극복한 기법.

ㅇ 특징:
– 특정 클래스의 출력에 대한 마지막 합성곱 층의 기울기를 이용하여 가중치 계산.
– 다양한 CNN 구조에 적용 가능.

ㅇ 적합한 경우:
– 기존 CAM을 적용할 수 없는 구조에서 시각적 설명 필요 시.

ㅇ 시험 함정:
– 완전 연결층(FC)만 있는 모델에는 적용 불가.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Grad-CAM은 마지막 합성곱 층의 기울기를 활용하여 클래스별 중요 영역을 시각화한다.”
– X: “Grad-CAM은 GAP가 반드시 있어야 한다.”

2.1 Grad-CAM의 하위 주요 기술 없음

================================

3. Surrogate 모델

ㅇ 정의:
– 복잡한 블랙박스 모델의 예측을 설명하기 위해, 단순하고 해석 가능한 모델로 근사하는 기법.

ㅇ 특징:
– 로컬/글로벌 설명 모두 가능.
– 의사결정나무, 선형모델 등을 대리 모델로 사용.

ㅇ 적합한 경우:
– 원 모델의 구조를 알 수 없거나 직접 해석이 어려운 경우.

ㅇ 시험 함정:
– Surrogate 모델의 설명이 원 모델의 동작을 100% 반영한다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Surrogate 모델은 블랙박스 모델의 예측을 단순 모델로 근사하여 설명한다.”
– X: “Surrogate 모델은 원 모델과 동일한 예측을 항상 보장한다.”

3.1 Surrogate 모델의 하위 주요 기술 없음

================================

4. 로지스틱 회귀

ㅇ 정의:
– 종속변수가 범주형(이진)일 때, 로짓 함수를 사용하여 확률을 추정하는 선형 모델.

ㅇ 특징:
– 가중치의 부호와 크기로 변수의 영향 해석 가능.
– 출력값은 0~1 사이 확률.

ㅇ 적합한 경우:
– 해석 가능성이 중요한 이진 분류 문제.

ㅇ 시험 함정:
– 선형 회귀와 혼동하여 연속형 종속변수 예측에 사용한다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “로지스틱 회귀는 이진 분류에서 각 변수의 영향력을 해석할 수 있다.”
– X: “로지스틱 회귀는 종속변수가 연속형일 때 사용한다.”

4.1 로지스틱 회귀의 하위 주요 기술 없음

================================

5. 블랙박스 모델

ㅇ 정의:
– 내부 구조나 의사결정 과정을 사람이 직관적으로 이해하기 어려운 모델.

ㅇ 특징:
– 복잡한 비선형 구조, 다수의 매개변수.
– 예: 딥러닝, 랜덤포레스트.

ㅇ 적합한 경우:
– 높은 예측 성능이 최우선인 경우.

ㅇ 시험 함정:
– 블랙박스 모델이 항상 화이트박스 모델보다 성능이 높다고 단정.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “블랙박스 모델은 내부 동작이 불투명하여 해석이 어렵다.”
– X: “블랙박스 모델은 항상 해석이 가능하다.”

5.1 블랙박스 모델의 하위 주요 기술 없음

================================

6. 설명 지표(Faithfulness, Comprehensibility)

ㅇ 정의:
– XAI 기법의 설명 품질을 평가하는 지표.
– Faithfulness: 설명이 모델의 실제 동작을 얼마나 충실히 반영하는가.
– Comprehensibility: 사람이 설명을 얼마나 쉽게 이해할 수 있는가.

ㅇ 특징:
– Faithfulness는 모델-설명 간 정합성 측정.
– Comprehensibility는 사용자 경험 기반 평가.

ㅇ 적합한 경우:
– XAI 기법 선택 및 비교 평가.

ㅇ 시험 함정:
– Faithfulness를 단순히 설명의 길이로 판단.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Faithfulness는 설명이 모델의 실제 판단 과정을 얼마나 잘 반영하는지를 평가한다.”
– X: “Comprehensibility는 모델의 정확도를 측정하는 지표이다.”

6.1 설명 지표의 하위 주요 기술 없음

ㅁ 추가 학습 내용

CAM과 Grad-CAM 비교
– Grad-CAM은 다양한 CNN 구조에 적용 가능하지만, 합성곱 층이 반드시 필요하다.
– CAM은 특정 구조에 제한이 있으나 Grad-CAM은 유연성이 높다.

Surrogate 모델
– 예시: LIME, SHAP
– 로컬 설명: 개별 예측에 대한 국소적 해석 제공
– 글로벌 설명: 전체 모델의 전반적 동작 원리 설명

로지스틱 회귀
– 오즈비(odds ratio) 해석 방법 숙지
– 다중 로지스틱 회귀로 확장 가능

블랙박스 모델 vs 화이트박스 모델
– 성능과 해석성 사이의 트레이드오프 개념 중요
– 블랙박스: 높은 성능, 낮은 해석성
– 화이트박스: 낮은 성능 가능성, 높은 해석성

설명 지표
– Faithfulness: Perturbation 기반 검증 기법으로 측정
– Comprehensibility: 사용자 실험 설계 방법과 관련된 사례 문제 출제 가능