ㅁ 설명가능 인공지능(XAI) 핵심기법

1. Global Surrogate

ㅇ 정의:
– 복잡한 블랙박스 모델의 전체 동작을 근사하는 해석 가능한 대체 모델(예: 의사결정나무)을 학습하여 설명하는 방법.

ㅇ 특징:
– 전체 데이터셋 기반으로 전역적 설명 제공.
– 설명 모델은 원본 모델보다 단순.

ㅇ 적합한 경우:
– 모델 전반의 의사결정 구조를 이해하고자 할 때.
– 규제 준수나 경영진 보고용.

ㅇ 시험 함정:
– 전역 설명은 개별 예측의 세부 이유를 설명하지 못함.
– surrogate 모델의 정확도가 낮으면 잘못된 설명 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “전역 대체모델은 전체 모델의 의사결정 경향을 설명한다.”
– X: “전역 대체모델은 개별 샘플의 예측 원인을 정확히 설명한다.”

2. Local Surrogate

ㅇ 정의:
– 특정 인스턴스 주변의 국소 영역에서 블랙박스 모델을 근사하는 해석 가능한 모델(LIME 등)을 학습하여 설명하는 방법.

ㅇ 특징:
– 개별 예측에 집중.
– 지역적 데이터 샘플링 필요.

ㅇ 적합한 경우:
– 개별 사례의 예측 근거를 파악해야 할 때.

ㅇ 시험 함정:
– 국소 근사모델이 전역적 설명을 제공하지 않음.
– 샘플링 방법에 따라 설명이 변동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “로컬 서로게이트는 특정 예측의 근거를 설명한다.”
– X: “로컬 서로게이트는 전체 모델 구조를 단순화하여 설명한다.”

3. Class Activation Map

ㅇ 정의:
– CNN 기반 이미지 분류에서 특정 클래스 예측에 기여한 이미지 영역을 시각화하는 기법.

ㅇ 특징:
– 마지막 합성곱 층의 feature map과 가중치를 활용.
– 클래스별 주목 영역 확인 가능.

ㅇ 적합한 경우:
– 이미지 분류 모델의 시각적 설명 필요 시.

ㅇ 시험 함정:
– CAM은 네트워크 구조에 제약이 있음(예: GAP 필요).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “CAM은 특정 클래스의 예측 근거가 된 이미지 영역을 보여준다.”
– X: “CAM은 모든 딥러닝 모델에서 구조 변경 없이 적용 가능하다.”

4. Grad-CAM

ㅇ 정의:
– CAM의 구조적 제약을 완화하고, 임의의 CNN 기반 구조에서 클래스별 주목 영역을 시각화하는 기법.

ㅇ 특징:
– 마지막 합성곱 층의 gradient를 활용.
– 다양한 아키텍처에 적용 가능.

ㅇ 적합한 경우:
– 사전 학습된 모델 구조 변경 없이 시각적 설명 필요할 때.

ㅇ 시험 함정:
– gradient 품질에 따라 시각화 품질이 달라짐.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Grad-CAM은 gradient를 활용하여 주목 영역을 생성한다.”
– X: “Grad-CAM은 전역 평균 풀링이 필수이다.”

5. Feature Importance

ㅇ 정의:
– 모델 예측에서 각 입력 특성이 차지하는 상대적 중요도를 수치화하는 방법.

ㅇ 특징:
– 트리 기반 모델에서 자주 사용.
– 전역 또는 국소 수준 모두 가능.

ㅇ 적합한 경우:
– 변수 중요도 분석, 피처 선택.

ㅇ 시험 함정:
– 상관관계 높은 변수는 중요도 해석이 왜곡될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “피처 중요도는 모델 예측에 대한 변수 기여도를 나타낸다.”
– X: “피처 중요도는 항상 변수의 인과적 영향력을 나타낸다.”

6. Integrated Gradients

ㅇ 정의:
– 입력을 baseline에서 실제 값까지 선형 보간하며 gradient를 적분해 특성 기여도를 계산하는 기법.

ㅇ 특징:
– 경로 적분을 통해 안정적인 기여도 산출.
– baseline 선택이 중요.

ㅇ 적합한 경우:
– 딥러닝 모델의 입력 특성별 기여도 분석.

ㅇ 시험 함정:
– baseline 설정이 부적절하면 해석이 왜곡될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Integrated Gradients는 baseline에서 입력까지 gradient를 적분한다.”
– X: “Integrated Gradients는 baseline 설정이 필요 없다.”

7. SHAP 값

ㅇ 정의:
– Shapley 값 이론을 기반으로 각 특성이 예측값에 기여한 정도를 계산하는 기법.

ㅇ 특징:
– 공정한 기여도 분배.
– 전역/국소 설명 모두 가능.

ㅇ 적합한 경우:
– 특성 기여도에 대한 수학적 공정성 확보 필요 시.

ㅇ 시험 함정:
– 계산 복잡도가 높음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “SHAP 값은 Shapley 값을 기반으로 특성 기여도를 계산한다.”
– X: “SHAP 값은 계산이 항상 빠르고 간단하다.”

8. Faithfulness

ㅇ 정의:
– 설명이 실제 모델의 의사결정 과정을 얼마나 정확히 반영하는지 측정하는 속성.

ㅇ 특징:
– 설명과 모델 출력 간의 일관성 평가.

ㅇ 적합한 경우:
– 설명 신뢰성 검증.

ㅇ 시험 함정:
– 높은 해석 용이성이 항상 높은 Faithfulness를 의미하지 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Faithfulness는 설명이 모델의 실제 동작을 얼마나 잘 반영하는지 측정한다.”
– X: “Faithfulness는 설명이 이해하기 쉬운 정도를 의미한다.”

9. Comprehensibility

ㅇ 정의:
– 사용자가 설명을 얼마나 쉽게 이해할 수 있는지 나타내는 속성.

ㅇ 특징:
– 설명 복잡도와 표현 방식에 영향.

ㅇ 적합한 경우:
– 비전문가 대상 설명 제공.

ㅇ 시험 함정:
– 이해하기 쉬운 설명이 항상 정확한 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Comprehensibility는 설명의 이해 용이성을 나타낸다.”
– X: “Comprehensibility는 설명의 정확성을 의미한다.”

10. Completeness

ㅇ 정의:
– 설명이 모델의 모든 중요한 의사결정 요소를 포함하는 정도.

ㅇ 특징:
– 일부 요소 누락 시 불완전한 설명.

ㅇ 적합한 경우:
– 규제 준수, 모델 검증.

ㅇ 시험 함정:
– 완전성이 높아도 이해도가 낮을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Completeness는 설명이 중요한 요소를 모두 포함하는 정도를 의미한다.”
– X: “Completeness는 설명이 간단한 정도를 의미한다.”

ㅁ 추가 학습 내용

Global/Local Surrogate 비교 시 LIME, Anchors, MAPLE 등의 구체적 알고리즘 예시를 함께 학습하여 차이점과 활용 사례를 이해한다.
CAM과 Grad-CAM의 수식 및 구현 과정을 비교하고, 특히 GAP(Global Average Pooling) 필요 여부와 구조적 차이를 명확히 구분한다.
Feature Importance 측정에서 Permutation Importance와 Gini Importance의 계산 방식과 특징을 숙지한다.
Integrated Gradients에서 baseline 선택 전략(0 벡터, 평균 이미지 등)과 baseline에 따른 결과 변화 및 영향도를 학습한다.
SHAP 값의 다양한 변형 알고리즘(Kernel SHAP, Tree SHAP 등)과 계산 최적화 기법을 이해한다.
Faithfulness 측정 지표로 Infidelity, Sensitivity 등의 의미와 계산 방법을 익힌다.
Comprehensibility와 Completeness 간의 trade-off 사례를 파악한다.
XAI 설명 품질 평가를 위한 다차원 지표 체계(정확성, 일관성, 사용자 신뢰도 등)의 정의와 활용 방법을 학습한다.