ㅁ 설명가능 인공지능(XAI) 핵심기법

1. SHAP 값

ㅇ 정의:
SHAP(SHapley Additive exPlanations) 값은 게임이론의 Shapley 값을 기반으로 각 특징(feature)이 모델 예측에 기여한 정도를 정량적으로 설명하는 기법.

ㅇ 특징:
– 모든 특징의 기여도를 공정하게 분배
– 모델 불문(트리, 딥러닝 등) 적용 가능
– 로컬(local) 및 글로벌(global) 설명 모두 제공
– 계산량이 많아 대규모 데이터셋에서는 근사치 사용 필요

ㅇ 적합한 경우:
– 모델 예측 결과를 이해하고 설명해야 하는 금융, 의료, 법률 등 고위험 분야
– 규제 준수를 위해 모델의 투명성이 요구되는 경우
– 특정 예측 결과에 대해 각 변수의 기여도를 명확히 제시해야 하는 경우

ㅇ 시험 함정:
– SHAP 값이 항상 양수라는 오해 (음수 값은 해당 특징이 예측값을 낮추는 방향으로 기여)
– SHAP 값이 변수 중요도와 동일하다고 착각 (변수 중요도는 전역적, SHAP은 국소적 설명 가능)
– 계산 복잡도를 간과하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “SHAP 값은 게임이론의 Shapley 값을 기반으로 각 특징의 기여도를 계산한다.”
O: “SHAP은 로컬 및 글로벌 설명 모두 가능하다.”
X: “SHAP 값은 항상 양수이며 변수 중요도와 동일하다.”
X: “SHAP은 트리 기반 모델에만 적용 가능하다.”

ㅁ 추가 학습 내용

SHAP 값은 모델 예측을 설명하기 위해 각 특징이 기여한 정도를 분해하여 보여주며, 개별 예측에 대한 설명(local interpretability)과 전체 데이터셋에 대한 설명(global interpretability) 모두를 제공한다.
Shapley 값은 게임이론에 기반하여 정의되며, 모든 가능한 특징 조합에서 해당 특징이 추가될 때의 기여도를 계산한 후 평균을 내는 방식으로 산출된다.
계산 복잡도를 줄이기 위해 TreeSHAP, KernelSHAP 등의 변형 기법이 사용된다.
SHAP 값의 부호는 예측값이 기준값(base value)보다 얼마나 높아지거나 낮아지는지를 나타낸다.
LIME과 비교했을 때, LIME은 지역적 선형 근사 방식을 사용하며, SHAP은 게임이론 기반의 공정 분배 원칙을 따른다는 점이 차이점이다.