ㅁ 시각화 기반

ㅇ 정의:
데이터나 모델의 예측 결과를 사람이 이해할 수 있도록 시각적으로 표현하여 모델의 의사결정 과정을 해석하는 방법.

ㅇ 특징:
– 복잡한 모델의 내부 작동 원리를 직관적으로 파악 가능
– 그래프, 색상맵, 바 차트 등 다양한 시각화 기법 사용
– 모델의 신뢰성 검증 및 오류 분석에 유용

ㅇ 적합한 경우:
– 비전문가에게 모델 결과를 설명해야 할 때
– 모델 개선을 위해 중요한 변수나 패턴을 식별할 때
– 규제 준수나 투명성이 요구되는 산업 분야

ㅇ 시험 함정:
– 시각화 결과가 항상 모델의 실제 의사결정을 완벽히 반영하는 것은 아님
– 변수 스케일링이나 상관관계에 따라 중요도가 왜곡될 수 있음
– 시각화 해석 시 주관이 개입될 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: “시각화 기반 XAI는 모델 예측 과정을 사람이 이해하기 쉽게 표현한다.”
X: “시각화 기반 XAI는 모델의 정확도를 높이기 위해 사용된다.”

================================

1. Feature Importance

ㅇ 정의:
모델이 예측을 수행할 때 각 입력 특성이 결과에 기여하는 상대적 중요도를 수치화하여 나타내는 기법.

ㅇ 특징:
– 트리 기반 모델에서 자주 사용 (예: Random Forest, XGBoost)
– Permutation Importance, Gini Importance 등 다양한 계산 방식 존재
– 바 차트 형태로 표현하여 직관적으로 이해 가능

ㅇ 적합한 경우:
– 모델 해석을 위해 어떤 변수가 중요한지 파악할 때
– 피처 선택(Feature Selection) 과정에서 활용할 때
– 비즈니스 의사결정에 필요한 주요 요인을 설명할 때

ㅇ 시험 함정:
– 상관관계가 높은 변수끼리는 중요도가 왜곡될 수 있음
– 모델 종류에 따라 중요도 계산 방식이 달라 비교가 어려움
– 중요도가 높다고 반드시 인과관계를 의미하는 것은 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Feature Importance는 모델 예측에 대한 각 변수의 기여도를 나타낸다.”
X: “Feature Importance 값이 높으면 해당 변수가 반드시 결과의 원인이다.”

ㅁ 추가 학습 내용

Feature Importance 계산 방식은 크게 두 가지로 나뉜다.
첫째, 모델 내장형 방식으로 대표적으로 Gini Importance가 있다. 이는 주로 트리 기반 모델에서 사용되며, 각 특성이 분할 시 불순도를 얼마나 줄였는지를 기반으로 중요도를 계산한다. 계산이 빠르고 모델 학습 과정에서 바로 얻을 수 있다는 장점이 있으나, 변수의 스케일이나 카테고리 개수에 따라 편향이 생길 수 있다는 단점이 있다.

둘째, 모델 불가지론적 방식으로 Permutation Importance가 있다. 이는 학습된 모델에 대해 특정 특성의 값을 무작위로 섞어 예측 성능이 얼마나 떨어지는지를 측정함으로써 중요도를 계산한다. 모델 종류에 관계없이 적용 가능하며, 해석이 직관적이라는 장점이 있다. 단, 계산 비용이 크고 변수 간 상관관계가 높을 경우 중요도 해석이 왜곡될 수 있다. 신뢰도 높은 측정을 위해서는 반드시 검증 데이터에서 수행해야 하며, 시계열 데이터의 경우 시계열 구조를 유지한 상태로 변수를 섞어야 한다.

또한, 보다 정교한 해석 기법으로 SHAP과 LIME이 있다.
SHAP은 게임이론의 Shapley 값을 기반으로 각 특성이 예측에 기여한 정도를 계산하며, 전역적·국소적 해석 모두 가능하다. 계산량이 많지만 공정하고 일관된 특성 기여도를 제공한다.
LIME은 특정 예측 결과 주변의 국소 영역에서 단순한 대체 모델을 학습해 해당 예측에 영향을 준 특성을 설명한다. 계산이 비교적 빠르고 직관적이나, 전역적인 해석에는 부적합하다.

시험에서는 각 방법의 계산 원리, 적용 범위, 장단점, 주의 사항을 비교해 이해하는 것이 중요하다.