ㅁ 시각화 기반

ㅇ 정의:
시각화 기반 XAI는 머신러닝 모델의 동작을 설명하기 위해 데이터를 시각적으로 표현하여 인간이 이해할 수 있도록 돕는 접근법을 의미한다.

ㅇ 특징:
– 그래프, 차트, 히트맵 등의 시각적 도구를 활용하여 모델의 의사결정 과정을 설명.
– 직관적인 이해를 제공하며, 비전문가도 쉽게 접근 가능.
– 대규모 데이터셋에서도 효율적으로 사용 가능.

ㅇ 적합한 경우:
– 모델의 예측 결과를 비전문가에게 설명해야 하는 경우.
– 모델의 신뢰성을 검증하거나 디버깅이 필요한 경우.

ㅇ 시험 함정:
– 시각화 결과를 과도하게 해석하는 경우.
– 시각적 복잡성이 높아 오히려 이해를 방해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 시각화 기반 XAI는 모델의 의사결정을 그래프로 표현하여 이해를 돕는다.
– X: 시각화 기반 XAI는 데이터 전처리의 일환으로 사용된다.

================================

1. Feature Importance

ㅇ 정의:
Feature Importance는 머신러닝 모델이 특정 특성을 예측에 얼마나 기여했는지를 수치적으로 나타내는 기법이다.

ㅇ 특징:
– 특성별 중요도를 수치화하여 시각적으로 표현 가능.
– 모델의 해석 가능성을 높여줌.
– 트리 기반 모델에서 주로 사용되며, SHAP, LIME 등의 알고리즘과 결합 가능.

ㅇ 적합한 경우:
– 모델이 어떤 특성을 더 중시하는지 확인하려는 경우.
– 예측 성능과 해석 가능성을 동시에 고려해야 하는 경우.

ㅇ 시험 함정:
– Feature Importance가 높은 특성이 항상 인과관계를 나타내는 것은 아님.
– 모든 모델에서 Feature Importance가 동일하게 계산되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Feature Importance는 특성별 기여도를 수치화하여 모델 해석에 도움을 준다.
– X: Feature Importance는 항상 인과관계를 보장한다.

1.1 SHAP (SHapley Additive exPlanations)

ㅇ 정의:
SHAP는 게임 이론에 기반하여 각 특성이 모델의 예측에 기여한 정도를 계산하는 방법이다.

ㅇ 특징:
– 공정성과 일관성을 보장하는 수학적 기반.
– 각 특성의 기여도를 개별적으로 분석 가능.
– 복잡한 모델에서도 사용 가능.

ㅇ 적합한 경우:
– 모델의 예측 결과를 세부적으로 분석해야 하는 경우.
– 특성 간 상호작용을 고려한 해석이 필요한 경우.

ㅇ 시험 함정:
– 계산량이 많아 대규모 데이터셋에서는 성능 저하 가능.
– 모델의 과적합을 유발할 수 있는 특성도 중요도로 표시될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: SHAP는 게임 이론에 기반하여 각 특성의 기여도를 계산한다.
– X: SHAP는 모든 데이터셋에서 계산 속도가 빠르다.

1.2 LIME (Local Interpretable Model-agnostic Explanations)

ㅇ 정의:
LIME은 모델과 독립적으로 작동하며, 국소적 선형 모델을 사용해 특정 예측 결과를 설명하는 기법이다.

ㅇ 특징:
– 모델 불가지론적 접근법으로, 어떤 모델에도 적용 가능.
– 국소적 선형성을 활용하여 특정 데이터 포인트를 설명.
– 시각적 설명을 통해 직관적 이해 제공.

ㅇ 적합한 경우:
– 특정 예측 결과에 대한 국소적 해석이 필요한 경우.
– 모델의 종류와 관계없이 해석 가능성을 높이고자 할 때.

ㅇ 시험 함정:
– 국소적 해석이 전체 모델의 동작을 대표하지 않을 수 있음.
– 과도한 단순화로 인해 중요한 정보를 놓칠 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: LIME은 특정 예측 결과를 설명하기 위해 국소적 선형 모델을 사용한다.
– X: LIME은 모델의 구조를 변경하여 해석 가능성을 높인다.

ㅁ 추가 학습 내용

1. Feature Importance에 관한 추가 학습 내용으로 Permutation Importance를 포함시킬 수 있다. Permutation Importance는 각 특성을 무작위로 섞은 후 모델 성능의 변화를 측정하여 특성의 중요도를 평가하는 기법이다. 이 방법은 모델의 구조와 관계없이 적용 가능하며, 특성의 중요도를 직관적으로 이해할 수 있도록 돕는다.

2. SHAP와 LIME을 비교하여 학습 내용을 보강하는 것도 시험 대비에 도움이 된다. SHAP는 게임 이론에 기반한 방법으로, 모델의 전반적인 특성 중요도를 해석하는 데 적합하며 전역적 해석을 제공한다. 반면, LIME은 특정 데이터 포인트에 대한 국소적 해석을 제공하는 데 초점이 맞춰져 있어, 개별 사례에 대해 더 상세한 설명을 얻고자 할 때 유용하다. 두 기법의 차이점을 명확히 이해하면 다양한 상황에서 적절히 활용할 수 있다.

3. 시각화 기반 XAI의 한계점으로, 시각적 표현이 데이터의 복잡성을 감출 수 있다는 점을 학습 노트에 추가하면 좋다. 시각화는 직관적이고 이해하기 쉬운 정보를 제공하지만, 고차원 데이터나 복잡한 상호작용을 단순화하는 과정에서 중요한 정보를 놓칠 수 있다. 따라서 시각화를 사용할 때는 데이터의 복잡성과 모델의 동작을 충분히 고려해야 한다.