ㅁ 시각화 기반

ㅇ 정의:
시각화 기반 XAI는 인공지능 모델의 예측 결과를 인간이 이해할 수 있도록 시각적으로 표현하는 기술을 의미한다. 주로 그래프, 히트맵, 차트 등을 활용하여 모델의 의사결정을 설명한다.

ㅇ 특징:
– 직관적인 이해를 제공하며, 비전문가도 쉽게 접근 가능함.
– 데이터의 특정 패턴이나 모델의 편향성을 발견하는 데 유용함.
– 시각화의 품질과 정확성에 따라 해석의 신뢰도가 좌우됨.

ㅇ 적합한 경우:
– 모델의 결정 과정을 비전문가에게 설명해야 할 때.
– 모델의 편향성이나 이상치를 탐지하려 할 때.
– 데이터의 특정 특징이 결과에 어떻게 영향을 미치는지 분석할 때.

ㅇ 시험 함정:
– 시각화가 직관적이라는 점에서, 시각화가 잘못된 경우에도 신뢰하게 되는 경향.
– 시각화 도구가 제공하는 기본 옵션만 사용하면 중요한 정보를 놓칠 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 시각화 기반 XAI는 비전문가도 모델의 의사결정을 이해하도록 돕는다.
– X: 시각화 기반 XAI는 항상 정확한 결과를 보장한다.

================================

1. LIME

ㅇ 정의:
LIME(Local Interpretable Model-agnostic Explanations)은 특정 데이터 포인트에 대해 모델의 예측을 설명하기 위해 해당 데이터 근처에서 간단한 모델을 학습시키는 기법이다.

ㅇ 특징:
– 모델 불가지론적 접근 방식으로, 어떤 모델에도 적용 가능.
– 국소적(linear) 설명을 제공하며, 데이터 포인트 주변의 작은 변화를 분석함.
– 시각화를 통해 사용자가 모델의 의사결정을 이해할 수 있게 함.

ㅇ 적합한 경우:
– 모델이 블랙박스 형태로 작동하며, 특정 예측 결과를 설명해야 하는 상황.
– 데이터 샘플의 국소적 영향을 분석하고자 할 때.

ㅇ 시험 함정:
– LIME은 국소적 설명만 제공하므로, 전체적인 모델의 작동 방식을 오해할 수 있음.
– 설명에 사용된 단순화된 모델이 실제 모델의 복잡성을 반영하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: LIME은 특정 데이터 포인트에 대한 국소적 설명을 제공한다.
– X: LIME은 모델 전체의 작동 방식을 완벽히 설명한다.

ㅁ 추가 학습 내용

1. LIME의 한계점: LIME은 데이터 샘플링 방식을 기반으로 모델의 예측을 설명하는 기법입니다. 하지만 데이터 샘플링 방식이 달라질 경우 설명의 신뢰도가 크게 영향을 받을 수 있습니다. 이는 샘플링 과정에서 생성된 데이터가 원래 데이터 분포를 충분히 반영하지 못할 경우, 결과적으로 설명의 정확성과 신뢰도가 저하될 가능성이 있다는 점을 의미합니다.

2. LIME과 SHAP의 차이점: LIME과 SHAP은 모두 머신러닝 모델의 예측을 설명하기 위한 기법이지만, 접근 방식과 이론적 기반에서 차이가 있습니다.
– LIME은 국소적 선형 모델을 사용하여 특정 예측을 설명하며, 샘플링된 데이터에 대한 모델의 예측을 기반으로 설명을 생성합니다. 이 과정에서 데이터 샘플링 방식이 결과에 영향을 미칠 수 있습니다.
– SHAP은 게임 이론에 기반한 Shapley 값을 활용하여 각 특징의 기여도를 계산합니다. SHAP은 모델 전체에 대한 글로벌한 설명을 제공하며, 이론적으로 더 안정적이고 일관된 결과를 보장합니다.
– 시험에서 자주 혼동되는 포인트는 LIME의 설명이 국소적(local)인 반면 SHAP은 글로벌(global)한 특성을 가진다는 점입니다. 또한, SHAP은 계산 비용이 더 높지만, 이론적 근거가 더 견고하다는 점도 차이점으로 꼽힙니다.

3. LIME 사용 시 데이터 샘플링이 예측 결과에 미치는 영향 분석: LIME은 특정 예측을 설명하기 위해 데이터 샘플링을 수행하여 국소적 모델을 학습합니다. 이 과정에서 샘플링된 데이터가 원래 데이터 분포를 충분히 반영하지 못하면, 모델이 생성하는 설명이 왜곡될 수 있습니다. 따라서 데이터 샘플링 방법을 신중히 설계하고, 샘플링된 데이터가 원래 데이터의 특성을 유지하도록 하는 것이 중요합니다. 이를 분석하려면 샘플링 방식에 따라 설명 결과가 어떻게 달라지는지 비교하고, 원래 데이터와 샘플링된 데이터 간의 분포 차이를 평가하는 과정이 필요합니다.