ㅁ 시각화 기반

ㅇ 정의:
데이터 입력에 따른 모델의 예측 결과를 시각적으로 해석할 수 있도록 돕는 기법으로, 사용자가 모델의 의사결정 과정을 직관적으로 이해하도록 지원함.

ㅇ 특징:
– 모델의 내부 동작을 직접적으로 공개하지 않고, 입력 특징과 예측 간의 관계를 시각적으로 표현.
– 복잡한 모델(블랙박스 모델 포함)의 해석 가능성 향상.
– 주로 국소적(local) 설명 방식을 사용.

ㅇ 적합한 경우:
– 비전문가나 의사결정권자에게 모델의 예측 근거를 설명해야 하는 경우.
– 모델 신뢰성 검증 및 디버깅.

ㅇ 시험 함정:
– 시각화 결과가 항상 모델의 전역적 특성을 반영하는 것은 아님.
– 시각화만으로는 모델의 편향 여부를 완전히 판단할 수 없음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “시각화 기반 XAI 기법은 모델의 예측 근거를 직관적으로 전달할 수 있다.”
X: “시각화 기반 XAI 기법은 항상 모델의 전역적 동작을 완벽히 설명한다.”

================================

1. LIME

ㅇ 정의:
LIME(Local Interpretable Model-agnostic Explanations)은 개별 예측에 대해 입력 특징의 기여도를 계산하여, 단순하고 해석 가능한 대체 모델을 사용해 설명을 제공하는 기법.

ㅇ 특징:
– 모델 불가지론(model-agnostic) 방식으로, 어떤 유형의 머신러닝 모델에도 적용 가능.
– 특정 데이터 포인트 주변의 국소 영역에서 단순 모델(예: 선형 회귀, 의사결정나무)을 학습하여 설명 생성.
– 입력 특징의 중요도를 가중치 형태로 제시.

ㅇ 적합한 경우:
– 개별 예측 결과의 해석이 필요한 경우.
– 블랙박스 모델의 특정 사례 분석.

ㅇ 시험 함정:
– 국소적 설명이 전체 모델의 동작을 대표한다고 착각하는 경우.
– 특징 중요도가 데이터 전처리나 스케일링에 따라 달라질 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “LIME은 개별 예측을 설명하기 위해 국소적으로 단순 모델을 학습한다.”
X: “LIME은 모델의 전체 구조를 완벽히 재현하여 설명한다.”

ㅁ 추가 학습 내용

LIME은 입력 샘플 주변에 무작위로 데이터를 생성하여 국소 영역을 정의하고, 해당 영역에서 단순한 모델을 학습하는 방식으로 작동한다. 텍스트, 이미지, 표 형태의 데이터 모두에 적용 가능하며, 이미지의 경우 픽셀 대신 초픽셀(superpixel)을 특징 단위로 사용한다. 한계점으로는 동일한 입력에 대해서도 실행할 때마다 설명이 달라질 수 있는 불안정성이 있으며, 이는 무작위 샘플링 과정에서 발생한다. SHAP과 비교하면 LIME은 계산 속도가 빠르지만 설명의 일관성이 떨어질 수 있고, SHAP은 계산량이 많지만 이론적 일관성이 보장된다. 시험에서는 LIME의 model-agnostic, local, perturbation 키워드가 자주 출제된다.