ㅁ 규칙 기반

ㅇ 정의:
규칙 기반 XAI 중 Counterfactual은 ‘만약 ~였다면 결과가 어떻게 달라졌을까?’라는 가정적 시나리오를 통해 모델의 예측 이유를 설명하는 기법이다. 주어진 입력의 일부 특성을 변경했을 때 결과가 변화하는지를 분석하여, 의사결정 경계와 중요한 변수의 민감도를 파악한다.

ㅇ 특징:
– 입력 변수의 최소 변경으로 다른 예측 결과를 유도하는 사례를 제시한다.
– 사용자가 쉽게 이해할 수 있는 ‘대안 시나리오’ 형태의 설명을 제공한다.
– 모델의 블랙박스 구조와 무관하게 적용 가능하다.
– 수치형, 범주형 데이터 모두에 적용 가능하나, 현실적으로 불가능한 변경(예: 나이 -5세) 제시 위험이 있다.

ㅇ 적합한 경우:
– 의사결정의 원인을 직관적으로 설명해야 하는 신용평가, 의료진단 등에서 활용.
– 규제 준수 및 설명 책임이 필요한 분야.
– 사용자가 ‘무엇을 변경해야 다른 결과를 얻을 수 있는지’ 알고 싶을 때.

ㅇ 시험 함정:
– 단순히 예측 확률을 높이는 피처를 찾는 것과 혼동.
– 모델 학습 시 사용하지 않은 변수 변경은 Counterfactual에 해당하지 않음.
– 현실 불가능한 변경도 Counterfactual로 생성될 수 있으므로, 항상 해석 시 주의 필요.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “입력 데이터의 일부를 변경하여 예측 결과를 바꾸는 가상 시나리오를 제공한다.”
X: “모델의 가중치를 직접 조정하여 설명을 생성한다.”

ㅁ 추가 학습 내용

Counterfactual 설명 생성 시 중요한 기준은 다음과 같다.
1. Proximity(변경 최소화): 기존 입력 값에서 최소한의 변경만으로 결과를 바꾸는 것.
2. Plausibility(현실 가능성): 변경된 입력 값이 현실적으로 가능한 범위 내에 있어야 함.

시험에서는 Proximity와 Plausibility를 구분하여 묻는 경우가 많다.
Counterfactual은 Causal Inference(인과 추론)와 혼동하기 쉽지만, 인과관계 증명보다는 결과를 바꾸기 위한 조건에 초점을 둔다.

알고리즘적으로는 최적화 기반 탐색, 경사하강법, 유전 알고리즘 등을 활용할 수 있다.
범주형 변수의 경우 one-hot encoding 후 변경 최소화를 고려하는 기법이 출제될 수 있다.