ㅁ 설명 가능 AI(XAI)

ㅇ 정의:
인공지능 모델의 의사결정 과정을 사람이 이해할 수 있도록 설명하는 기술 및 방법론.

ㅇ 특징:
– 모델의 예측 결과에 대한 투명성을 높임.
– 규제 준수(예: GDPR)와 신뢰성 확보에 필수적.
– 사후 설명(Post-hoc)과 사전 설명(Ante-hoc) 방식으로 구분됨.

ㅇ 적합한 경우:
– 금융, 의료 등 고위험 분야에서 모델의 예측 근거를 제시해야 하는 경우.
– 사용자가 모델 결과를 신뢰해야 하는 경우.

ㅇ 시험 함정:
– XAI = 항상 성능 저하를 의미하는 것은 아님(O)
– XAI는 블랙박스 모델만을 대상으로 한다(X) → 화이트박스 모델에도 적용 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– “XAI는 모델의 학습 과정을 이해시키는 것만을 목적으로 한다” (X)
– “규제 산업에서는 XAI가 필수적으로 요구될 수 있다” (O)

================================

1. Counterfactual Explanations

ㅇ 정의:
모델의 예측 결과를 바꾸기 위해 입력 변수에서 최소한의 변경을 가한 가상의 시나리오를 제시하는 설명 방식.

ㅇ 특징:
– “만약 ~였다면 결과는 달랐을 것이다” 형태의 설명 제공.
– 사용자가 모델의 의사결정 경계를 이해할 수 있도록 도움.
– 데이터 포인트를 약간 수정하여 다른 예측 결과를 도출.

ㅇ 적합한 경우:
– 개별 의사결정에 대한 직관적인 피드백 제공이 필요한 경우.
– 사용자가 목표 결과를 얻기 위해 어떤 변화를 해야 하는지 알고자 할 때.

ㅇ 시험 함정:
– Counterfactual은 항상 실제로 가능한 변경만 제시한다(X) → 현실적으로 불가능한 변경이 제시될 수 있음.
– Counterfactual은 모델의 전반적 구조를 설명한다(X) → 개별 예측 사례 중심.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Counterfactual Explanation은 ‘만약 ~였다면’ 시나리오를 통해 예측 결과의 변화를 설명한다” (O)
– “Counterfactual은 반드시 현실적으로 가능한 데이터 변경만을 제시한다” (X)

ㅁ 추가 학습 내용

Counterfactual Explanations의 생성 방법은 크게 두 가지로 나눌 수 있다. 첫째, 최적화 기반 접근은 목표 결과에 도달하기 위해 필요한 최소한의 입력 변화 조합을 탐색하는 방식이다. 둘째, 샘플링 기반 접근은 기존 데이터셋에서 목표 결과와 유사한 사례를 찾아 제시하는 방식이다.

품질 평가 지표로는 근접성(Proximity), 현실 가능성(Feasibility), 다양성(Diversity)이 있다. 근접성은 원래 입력과의 변화 정도를 최소화하는 것을 의미하며, 현실 가능성은 도메인 제약 조건을 반영해 실제로 발생 가능한 변경만 포함하는 것을 뜻한다. 다양성은 여러 대안을 제시하여 사용자가 다양한 선택지를 가질 수 있도록 하는 지표이다.

GDPR에서 규정한 ‘설명받을 권리’와 연결되어, 규제 준수를 위한 설명 제공 방법으로 활용될 수 있다.

실제 적용 시에는 입력 변수 간 상관관계를 무시하면 현실성이 떨어지는 Counterfactual이 생성될 수 있다. 이를 해결하기 위해 변수 간 인과관계를 고려한 생성 기법이 연구되고 있다.