ㅁ 주요 과제

1. Explainability Audit

ㅇ 정의:
AI 모델이 내린 의사결정 과정을 사람이 이해할 수 있도록 설명 가능성을 점검하고 검증하는 절차. 주로 모델의 투명성, 해석 가능성, 설명의 일관성을 평가함.

ㅇ 특징:
– 모델 출력에 대한 근거를 명확히 제시하도록 요구함.
– 규제 준수(예: EU AI Act, GDPR)와 신뢰 확보에 필수적.
– 데이터 전처리, 모델 구조, 피처 중요도, 예측 근거 등을 분석.
– 도메인 전문가와 협력하여 설명의 타당성을 검증.

ㅇ 적합한 경우:
– 금융, 의료, 법률 등 고위험 분야에서 의사결정 근거가 중요한 경우.
– 규제 기관 보고 또는 외부 감사 대응이 필요한 경우.
– 고객 신뢰 확보가 사업 성패에 영향을 미치는 경우.

ㅇ 시험 함정:
– 단순히 모델 성능을 측정하는 것과 혼동하기 쉬움 → 성능 검증이 아니라 ‘설명 가능성’ 검증임.
– 설명 가능성은 모델의 정확도와 항상 비례하지 않음.
– 블랙박스 모델은 설명 불가라고 단정하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Explainability Audit은 AI 의사결정 과정을 이해할 수 있도록 검증하는 절차이다.”
– X: “Explainability Audit은 모델의 정확도를 높이는 하이퍼파라미터 튜닝 과정이다.”
– O: “GDPR의 ‘설명 받을 권리’ 준수를 위해 Explainability Audit이 필요하다.”
– X: “Explainability Audit은 데이터 수집 단계에서만 수행된다.”

ㅁ 추가 학습 내용

Explainability Audit 추가 학습 정리

1. 설명 가능성 확보 기법
– LIME: 로컬 수준에서 개별 예측에 영향을 준 특징을 선형 근사로 설명
– SHAP: 게임이론 기반, 각 특징의 기여도를 일관되게 계산하여 전역·로컬 설명 모두 가능
– Counterfactual Explanation: 결과를 바꾸기 위해 입력을 어떻게 변경해야 하는지 제시, 직관적 이해 용이

2. 규제 프레임워크와의 연계
– GDPR: 자동화된 의사결정에 대한 설명 권리 보장
– EU AI Act: 고위험 AI에 대한 투명성·설명 가능성 요구
– NIST AI Risk Management Framework: 설명 가능성 확보를 통한 신뢰성·책임성 강화

3. 설명 대상의 범위
– 모델 내부 로직
– 입력 데이터 특성
– 출력 결과 해석

4. 설명 품질 평가 지표
– Fidelity(충실도): 설명이 실제 모델 동작을 얼마나 잘 반영하는지
– Consistency(일관성): 유사한 상황에서 설명이 얼마나 일관되게 제공되는지
– Comprehensibility(이해 용이성): 사용자가 설명을 얼마나 쉽게 이해할 수 있는지

5. Explainability Audit 단계
– 사전 계획: 목표 및 범위 설정
– 데이터·모델 분석
– 설명 생성
– 이해관계자 검증
– 보고서 작성