ㅁ 중점 이슈

ㅇ 정의:
AI 모델이 의사결정을 내리는 과정을 사람이 이해할 수 있도록 설명 가능성을 검증하고, 이를 통해 모델의 신뢰성과 투명성을 확보하는 절차.

ㅇ 특징:
– 모델의 입력, 처리 과정, 출력에 대한 해석 가능성 평가
– 규제 준수 및 감사 목적 활용
– 블랙박스 모델에 대한 설명력 확보를 위한 도구와 기법 사용
– 내부/외부 감사 보고서 형태로 결과 문서화

ㅇ 적합한 경우:
– 금융, 의료, 법률 등 규제 산업에서 AI를 활용할 때
– 모델의 의사결정 과정에 대한 이해가 필수적인 경우
– AI 결과에 대한 책임 소재를 명확히 해야 하는 경우

ㅇ 시험 함정:
– Explainability와 Interpretability를 혼동하는 경우
– 단순 성능 평가와 설명 가능성 감사의 목적을 혼동
– 설명 가능성 확보가 항상 모델 성능 향상으로 이어진다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Explainability Auditing은 AI 모델의 의사결정 과정을 검증하는 절차이다.”
– O: “규제 산업에서 설명 가능성 감사는 필수적이다.”
– X: “Explainability Auditing은 모델의 정확도를 높이기 위한 튜닝 과정이다.”
– X: “설명 가능성 감사는 블랙박스 모델에서는 불가능하다.”

ㅁ 추가 학습 내용

Explainability Auditing의 주요 방법론
– LIME: 모델의 예측을 국소적으로 설명하는 기법. 장점은 직관적인 해석 가능성과 다양한 모델에 적용 가능하다는 점. 단점은 결과의 일관성이 떨어질 수 있고, 전역적 설명에는 한계가 있음.
– SHAP: 각 특성이 예측에 기여한 정도를 Shapley 값 기반으로 산출. 장점은 이론적 기반이 탄탄하고 전역·국소 설명 모두 가능. 단점은 계산 비용이 높고, 대규모 데이터셋에 적용 시 시간 소요가 큼.
– Counterfactual Explanation: 모델 예측을 변경시키기 위해 필요한 최소한의 입력 변화 제시. 장점은 사용자가 직관적으로 이해하기 쉬움. 단점은 생성된 설명이 현실적으로 불가능한 경우가 있을 수 있음.

법적 요구사항
– GDPR의 설명받을 권리(Right to Explanation): 자동화된 의사결정에 대해 개인이 그 논리와 의미를 설명받을 수 있는 권리. Explainability Auditing 수행 시 이러한 법적 요구사항을 충족해야 함.

NIST AI Risk Management Framework 연계성
– AI 시스템의 위험 식별, 평가, 완화 과정에서 설명 가능성 확보는 핵심 요소이며, Explainability Auditing은 이 프레임워크의 리스크 관리 프로세스와 직접적으로 연계됨.

데이터 편향 탐지 절차
– 설명 가능성 감사 시 데이터 수집 단계부터 편향 여부를 점검
– 입력 변수의 불균형, 특정 집단에 불리한 패턴 확인
– 편향이 발견되면 데이터 재수집, 전처리, 가중치 조정 등의 방법으로 완화

Explainability Auditing, Model Validation, Bias Auditing의 차이
– Explainability Auditing: 모델의 예측 근거와 작동 원리를 사용자와 이해관계자에게 설명 가능하도록 점검하는 절차
– Model Validation: 모델이 설계 목적과 성능 기준에 부합하는지 검증하는 절차
– Bias Auditing: 모델 및 데이터셋에서 편향을 식별하고 측정하며, 이를 완화하는 절차