ㅁ 국제 동향

ㅇ 정의:
인공지능의 의사결정 과정을 사람이 이해할 수 있도록 설명하는 능력 또는 기술. 모델의 입력, 처리 과정, 출력 결과 간의 관계를 명확히 하여 신뢰성을 확보하는 것을 목표로 함.

ㅇ 특징:
– 복잡한 딥러닝 모델의 경우 설명 가능성을 확보하기 위해 추가적인 알고리즘이나 시각화 도구 필요
– 규제 기관, 사용자, 개발자 등 이해관계자별로 요구되는 설명 수준이 다름
– GDPR, EU AI Act 등 국제 규제에서 설명 가능성 요구가 강화되는 추세

ㅇ 적합한 경우:
– 의료, 금융, 법률 등 고위험 분야에서 모델의 판단 근거를 제시해야 하는 경우
– 규제 준수를 위해 AI 시스템의 투명성이 필수적인 경우

ㅇ 시험 함정:
– Explainability와 Interpretability를 동일 개념으로 혼동하는 경우 (Explainability는 결과에 대한 설명 제공, Interpretability는 내부 작동 원리 이해)
– 단순히 모델 성능 지표를 제시하는 것을 설명 가능성으로 오해하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– “Explainability는 AI 모델의 의사결정 과정을 사람이 이해할 수 있도록 하는 것이다.” (O)
– “Explainability는 모델의 정확도를 높이는 기술로만 정의된다.” (X)
– “국제 규제에서는 Explainability를 요구하는 경우가 있다.” (O)
– “Explainability는 오직 개발자만을 위한 기능이다.” (X)

ㅁ 추가 학습 내용

추가 학습 정리

1. 대표적인 설명 가능성 구현 기법
– LIME: 모델의 예측을 국소적으로 선형 근사하여 각 특징이 결과에 미치는 영향을 설명하는 기법
– SHAP: 게임이론의 Shapley value를 기반으로 각 특징의 기여도를 계산하여 전역 및 국소적 설명 제공
– Counterfactual Explanation: 결과를 바꾸기 위해 입력값을 어떻게 변경해야 하는지 제시하여 의사결정 경로를 이해하게 하는 기법

2. 국제 규범 및 정책에서의 설명 가능성 정의와 요구사항 비교
– EU AI Act: 고위험 AI 시스템에 대해 설명 가능성과 투명성을 필수 요건으로 규정, 사용자에게 이해 가능한 정보 제공 요구
– 미국 NIST AI Risk Management Framework: 설명 가능성을 신뢰성 구축 요소로 포함, 모델의 의사결정 과정을 이해 가능하게 설계할 것을 권고
– OECD AI 원칙: 투명성과 설명 가능성을 AI의 책임성 확보를 위한 핵심 가치로 명시, 이해관계자에게 적절한 정보 제공 강조

3. 관련 개념 구분
– 설명 가능성(Explainability): 모델의 예측이나 의사결정 과정을 사람에게 이해할 수 있도록 설명할 수 있는 능력
– 투명성(Transparency): 모델의 구조, 데이터, 작동 방식, 한계 등에 대한 정보가 공개되고 접근 가능함
– 해석 가능성(Interpretability): 모델의 내부 작동 원리나 변수 간 관계를 직관적으로 이해할 수 있는 정도

각 용어의 정의와 차이점을 명확히 이해하고, 구현 기법 및 국제 규범의 요구사항과 연계해 학습하는 것이 중요함