ㅁ 주요 과제

ㅇ 정의:
AI 투명성은 인공지능 시스템의 의사결정 과정, 데이터 사용 방식, 알고리즘 구조 등을 이해 가능하게 공개하여 사용자가 결과를 신뢰할 수 있도록 하는 원칙과 실천을 의미함.

ㅇ 특징:
– 모델의 입력, 처리, 출력 과정을 설명 가능하게 함(Explainability)
– 데이터 출처와 전처리 과정을 명확히 공개
– 알고리즘의 동작 원리를 비전문가도 이해할 수 있도록 문서화
– 규제 준수 및 책임 소재 명확화에 기여

ㅇ 적합한 경우:
– 금융, 의료, 법률 등 고위험 분야의 AI 적용 시
– 규제 기관 보고나 인증을 받아야 하는 경우
– 사용자 신뢰 확보가 필수적인 서비스

ㅇ 시험 함정:
– ‘투명성’과 ‘개방성(Open Source)’을 동일시하는 오류
– 모든 알고리즘 코드를 공개해야만 투명성이 확보된다는 잘못된 이해
– ‘설명 가능성(Explainability)’과 혼동하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “AI 투명성은 모델의 의사결정 과정을 이해 가능하게 하는 것을 포함한다.”
– X: “AI 투명성은 모든 소스코드를 대중에게 무료로 공개하는 것을 의미한다.”

ㅁ 추가 학습 내용

AI 투명성과 관련된 주요 개념 정리

1. 설명 가능 AI(XAI)
– AI의 의사결정 과정을 사람이 이해할 수 있도록 설명하는 기술과 방법론
– 모델의 예측 이유를 해석 가능하게 제공하여 신뢰성과 책임성을 높임

2. 모델 카드(Model Card)
– AI 모델의 목적, 성능, 한계, 사용 시 주의사항 등을 문서화한 자료
– 모델의 사용 범위와 제약을 명확히 하여 투명성 확보에 기여

3. 데이터 시트(Data Sheet for Datasets)
– 데이터셋의 수집 과정, 구성, 한계, 편향 가능성 등을 기록한 문서
– 데이터 품질과 적합성을 평가하는 데 도움

4. 투명성 확보 기술 예시
– LIME(Local Interpretable Model-agnostic Explanations): 개별 예측에 대한 국소적 설명 제공
– SHAP(Shapley Additive Explanations): 각 특징이 예측에 기여한 정도를 수치로 설명

5. 법적·윤리적 프레임워크
– EU AI Act: AI 시스템의 위험 등급에 따른 규제와 투명성 요구사항 규정
– OECD AI 원칙: 포용적 성장, 인간 중심 가치, 투명성, 견고성, 책임성 강조

6. 시험 출제 가능 주제
– 투명성과 프라이버시 보호 간의 균형 문제
– 블랙박스 모델(내부 구조 불투명)과 화이트박스 모델(내부 구조 명확)의 차이
– 투명성 확보 과정에서 발생할 수 있는 보안 취약점 (예: 모델 역공학 가능성)