ㅁ 설명 가능 AI(XAI)

ㅇ 정의:
설명 가능 AI(XAI)는 AI 모델의 의사결정 과정을 인간이 이해할 수 있도록 설명하거나 해석 가능한 방식으로 제공하는 기술이다.

ㅇ 특징:
– 모델의 투명성과 신뢰성을 높인다.
– 규제 준수 및 윤리적 AI 구현에 기여한다.
– 복잡한 AI 모델의 내부 작동 방식을 설명한다.

ㅇ 적합한 경우:
– 의료, 금융 등 고위험 분야에서 AI 사용 시.
– 규제 준수를 위해 모델의 해석 가능성이 요구되는 경우.
– AI 결과에 대한 신뢰를 확보해야 하는 경우.

ㅇ 시험 함정:
– XAI와 일반적인 AI의 차이를 명확히 구분하지 못하는 경우.
– XAI의 다양한 구현 방법을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– XAI는 AI 모델의 정확성을 높이는 기술이다. (X)
– XAI는 AI 모델의 의사결정 과정을 인간이 이해할 수 있도록 설명하는 기술이다. (O)

================================

1. Concept Activation Vectors

ㅇ 정의:
Concept Activation Vectors(CAV)는 딥러닝 모델의 내부 표현을 인간이 이해할 수 있는 개념으로 변환하여 분석하는 기법이다.

ㅇ 특징:
– 모델의 중간 레이어에서 활성화 값과 개념 간의 관계를 측정한다.
– 특정 개념이 모델의 예측에 미치는 영향을 정량화할 수 있다.
– 인간이 이해할 수 있는 고수준 개념을 사용하여 모델의 작동 방식을 설명한다.

ㅇ 적합한 경우:
– 모델이 특정 개념을 얼마나 고려하고 있는지 확인이 필요한 경우.
– 모델의 해석 가능성을 높이고자 하는 연구나 응용 프로그램.

ㅇ 시험 함정:
– CAV와 일반적인 피처 중요도 분석을 혼동하는 경우.
– CAV가 모든 AI 모델에 적용 가능한 범용 기법이라고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– CAV는 모델의 예측 정확도를 높이기 위한 최적화 기법이다. (X)
– CAV는 딥러닝 모델의 내부 표현을 인간이 이해할 수 있는 개념으로 변환하여 분석하는 기법이다. (O)

================================

ㅁ 추가 학습 내용

Concept Activation Vectors(CAV)에 대해 학습할 때, 다음과 같은 내용을 정리하면 효과적입니다.

1. CAV를 사용할 때 필요한 데이터 준비 과정:
– CAV를 사용하려면 특정 개념에 대한 라벨링된 데이터가 필요합니다. 예를 들어, “줄무늬”라는 개념을 분석하려면 줄무늬가 있는 이미지와 없는 이미지를 구분하여 라벨링해야 합니다.
– 라벨링 데이터는 모델이 학습한 내부 표현에서 해당 개념을 탐색하는 데 사용되므로, 데이터의 품질과 라벨링의 정확도가 중요합니다.
– 개념별로 충분한 데이터가 확보되지 않으면 CAV의 신뢰도가 낮아질 수 있습니다.

2. CAV의 한계:
– 개념 정의의 주관성: 특정 개념이 무엇을 의미하는지에 대한 정의가 사람마다 다를 수 있어, 라벨링 과정에서 주관적인 판단이 개입될 가능성이 있습니다.
– 복잡한 모델에서의 적용 어려움: 딥러닝 모델이 복잡할수록, 모델의 내부 표현과 CAV 간의 관계를 해석하는 것이 더 어려워질 수 있습니다.
– 단순한 개념에 적합: CAV는 비교적 단순한 개념에 대해 효과적으로 작동하지만, 복잡하거나 추상적인 개념에 대해서는 적용이 제한적일 수 있습니다.

3. CAV와 다른 XAI 기법과의 비교:
– LIME(Local Interpretable Model-agnostic Explanations): 모델의 예측을 국소적으로 설명하며, 특정 입력에 대한 예측 결과를 이해하는 데 유용합니다. 반면 CAV는 개념 수준에서 모델의 내부 표현을 분석합니다.
– SHAP(Shapley Additive Explanations): 각 특징이 모델의 예측에 기여하는 정도를 정량적으로 평가합니다. CAV와 달리 SHAP은 특정 개념보다는 개별 특징의 중요성을 강조합니다.
– Grad-CAM(Gradient-weighted Class Activation Mapping): 모델의 예측에 기여하는 입력 이미지의 영역을 시각화합니다. CAV는 개념의 영향을 분석하는 반면, Grad-CAM은 공간적 중요도를 보여줍니다.

이 내용을 학습 노트에 포함하면 CAV의 사용 방법과 한계, 그리고 다른 XAI 기법과의 차이를 명확히 이해할 수 있어 시험 준비에 도움이 될 것입니다.