ㅁ 규칙 기반

ㅇ 정의:
규칙 기반 XAI는 명시적인 규칙을 사용하여 모델의 작동 방식을 설명하는 접근 방식입니다. 이 규칙은 사람이 이해할 수 있는 형태로 제공되며, 모델의 결과를 해석하는 데 도움을 줍니다.

ㅇ 특징:
– 명시적이고 직관적인 설명 가능.
– 규칙이 복잡해질수록 이해가 어려워질 수 있음.
– 특정 모델에 종속되지 않고 다양한 모델에 적용 가능.

ㅇ 적합한 경우:
– 도메인 전문가가 규칙을 이해하고 활용할 수 있는 환경.
– 규칙 기반 설명이 요구되는 법적 또는 규제적 상황.

ㅇ 시험 함정:
– 규칙 기반 XAI가 모든 상황에서 최적의 해석을 제공한다고 오해하는 경우.
– 규칙이 단순할수록 성능이 낮아질 가능성을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 규칙 기반 XAI는 명시적인 규칙을 사용하여 모델을 설명한다.
X: 규칙 기반 XAI는 모든 모델에서 동일한 성능을 보인다.

================================

1. Counterfactual

ㅇ 정의:
Counterfactual은 “만약 X가 아니라 Y였다면 결과는 어떻게 달라졌을까?”를 탐구하는 방식으로 모델의 행동을 설명하는 기법입니다.

ㅇ 특징:
– 특정 입력을 변경하여 결과의 변화를 관찰함.
– 모델이 특정 결과를 도출한 이유를 명확히 이해할 수 있음.
– 데이터와 모델에 따라 생성된 Counterfactual의 품질이 달라질 수 있음.

ㅇ 적합한 경우:
– 모델의 결정 이유를 사용자에게 직관적으로 설명해야 하는 상황.
– 대안적 시나리오를 통해 의사결정의 투명성을 높이고자 할 때.

ㅇ 시험 함정:
– Counterfactual이 항상 현실적인 시나리오를 제공한다고 오해하는 경우.
– Counterfactual 생성이 모델의 복잡성과 직접적으로 연관된다고 잘못 이해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Counterfactual은 입력 데이터를 변경하여 결과의 변화를 분석한다.
X: Counterfactual은 모든 데이터에서 동일한 결과를 보장한다.

================================

ㅁ 추가 학습 내용

Counterfactual 접근법의 주요 한계를 명확히 이해하기 위해 다음과 같은 내용을 정리할 수 있습니다:

1. **현실 가능성의 문제**:
– Counterfactual은 특정 조건을 바꾸었을 때 결과가 어떻게 달라질지를 보여주는 도구입니다.
– 하지만 생성된 Counterfactual이 실제 세계에서 발생 가능성이 낮거나 현실적이지 않다면, 이를 해석할 때 주의가 필요합니다.
– 예를 들어, 고소득 직업을 위해 교육 수준을 높이는 Counterfactual이 제안되었지만, 해당 교육 수준을 달성하는 데 필요한 자원이 개인에게 현실적으로 불가능하다면, 이는 비현실적인 대안이 될 수 있습니다.

2. **데이터셋 간 품질 평가**:
– Counterfactual의 품질은 데이터셋에 따라 달라질 수 있습니다.
– 다양한 데이터셋에서 Counterfactual의 효과를 평가하고, 이를 개선하기 위한 방법론 연구가 필요합니다.
– 품질 평가 기준에는 현실 가능성, 데이터 왜곡 여부, 편향성 제거 등이 포함될 수 있습니다.

3. **데이터의 왜곡 및 편향 드러내기**:
– Counterfactual은 데이터의 왜곡이나 편향을 드러내는 데 유용할 수 있습니다.
– 예를 들어, 특정 인구 집단에서만 긍정적 결과를 얻는 Counterfactual이 자주 생성된다면, 이는 데이터가 해당 집단에 편향되어 있음을 나타낼 수 있습니다.
– 이러한 사례를 통해 데이터의 편향성을 이해하고 수정할 수 있는 기회가 제공됩니다.

시험 대비를 위해, Counterfactual이 데이터의 왜곡이나 편향을 드러내는 사례를 학습하는 것이 중요합니다. 예를 들어, 채용 데이터에서 특정 성별이나 인종에 유리한 조건을 제안하는 Counterfactual이 생성된다면, 이는 데이터가 해당 성별이나 인종에 편향되어 있음을 보여줍니다. 이를 통해 데이터의 공정성을 평가하고 개선할 수 있는 방법을 고민할 수 있습니다.