ㅁ 중점 이슈

ㅇ 정의:
AI 시스템이나 데이터 처리 과정에서 특정 집단이나 개인에게 불공정한 결과가 발생하지 않도록, 알고리즘과 데이터셋을 체계적으로 점검·평가하는 절차.

ㅇ 특징:
– 데이터 수집, 전처리, 모델 학습, 예측 단계 전반에 걸쳐 편향(bias) 여부를 분석.
– 정량적 지표(정확도, 재현율, false positive rate 등)와 정성적 검토를 병행.
– 외부 감사 또는 제3자 검증을 통해 투명성과 신뢰성 확보.

ㅇ 적합한 경우:
– 대규모 사용자 기반 서비스에서 자동 의사결정이 이루어질 때.
– 채용, 대출, 보험 등 사회적 영향이 큰 의사결정 시스템.
– 규제 기관이 공정성 검증을 요구하는 산업.

ㅇ 시험 함정:
– 단순히 모델 정확도를 높이는 것과 공정성 확보를 동일시하면 오답.
– Fairness Audit은 사후 점검만이 아니라 설계 단계부터 포함될 수 있음.
– 편향 제거는 데이터만 수정하면 된다고 생각하는 것은 잘못.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Fairness Audit은 데이터 및 알고리즘 전 과정에서 편향을 점검한다.”
– O: “채용 알고리즘의 성별 편향을 확인하기 위해 Fairness Audit을 수행할 수 있다.”
– X: “Fairness Audit은 모델 학습이 끝난 후에만 적용된다.”
– X: “정확도가 높으면 Fairness Audit이 불필요하다.”

ㅁ 추가 학습 내용

Fairness Audit에서는 다음과 같은 주요 공정성 지표를 활용할 수 있다.
– Demographic Parity: 예측 결과가 집단 간에 동일한 비율로 나타나는 것을 목표로 하는 지표
– Equal Opportunity: 실제로 긍정적인 사례에 대해 집단 간 동일한 True Positive Rate을 보장하는 지표
– Predictive Parity: 예측이 긍정일 때, 실제로 긍정일 확률(정밀도)이 집단 간 동일한지 확인하는 지표

각 지표는 공정성을 평가하는 관점이 다르므로 정의와 차이를 명확히 이해해야 한다.

Fairness Audit 절차는 다음과 같다.
1. 데이터 편향 탐지: 데이터셋에 존재하는 불균형, 차별적 패턴 확인
2. 모델 출력 분석: 예측 결과가 집단별로 어떤 차이를 보이는지 분석
3. 영향 평가: 모델이 특정 집단에 미치는 실질적 영향 평가
4. 개선 방안 제시: 편향 완화를 위한 데이터 보정, 알고리즘 수정, 사후 조정 등 제안

국제 규제와의 연관성도 중요하다. GDPR, AI Act 등은 자동화된 의사결정과 알고리즘 공정성에 대한 요구사항을 포함하므로, Fairness Audit 결과가 규제 준수 여부와 직결될 수 있다.

실제 사례로는
– 아마존 채용 알고리즘 편향 문제: 과거 데이터 학습으로 여성 지원자에 불리한 결과 발생
– COMPAS 재범 예측 도구 논란: 흑인 피고인에게 불리한 예측 결과로 인한 공정성 문제

이러한 사례를 통해 편향 발견 방법과 수정 전략을 학습하는 것이 중요하다.