ㅁ 인프라 및 자동화

ㅇ 정의:
– Model Explainability Logging은 AI/ML 모델의 예측 결과에 대한 설명 가능성(Explainability) 정보를 로그 형태로 기록하여, 모델의 의사결정 근거를 추적할 수 있도록 하는 기능.
– 주로 SHAP, LIME 등의 설명 기법을 활용한 결과를 로그에 포함.

ㅇ 특징:
– 예측값뿐만 아니라 각 입력 특성(feature)이 결과에 미친 영향도 함께 기록.
– 운영 환경에서 모델 예측의 투명성을 확보하고, 규제 준수 및 감사 대응 가능.
– 로그 데이터는 JSON, Parquet 등 구조화된 형태로 저장되어 분석 용이.

ㅇ 적합한 경우:
– 금융, 의료, 보험 등 규제 산업에서 모델의 의사결정 근거를 반드시 보관해야 하는 경우.
– 모델 성능 저하 원인 분석, 데이터 드리프트 탐지 등 사후 분석이 필요한 경우.

ㅇ 시험 함정:
– 단순 로깅(logging)과 혼동하기 쉬움: 단순 로깅은 입력/출력 저장, Explainability Logging은 특성 기여도까지 포함.
– Explainability Logging이 모델 성능 향상을 직접적으로 보장한다고 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “운영 환경에서 모델 예측 근거를 저장하여 규제 대응에 활용한다.”
– (X) “Explainability Logging은 모델 학습 속도를 높이기 위해 사용된다.”
– (O) “특성별 기여도를 로그로 남겨 사후 분석에 활용할 수 있다.”
– (X) “Explainability Logging은 단순히 모델의 예측 결과만 저장한다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. Explainability Logging 구현 시 성능 오버헤드를 줄이기 위해 비동기 로깅과 샘플링 로깅 기법을 활용할 수 있다.
2. GDPR, CCPA 등 개인정보보호법에서 설명 가능성 요구사항이 강화되고 있으므로, 로그 저장 시 반드시 개인정보를 마스킹해야 한다.
3. SHAP, LIME 외에도 Integrated Gradients, Counterfactual Explanations 등 다양한 기법이 있으며, 각 기법의 장단점을 이해해야 한다.
4. Explainability Logging은 MLOps 파이프라인의 모니터링, 모델 리스크 관리, 모델 재학습 트리거링과 밀접하게 연관된다.
5. 로그 저장소 설계 시 보안, 접근 제어, 로그 보존 기간 정책을 반드시 고려해야 한다.