ㅁ 인프라 및 자동화

ㅇ 정의:
– Explainability Logging은 AI 모델의 예측 결과와 함께 해당 예측에 영향을 준 주요 특징(feature)과 가중치, 모델 내부 의사결정 경로 등을 로그로 기록하는 기법이다. 주로 모델의 투명성 확보와 사후 분석, 규제 준수를 위해 사용된다.

ㅇ 특징:
– 예측값뿐 아니라 Feature Importance, SHAP 값, LIME 해석 결과 등을 함께 저장
– 로그 데이터는 일반 로그보다 용량이 크고 민감정보를 포함할 수 있음
– 모델 운영 중 발생한 의사결정 근거를 재현 가능하게 함
– 규제 산업(금융, 의료)에서 필수적으로 요구되는 경우가 많음

ㅇ 적합한 경우:
– 모델 결과에 대한 설명 가능성이 법적·윤리적으로 요구되는 경우
– 모델 성능 저하 원인 분석 및 디버깅이 필요한 경우
– 고객 불만 처리 시 의사결정 근거를 제시해야 하는 경우

ㅇ 시험 함정:
– 단순 로그 수집과 Explainability Logging을 혼동하는 경우 (단순 로그는 입력/출력만 기록, Explainability Logging은 의사결정 근거 포함)
– 모델 학습 과정 로깅과 혼동하는 경우 (Explainability Logging은 주로 운영/배포 단계에서 사용)
– 모든 모델에 필수라고 오해하는 경우 (규제나 요구사항이 없는 경우 선택적)

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “금융권 AI 모델의 의사결정 근거를 저장하는 로깅 기법은 Explainability Logging이다.”
– (X) “모델의 입력과 출력만 저장하면 Explainability Logging이라 한다.”
– (O) “SHAP, LIME 결과를 함께 저장하는 것은 Explainability Logging의 예다.”
– (X) “Explainability Logging은 모델 학습 단계에서만 사용된다.”

ㅁ 추가 학습 내용

Explainability Logging 구현 시에는 성능 오버헤드와 보안 이슈가 발생할 수 있다. Feature Importance나 SHAP 값과 같은 정보는 민감한 데이터 패턴을 노출할 수 있으므로 접근 제어와 암호화가 필요하다. 로그 저장소에 대해서는 용량 계획과 보존 기간 정책을 사전에 수립해야 한다. 시험에서는 LIME, SHAP 등 해석 기법과 Explainability Logging의 관계, 그리고 단순 로깅과의 차이를 구분하는 문제가 자주 출제될 수 있다. 운영 환경에서는 실시간 스트리밍 로그 수집과 배치 로그 분석을 병행하는 아키텍처 설계가 중요하며, 이 역시 시험에서 아키텍처 선택 문제로 나올 수 있다.