ㅁ 딥러닝 해석

ㅇ 정의:
딥러닝 모델의 예측에 기여한 입력 특징의 중요도를 계산하기 위해, 입력에서 기준점(baseline)까지의 경로를 따라 기울기를 적분하는 기법.

ㅇ 특징:
– 모델의 내부 가중치와 입력 간의 관계를 수학적으로 분석.
– 기준점 선택에 따라 결과가 달라질 수 있음.
– 연속적 변화에 따른 기여도를 누적 계산하여 직관적인 해석 가능.

ㅇ 적합한 경우:
– 이미지, 텍스트 등 고차원 데이터에서 특정 예측의 원인을 설명할 때.
– 모델이 비선형적이고 복잡한 경우.

ㅇ 시험 함정:
– “Integrated Gradients는 단일 샘플의 기여도를 무작위로 추출한다” → X (경로 적분 기반)
– “기준점 선택이 결과에 영향을 주지 않는다” → X (영향 있음)
– “기울기 폭발 문제를 해결하기 위한 최적화 기법이다” → X (해석 기법임)

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Integrated Gradients는 baseline과 입력을 잇는 직선 경로를 따라 기울기를 적분하여 feature 기여도를 계산한다.”
– X: “Integrated Gradients는 모델 학습 속도를 높이기 위해 사용된다.”

================================

1. Integrated Gradients

ㅇ 정의:
입력과 기준점 사이의 경로를 따라 기울기를 적분하여 각 입력 특징의 기여도를 계산하는 딥러닝 해석 기법.

ㅇ 특징:
– 기울기 기반 해석법의 한 종류.
– 경로 적분 방식을 사용하여 기여도 누적.
– 기준점(baseline)의 선택이 중요.

ㅇ 적합한 경우:
– 이미지 분류 모델에서 픽셀 단위 기여도 시각화.
– 텍스트 분류에서 특정 단어의 영향 분석.

ㅇ 시험 함정:
– “Integrated Gradients는 학습 데이터 전처리 기법이다” → X
– “기준점은 항상 0으로 고정된다” → X (데이터 특성에 따라 설정)
– “기울기를 한 번만 계산하여 기여도를 얻는다” → X (경로 따라 다수 계산)

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Integrated Gradients는 baseline과 입력을 잇는 경로상의 기울기를 적분하여 feature importance를 계산한다.”
– X: “Integrated Gradients는 모델의 과적합을 방지하는 정규화 기법이다.”

ㅁ 추가 학습 내용

Integrated Gradients 사용 시 baseline 선택 전략에 따라 해석 결과가 크게 달라질 수 있다. 대표적으로 zero baseline과 평균 baseline이 있으며, baseline 설정은 모델 입력과 기여도 해석의 기준점을 결정하므로 시험에서 자주 함정으로 출제된다. 경로 적분 시 steps 수(샘플링 개수)는 근사 정확도에 직접적인 영향을 미친다. steps 수가 너무 적으면 기여도 계산이 부정확해질 수 있으므로 적절한 개수를 설정해야 한다. 다른 기울기 기반 기법인 Saliency Map, SmoothGrad 등과 비교하여 특징을 파악하는 것이 중요하다. 특히 Integrated Gradients는 기울기 소실 문제를 완화할 수 있어 ReLU 기반 네트워크 해석에 적합하다는 점을 기억해야 한다.