ㅁ 딥러닝 해석

ㅇ 정의: 딥러닝 모델의 내부 작동 원리를 시각적으로 또는 수치적으로 설명하여, 모델의 의사결정 근거를 이해하고 검증하는 기법. 주로 CNN, Transformer 등의 복잡한 구조에서 사용됨.

ㅇ 특징: 모델 성능 저하 없이 해석 가능, 시각화 기반으로 사용자 직관적 이해 지원, 규제 준수 및 신뢰성 확보에 기여.

ㅇ 적합한 경우: 의료 영상 분석, 자율주행 객체 인식, 금융 사기 탐지 등 모델의 판단 근거가 중요한 분야.

ㅇ 시험 함정: “모델 해석 기법은 항상 모델의 정확도를 향상시킨다” → X (해석 기법은 성능 향상이 목적이 아님), “모든 해석 기법이 동일한 결과를 제공한다” → X (기법별 결과 다름).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “딥러닝 해석 기법은 모델의 예측 근거를 제공한다.”
– X: “딥러닝 해석 기법은 학습 속도를 빠르게 한다.”

================================

1. Grad-CAM

ㅇ 정의: CNN 계열 모델에서 특정 클래스 예측에 기여한 이미지 영역을 시각적으로 강조하는 기법.

ㅇ 특징: 마지막 합성곱 층의 feature map과 해당 클래스의 gradient를 이용하여 가중치 맵을 계산, 원본 이미지 위에 히트맵 형태로 표시.

ㅇ 적합한 경우: 이미지 분류, 객체 탐지 모델의 시각적 해석이 필요한 경우.

ㅇ 시험 함정: “Grad-CAM은 완전 연결층의 출력을 직접 사용한다” → X (합성곱 층의 출력을 사용), “Grad-CAM은 클래스 무관 영역을 강조한다” → X.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Grad-CAM은 마지막 합성곱 층의 활성맵과 gradient를 결합해 히트맵을 생성한다.”
– X: “Grad-CAM은 중간층의 가중치만 사용해 해석한다.”

================================

2. Integrated Gradients

ㅇ 정의: 모델의 예측에 대한 각 입력 특성(feature)의 기여도를 계산하기 위해, 기준 입력(baseline)에서 실제 입력까지의 경로를 따라 gradient를 적분하는 기법.

ㅇ 특징: 입력 특징별 기여도를 정량적으로 제공, baseline 선택이 중요, 연속적인 입력 변화에 따른 기여도 누적 방식.

ㅇ 적합한 경우: 이미지, 텍스트, 구조화 데이터 등 다양한 입력 형태의 해석이 필요할 때.

ㅇ 시험 함정: “Integrated Gradients는 단일 지점의 gradient만 사용한다” → X (경로 적분 사용), “baseline은 항상 0이어야 한다” → X (문제 특성에 따라 다름).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Integrated Gradients는 baseline에서 입력까지의 gradient를 적분하여 기여도를 계산한다.”
– X: “Integrated Gradients는 baseline 없이도 동작한다.”

================================

3. Attention Visualization

ㅇ 정의: Transformer 등 Attention 기반 모델에서, 각 토큰이 다른 토큰에 얼마나 주의를 기울이는지를 시각화하여 모델의 판단 근거를 해석하는 기법.

ㅇ 특징: Attention score를 기반으로 시각화, 입력 간 관계 해석 가능, 다층 다헤드 구조 분석 지원.

ㅇ 적합한 경우: 기계 번역, 질의응답, 문서 요약 등 Attention 메커니즘을 사용하는 자연어 처리 모델의 해석.

ㅇ 시험 함정: “Attention score가 높으면 항상 중요한 특징을 의미한다” → X (중요도와 주의 비율은 반드시 일치하지 않음), “Attention Visualization은 CNN에서 사용된다” → X (주로 Transformer 계열).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Attention Visualization은 토큰 간 주의 분포를 시각적으로 표현한다.”
– X: “Attention Visualization은 합성곱 필터의 가중치를 시각화한다.”

================================

혹시 원하시면 제가 이 내용을 **한 장짜리 시험 대비 요약 PDF**로도 만들어 드릴 수 있습니다.
그렇게 해드릴까요?