ㅁ 설명가능 인공지능(XAI) 핵심기법

ㅇ 정의:
– Class Activation Map(CAM)은 CNN 기반 모델에서 특정 클래스 예측에 기여한 이미지의 영역을 시각적으로 표시하는 기법으로, 마지막 합성곱층의 feature map과 해당 클래스의 가중치를 결합하여 생성한다.

ㅇ 특징:
– 모델의 내부 작동을 시각적으로 이해할 수 있음
– 주로 이미지 분류 모델에서 사용
– 특정 클래스별로 활성화 영역을 강조
– Grad-CAM 등 변형 기법이 존재

ㅇ 적합한 경우:
– 이미지 분류 결과의 근거를 설명해야 할 때
– 의료 영상 분석 등 신뢰성 확보가 중요한 분야
– 모델 검증 및 디버깅 과정에서 오류 원인 파악

ㅇ 시험 함정:
– CAM은 fully connected layer 대신 Global Average Pooling(GAP) 구조가 필요하다는 점을 간과
– Grad-CAM과 CAM의 차이를 혼동 (Grad-CAM은 GAP 없이도 가능)
– CAM은 특정 클래스에 대해서만 시각화된다는 점을 놓침

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) CAM은 CNN의 마지막 합성곱층 feature map과 클래스별 가중치를 결합해 시각화한다.
– (X) CAM은 모든 클래스의 활성화 영역을 동시에 보여준다.
– (O) CAM은 Global Average Pooling을 사용하는 구조에서 적용이 용이하다.
– (X) CAM은 RNN 기반 모델에도 동일하게 적용된다.

ㅁ 추가 학습 내용

CAM과 Grad-CAM의 구조적 차이
– CAM(Class Activation Mapping)은 모델 학습 구조를 변경해야 함. 주로 마지막 합성곱 층 뒤에 Global Average Pooling(GAP) 층을 추가하고, fully connected layer 대신 GAP 결과를 활용해 클래스별 가중치를 학습함.
– Grad-CAM은 기존에 학습된 모델 구조를 변경하지 않고도 적용 가능하며, 특정 클래스에 대한 예측의 기울기 정보를 활용해 중요 영역을 시각화함.

CAM의 수학적 계산 과정
1. 마지막 합성곱 층의 feature map에 대해 Global Average Pooling 수행
2. 각 feature map 채널별 평균값을 기반으로 클래스별 가중치 도출
3. 해당 가중치를 feature map에 곱하여 가중합 계산
4. ReLU 함수를 적용해 음수 값을 제거하고 시각화 맵 생성

CAM의 한계
– 해상도(분해능) 저하: 마지막 합성곱 층의 출력 크기에 의존
– 국소적 패턴만 강조하는 경향

CAM의 발전 기법
– Score-CAM: 기울기 대신 입력 마스킹과 모델 출력 점수를 이용해 중요도 계산
– Grad-CAM++: 다중 픽셀 기여도와 양수 기울기 가중을 고려하여 더 정교한 시각화 제공

응용 사례
– 의료 영상 분석: 병변 위치 및 범위 시각화
– 자율주행: 객체 인식 및 주행 환경 해석
– 위성 이미지 분석: 토지 이용, 재해 지역 식별