[카테고리:] AI 이론

ㅁ 그래프 신경망 최적화 ㅇ 정의: 그래프 Attention Networks(GAT)는 그래프 데이터의 노드 간 관계를 학습할 때, 인접 노드의 중요도를 학습 가능한 가중치(Attention Mechanism)로 계산하여 정보 집계에 반영하는 신경망 구조. ㅇ 특징: – 각 노드가 주변 이웃 노드로부터 받는 메시지의 가중치를 학습함. – Self-attention 기반으로 서로 다른 이웃 노드의 중요도를 차별화. – 고정된 인접 행렬 가중치

ㅁ 그래프 신경망 최적화 ㅇ 정의: 그래프 구조 데이터를 처리할 때, 서로 다른 그래프를 구분하는 능력을 극대화하기 위해 설계된 GNN 아키텍처 중 하나로, Weisfeiler-Lehman 그래프 동형성 테스트의 강력함을 모델링한 네트워크. ㅇ 특징: – 노드 특성 집계 시 단순 합(sum) 연산을 사용하여 표현력을 높임. – 학습 가능한 MLP를 집계 후 적용하여 비선형성을 확보. – 그래프 분류

ㅁ 그래프 신경망 최적화 ㅇ 정의: 그래프 신경망(GNN)에서 대규모 그래프 데이터를 효율적으로 학습하기 위해 이웃 샘플링 방식을 활용하여 노드 임베딩을 생성하는 방법. ㅇ 특징: – 전체 그래프를 한 번에 처리하지 않고, 각 노드의 일정 수 이웃만 샘플링하여 연산량을 줄임. – inductive learning 지원: 학습 시 보지 못한 새로운 노드나 그래프에도 적용 가능. – 메모리 효율성이

ㅁ 설명 가능 AI(XAI) ㅇ 정의: 머신러닝 모델의 예측 결과에 대해 각 입력 특성이 얼마나 기여했는지, 그리고 특성 간 상호작용이 예측에 어떤 영향을 미쳤는지를 설명하는 기법. ㅇ 특징: – SHAP(Shapley Additive Explanations)의 확장 개념으로, 두 개 이상의 특성이 함께 작용할 때의 기여도를 계산. – 게임이론 기반으로, 모든 가능한 특성 조합을 고려하여 기여도를 분배. – 모델

ㅁ 설명 가능 AI(XAI) ㅇ 정의: 머신러닝 모델의 내부 표현과 개념적 의미를 연결하여, 모델이 특정 개념을 어떻게 인식하는지 설명하는 기법. ㅇ 특징: – 신경망의 은닉층 활성화 벡터를 분석하여 사람이 이해할 수 있는 개념과 매핑. – 주로 이미지나 텍스트 분류 모델에서 사용. – 개념별로 벡터 방향을 정의하여 모델의 의사결정과정 해석. ㅇ 적합한 경우: – 모델의 특정

ㅁ 설명 가능 AI(XAI) ㅇ 정의: 인공지능 모델의 의사결정 과정을 사람이 이해할 수 있도록 설명하는 기술 및 방법론. ㅇ 특징: – 모델의 예측 결과에 대한 투명성을 높임. – 규제 준수(예: GDPR)와 신뢰성 확보에 필수적. – 사후 설명(Post-hoc)과 사전 설명(Ante-hoc) 방식으로 구분됨. ㅇ 적합한 경우: – 금융, 의료 등 고위험 분야에서 모델의 예측 근거를 제시해야 하는

ㅁ 정규화 및 규제 ㅇ 정의: 신경망 학습 시 가중치 벡터를 크기와 방향으로 분리하여 학습하는 기법으로, 학습 안정성과 수렴 속도를 높이는 정규화 방법. ㅇ 특징: – 가중치 w를 ||v||와 방향 g로 분리하여 파라미터를 재구성. – Batch Normalization과 달리 배치 통계에 의존하지 않음. – 학습 초기 단계에서 최적화 경로를 안정화. – RNN, GAN 등 배치 크기

ㅁ 정규화 및 규제 1. DropBlock ㅇ 정의: 합성곱 신경망(CNN)에서 Dropout의 변형 기법으로, 연속된 영역(block) 단위로 feature map의 값을 0으로 만드는 규제 기법. 공간적 상관관계를 고려하여 무작위로 블록 형태를 제거함으로써 과적합을 방지한다. ㅇ 특징: – Dropout은 개별 뉴런을 무작위로 제거하지만, DropBlock은 인접한 픽셀 영역을 함께 제거. – 학습 초기에는 제거 비율을 낮추고, 학습이 진행될수록 제거

ㅁ 정규화 및 규제 1. DropConnect ㅇ 정의: 신경망 학습 시 가중치(weight) 자체를 무작위로 0으로 만드는 방식의 규제 기법으로, Dropout이 뉴런의 출력을 무작위로 제거하는 것과 달리 연결 가중치에 직접 적용함. ㅇ 특징: – 각 학습 스텝마다 일부 연결 가중치를 무작위로 비활성화하여 과적합을 방지. – 가중치 행렬에 마스크를 곱해 적용. – Dropout보다 더 강력한 규제 효과를

ㅁ 정규화 및 규제 ㅇ 정의: 입력 데이터를 채널 단위로 그룹을 나누어 각 그룹별로 평균과 분산을 계산하여 정규화하는 방법. 배치 크기에 영향을 받지 않도록 설계되어 소규모 배치나 1개 샘플 입력에도 안정적으로 동작함. ㅇ 특징: – 배치 크기에 의존하지 않음 (Batch Normalization과 달리) – 채널을 G개의 그룹으로 나누어 그룹별 통계량 계산 – CNN, 3D CNN, NLP