ㅁ 그래프 신경망 최적화 ㅇ 정의: 그래프 구조 데이터를 효율적으로 학습하기 위해 모델 구조, 학습 전략, 노드/엣지 표현 방식을 개선하는 기법들의 집합. ㅇ 특징: – 그래프 데이터의 불규칙성과 희소성을 고려한 연산 최적화 필요. – 메모리 사용량과 연산 복잡도 절감이 주요 목표. – 샘플링, 집계, 위치 인코딩 등 다양한 접근 방식 존재. ㅇ 적합한 경우: –
ㅁ 설명 가능 AI(XAI) ㅇ 정의: 인공지능 모델의 예측 결과를 사람이 이해할 수 있도록 설명하는 기술 및 방법론. ㅇ 특징: 복잡한 블랙박스 모델의 의사결정 과정을 투명하게 하여 신뢰성, 책임성을 높임. ㅇ 적합한 경우: 금융, 의료, 법률 등 설명 책임이 중요한 분야. ㅇ 시험 함정: XAI는 항상 모델 성능을 높이는 것이 목적이 아님. 설명력과 성능 간
ㅁ 정규화 및 규제 1. Layer Normalization ㅇ 정의: – 각 샘플의 특성(feature) 차원에 대해 평균과 분산을 계산하여 정규화하는 기법. – 배치 크기에 의존하지 않고 동작. ㅇ 특징: – RNN, Transformer와 같이 시퀀스 길이나 배치 크기가 변하는 모델에서 안정적. – 배치 정규화(Batch Norm) 대비 작은 배치에서도 효과적. ㅇ 적합한 경우: – 배치 크기가 매우 작거나
ㅁ 학습 안정화 ㅇ 정의: – 학습 과정에서 손실 값 폭주, 기울기 폭발/소실, 과적합 등을 방지하여 모델의 수렴 속도와 성능을 안정적으로 유지하는 기법들의 총칭. ㅇ 특징: – 학습률, 기울기, 손실 함수의 변동성을 제어. – 초기 학습 안정성과 장기적인 일반화 성능을 모두 고려. ㅇ 적합한 경우: – 대규모 데이터셋, 심층 신경망, 불안정한 학습 환경. ㅇ 시험
ㅁ 생성 모델 1. Classifier-Free Guidance ㅇ 정의: 조건부 생성 모델에서 별도의 분류기 없이, 조건부와 무조건부 생성 결과를 조합하여 원하는 조건을 강화하는 기법. ㅇ 특징: – 추가 분류기 학습 불필요. – 조건 강도를 가중치로 조절 가능. – 텍스트-이미지 생성에서 자주 사용. ㅇ 적합한 경우: – 조건 데이터가 충분하지 않거나 분류기 학습이 부담스러운 경우. – 조건
ㅁ 패딩 및 배치 처리 ㅇ 정의: 서로 다른 길이의 시퀀스 데이터를 동일한 길이로 맞추기 위해 패딩을 적용하고, 효율적인 학습을 위해 이를 배치 단위로 처리하는 기법. ㅇ 특징: – 시퀀스 길이 불일치 문제 해결 – 메모리 낭비를 최소화하기 위한 다양한 패딩 전략 존재 – RNN, Transformer 등 시퀀스 모델 학습 시 필수적 ㅇ 적합한 경우:
ㅁ 토큰 및 임베딩 특수 처리 1. Relative Positional Embedding ㅇ 정의: – 입력 시퀀스 내 토큰 간의 상대적 위치 정보를 임베딩에 반영하는 기법으로, 절대 위치 대신 토큰 간 거리 관계를 모델이 학습하도록 함. ㅇ 특징: – 길이 가변 시퀀스 처리에 유리. – 시퀀스 길이가 학습 시보다 길어져도 일반화 성능 유지 가능. – Transformer 모델의
ㅁ 데이터 증강 ㅇ 정의: 기존 데이터에 변형, 합성, 노이즈 추가 등을 통해 새로운 학습 데이터를 생성하여 모델의 일반화 성능을 높이는 기법. ㅇ 특징: – 데이터 부족 문제를 완화하고, 과적합을 방지. – 이미지, 음성, 텍스트 등 다양한 도메인에서 활용 가능. – 원본 데이터의 레이블을 유지하거나 변형된 데이터에 맞게 조정 필요. ㅇ 적합한 경우: – 데이터
ㅁ 편향 및 공정성 1. Proxy Bias ㅇ 정의: – 분석에 사용되는 변수가 실제로 측정하려는 개념을 직접적으로 나타내지 않고, 다른 변수(프록시)를 통해 간접적으로 나타내는 경우 발생하는 편향. – 예: ‘우편번호’를 소득 수준의 대리 변수로 사용 시, 인종·지역적 편향이 내포될 수 있음. ㅇ 특징: – 프록시 변수는 측정이 용이하지만, 대상 개념과 완벽히 일치하지 않음. – 숨겨진
ㅁ 최적화 하이퍼파라미터 튜닝 1. Bayesian Optimization ㅇ 정의: – 확률 모델(보통 Gaussian Process)을 사용하여 하이퍼파라미터 공간을 탐색하는 최적화 기법. – 이전 평가 결과를 바탕으로 다음 실험 후보를 확률적으로 선택. ㅇ 특징: – 탐색(exploration)과 활용(exploitation)의 균형을 조정. – 평가 횟수가 제한된 경우 효율적. ㅇ 적합한 경우: – 모델 학습 시간이 길고, 평가 비용이 높은 경우.