ㅁ 기법 및 특성 1. CAM ㅇ 정의: – Class Activation Map의 약자로, CNN 계열 모델에서 특정 클래스 예측에 기여한 이미지 영역을 시각적으로 표시하는 기법. ㅇ 특징: – 마지막 합성곱 층의 특성과 가중치를 활용하여 시각화. – 모델 구조에 Global Average Pooling(GAP)이 필요. ㅇ 적합한 경우: – 이미지 분류 모델의 시각적 설명이 필요한 경우. ㅇ 시험
ㅁ 파라미터 효율화 기법 1. LoRA (Low-Rank Adaptation) ㅇ 정의: 사전 학습된 대규모 언어모델(LLM)의 모든 파라미터를 업데이트하지 않고, 특정 가중치 행렬을 저차원 행렬 분해를 통해 일부만 학습하는 기법. ㅇ 특징: – 원본 모델의 파라미터는 고정하고, 추가된 저차원 행렬만 학습하여 메모리와 연산량 절감. – 파라미터 효율성이 높아 적은 자원으로도 미세조정이 가능. – 기존 모델의 성능을 크게
ㅁ 특징 및 작업 1. BERT ㅇ 정의: – Bidirectional Encoder Representations from Transformers의 약자로, 양방향 Transformer 인코더를 활용한 사전학습 언어모델. – Google AI에서 제안. ㅇ 특징: – 양방향 문맥 이해를 위해 Transformer의 self-attention을 활용. – MLM(Masked Language Model)과 NSP(Next Sentence Prediction) 두 가지 작업으로 사전학습. – 다양한 NLP 다운스트림 작업에 파인튜닝 가능. ㅇ 적합한
ㅁ 기법 및 구성요소 1. SimCLR ㅇ 정의: – 대규모 비라벨 데이터에서 데이터 증강과 대조 학습(contrastive learning)을 통해 표현 학습을 수행하는 자기지도학습 기법. ㅇ 특징: – 같은 이미지의 서로 다른 증강본을 양성 쌍(positive pair)으로, 다른 이미지 증강본을 음성 쌍(negative pair)으로 사용. – NT-Xent(temperature-scaled cross entropy) 손실 함수 사용. – Projection Head(Multi-Layer Perceptron)를 통해 표현 공간
ㅁ 특징 및 문제점 1. 모드 붕괴(Mode Collapse) ㅇ 정의: GAN 학습 과정에서 생성기가 일부 데이터 패턴(모드)에만 집중하여 다양한 출력을 생성하지 못하고 제한된 형태의 샘플만 생성하는 현상. ㅇ 특징: – 생성 결과의 다양성이 떨어짐 – 특정 입력 벡터가 다른 벡터와 거의 동일한 출력으로 매핑됨 – 판별기가 반복적으로 속는 패턴을 생성기가 학습 ㅇ 적합한 경우: –
ㅁ 프로세스 및 특징 ㅇ 정의: 확산 모델에서 데이터에 점진적으로 노이즈를 추가하고, 이를 제거하여 원본 데이터를 복원하는 과정 전반을 의미함. ㅇ 특징: – 순방향(Forward)과 역방향(Backward) 두 단계로 구성됨 – Forward는 데이터 파괴, Backward는 데이터 생성 과정 – 수학적으로 확률적 마코프 체인 기반으로 모델링됨 ㅇ 적합한 경우: – 이미지, 오디오 등 연속 데이터 생성 – 데이터
ㅁ 기법 및 효과 ㅇ 정의: ㅇ 특징: ㅇ 적합한 경우: ㅇ 시험 함정: ㅇ 시험 대비 “패턴 보기” 예시: ================================ 1. Node Dropout ㅇ 정의: – 그래프에서 일부 노드를 무작위로 제거하여 학습 시 과적합을 방지하는 데이터 증강 기법. ㅇ 특징: – 제거된 노드와 연결된 엣지도 함께 사라짐. – 네트워크의 구조적 다양성을 높임. – 노드
ㅁ 기법 및 효과 1. Random Erasing ㅇ 정의: – 이미지의 임의 영역을 선택하여 픽셀 값을 무작위 값이나 평균값 등으로 덮어씌우는 데이터 증강 기법. ㅇ 특징: – 모델이 특정 부분에 과도하게 의존하지 않도록 하여 일반화 성능 향상. – 객체 일부가 가려진 상황에 대한 강인성(Robustness) 증가. ㅇ 적합한 경우: – 물체 일부가 가려지는 경우가 많은 객체
ㅁ 코딩 및 명령어 1. dropna(inplace=True) ㅇ 정의: 데이터프레임이나 시리즈에서 결측치(NaN)가 포함된 행 또는 열을 제거하는 메서드로, inplace=True 설정 시 원본 객체를 직접 수정함. ㅇ 특징: – inplace=True를 사용하면 새로운 객체를 반환하지 않고 기존 객체를 변경함. – axis 파라미터로 행(row) 또는 열(column) 기준 제거 가능. – how=’any’ 또는 ‘all’로 결측치 제거 조건 설정 가능. ㅇ
ㅁ 특수 토큰 ㅇ 정의: 자연어 처리(NLP)에서 문장의 시작, 끝, 패딩, 미지정 단어 등을 표시하기 위해 사용하는 예약된 토큰. ㅇ 특징: 모델 학습 시 문장의 구조를 명확히 하고, 길이 맞춤, 어휘 사전 외 단어 처리 등 특정 목적에 맞게 사용됨. ㅇ 적합한 경우: 시퀀스-투-시퀀스(seq2seq) 모델, 번역기, 챗봇, 음성인식 등 문장 경계나 고정 길이 입력이 필요한