ㅁ 배포 아키텍처 ㅇ 정의: AI 모델을 실제 서비스 환경에 배포하기 위한 구조와 방식, 모델과 애플리케이션 간의 연계 형태를 설계하는 방법. ㅇ 특징: 서비스 요구사항, 성능, 확장성, 유지보수성에 따라 구조가 달라짐. 네트워크 통신 방식, 리소스 할당, 장애 대응 전략이 중요. ㅇ 적합한 경우: 모델 크기, 호출 빈도, 응답 시간 요구사항에 따라 적합한 배포 방식을 선택.
ㅁ 효율적 구조 및 개선 1. Pruning ㅇ 정의: – 신경망에서 중요도가 낮은 가중치나 뉴런, 채널을 제거하여 모델의 크기와 연산량을 줄이는 기술. ㅇ 특징: – 불필요한 파라미터 제거로 메모리 사용량과 추론 속도 개선. – 구조적(채널 단위) 또는 비구조적(개별 가중치 단위) 방식 존재. – 성능 저하를 최소화하기 위해 재학습(fine-tuning) 과정 필요. ㅇ 적합한 경우: – 배포
ㅁ 최적화 방법 ㅇ 정의: 머신러닝 및 딥러닝 모델의 성능을 극대화하기 위해 하이퍼파라미터의 최적 조합을 탐색하는 기법들의 총칭. ㅇ 특징: 탐색 공간의 크기, 계산 자원, 시간 제약에 따라 다양한 방식이 사용되며, 각 방법별로 효율성과 정확도가 다름. ㅇ 적합한 경우: 모델 성능이 하이퍼파라미터에 크게 의존하고, 수동 조정이 비효율적인 경우. ㅇ 시험 함정: 각 방법의 장단점과 적용
ㅁ 지표 및 해석 1. 재현율(Recall) ㅇ 정의: – 실제 Positive 중에서 모델이 Positive로 정확히 예측한 비율. – TP / (TP + FN)으로 계산. ㅇ 특징: – 민감도(Sensitivity)라고도 불림. – 실제 Positive를 놓치지 않는 것이 중요한 경우 사용. – 값이 높을수록 놓치는 사례(FN)가 적음. ㅇ 적합한 경우: – 질병 진단(암 검진 등)에서 환자를 놓치면 안
ㅁ 과적합과 언더피팅 진단 및 해결법 1. Dropout ㅇ 정의: – 신경망 학습 시 일부 뉴런을 확률적으로 비활성화하여 모델의 복잡도를 줄이고 과적합을 방지하는 정규화 기법. ㅇ 특징: – 학습 시 무작위로 뉴런을 제거하므로 네트워크가 특정 뉴런에 과도하게 의존하지 않음. – 테스트 시에는 모든 뉴런을 사용하되 가중치를 학습 시 비활성화 확률에 맞춰 스케일링. ㅇ 적합한 경우:
ㅁ 기법 및 특성 1. CAM ㅇ 정의: – Class Activation Map의 약자로, CNN 계열 모델에서 특정 클래스 예측에 기여한 이미지 영역을 시각적으로 표시하는 기법. ㅇ 특징: – 마지막 합성곱 층의 특성과 가중치를 활용하여 시각화. – 모델 구조에 Global Average Pooling(GAP)이 필요. ㅇ 적합한 경우: – 이미지 분류 모델의 시각적 설명이 필요한 경우. ㅇ 시험
ㅁ 파라미터 효율화 기법 1. LoRA (Low-Rank Adaptation) ㅇ 정의: 사전 학습된 대규모 언어모델(LLM)의 모든 파라미터를 업데이트하지 않고, 특정 가중치 행렬을 저차원 행렬 분해를 통해 일부만 학습하는 기법. ㅇ 특징: – 원본 모델의 파라미터는 고정하고, 추가된 저차원 행렬만 학습하여 메모리와 연산량 절감. – 파라미터 효율성이 높아 적은 자원으로도 미세조정이 가능. – 기존 모델의 성능을 크게
ㅁ 특징 및 작업 1. BERT ㅇ 정의: – Bidirectional Encoder Representations from Transformers의 약자로, 양방향 Transformer 인코더를 활용한 사전학습 언어모델. – Google AI에서 제안. ㅇ 특징: – 양방향 문맥 이해를 위해 Transformer의 self-attention을 활용. – MLM(Masked Language Model)과 NSP(Next Sentence Prediction) 두 가지 작업으로 사전학습. – 다양한 NLP 다운스트림 작업에 파인튜닝 가능. ㅇ 적합한
ㅁ 기법 및 구성요소 1. SimCLR ㅇ 정의: – 대규모 비라벨 데이터에서 데이터 증강과 대조 학습(contrastive learning)을 통해 표현 학습을 수행하는 자기지도학습 기법. ㅇ 특징: – 같은 이미지의 서로 다른 증강본을 양성 쌍(positive pair)으로, 다른 이미지 증강본을 음성 쌍(negative pair)으로 사용. – NT-Xent(temperature-scaled cross entropy) 손실 함수 사용. – Projection Head(Multi-Layer Perceptron)를 통해 표현 공간
ㅁ 특징 및 문제점 1. 모드 붕괴(Mode Collapse) ㅇ 정의: GAN 학습 과정에서 생성기가 일부 데이터 패턴(모드)에만 집중하여 다양한 출력을 생성하지 못하고 제한된 형태의 샘플만 생성하는 현상. ㅇ 특징: – 생성 결과의 다양성이 떨어짐 – 특정 입력 벡터가 다른 벡터와 거의 동일한 출력으로 매핑됨 – 판별기가 반복적으로 속는 패턴을 생성기가 학습 ㅇ 적합한 경우: –