ㅁ Contrastive/Self-supervised 학습 1. Jigsaw Puzzle ㅇ 정의: 이미지의 여러 패치를 무작위로 섞은 뒤, 원래의 올바른 순서를 예측하도록 학습시키는 자기지도학습(Self-supervised learning) 기법. 레이블 없이도 공간적 구조 이해를 학습할 수 있음. ㅇ 특징: – 입력 이미지를 일정한 그리드로 분할 후 무작위 순서로 재배열. – 네트워크가 올바른 순서를 맞추도록 분류 문제로 변환. – 데이터 증강 효과와 함께

ㅁ Contrastive/Self-supervised 학습 ㅇ 정의: 레이블이 없는 데이터에서 자기지도 학습을 통해 데이터의 표현을 학습하는 방법 중 하나로, 입력 데이터의 일부를 마스킹(masking)하고 이를 복원하는 과정을 통해 특징을 학습하는 방식. ㅇ 특징: – 입력 이미지나 시퀀스의 일부를 무작위로 가리고, 가려진 부분을 예측하도록 학습. – 인코더-디코더 구조 사용, 인코더는 보이는 부분만 처리. – 학습 효율이 높고, 대규모 비라벨

ㅁ Contrastive/Self-supervised 학습 1. negative sample ㅇ 정의: Contrastive learning에서 anchor 데이터와 다른 클래스로 간주되는 샘플로, representation space에서 anchor와 멀어지도록 학습시키는 데 사용되는 데이터. ㅇ 특징: – 주어진 anchor와 의미적으로 다른 데이터. – InfoNCE loss, triplet loss 등에서 distance를 크게 만드는 역할. – 실제 라벨이 없어도 데이터 증강이나 batch 내 다른 샘플을 활용해 생성 가능.

ㅁ 적합성/장점 1. One-shot Generation ㅇ 정의: 한 번의 입력(프롬프트)으로 최종 결과물을 생성하는 방식의 생성 모델 접근법을 의미하며, 추가적인 반복 학습이나 피드백 루프 없이 결과를 산출함. ㅇ 특징: – 빠른 응답 속도와 단순한 처리 절차 – 모델이 학습 단계에서 이미 충분한 패턴과 규칙을 내재화해야 함 – 결과 품질이 모델 사전 학습 데이터 품질과 다양성에 크게

ㅁ 적합성/장점 1. 잠재 공간 해석 ㅇ 정의: 데이터(이미지, 텍스트 등)를 저차원 잠재 벡터로 매핑하고, 그 벡터 공간의 구조와 의미를 분석하여 데이터의 내재된 패턴과 관계를 이해하는 기법. ㅇ 특징: – 고차원 데이터의 복잡성을 줄이고 핵심 특징을 압축. – 잠재 공간에서의 거리, 방향이 의미 있는 변화(예: 얼굴 사진에서 웃음 정도, 조명 변화)를 나타냄. – 생성모델(VAE, GAN

ㅁ 적합성/장점 1. 모드 붕괴 ㅇ 정의: 생성 모델(특히 GAN)에서 학습 중 생성기가 다양한 패턴을 생성하지 못하고 일부 패턴(모드)에만 집중하여 출력 다양성이 급격히 줄어드는 현상. ㅇ 특징: – 출력 이미지나 데이터가 매우 유사하거나 동일하게 반복됨. – 데이터 분포의 일부 영역만 재현하고 나머지는 무시함. – 주로 생성기와 판별기의 학습 불균형, 학습률 설정 문제, 네트워크 구조 한계

ㅁ 적합성/장점 1. 실시간 생성 ㅇ 정의: 사용자의 입력이나 환경 변화에 즉각적으로 반응하여 결과물을 생성하는 AI 모델 특성. 예를 들어, 실시간 번역, 실시간 이미지 합성, 실시간 음성 합성 등이 해당됨. ㅇ 특징: – 지연(latency)이 매우 낮아야 하며, 입력과 출력 간의 시간 차이가 거의 없음. – 스트리밍 데이터 처리 능력이 필요함. – 경량화된 모델 구조와 빠른

ㅁ 핵심 원리 ㅇ 정의: – Reconstruction Loss는 VAE(Variational Autoencoder)에서 입력 데이터를 인코더와 디코더를 거쳐 재구성했을 때, 원본 데이터와 재구성된 데이터 간의 차이를 측정하는 손실 함수이다. – 주로 MSE(Mean Squared Error) 또는 BCE(Binary Cross Entropy) 등을 사용한다. ㅇ 특징: – 데이터의 시각적/통계적 유사성을 보존하는 역할을 한다. – VAE의 전체 손실은 Reconstruction Loss + KL Divergence로

ㅁ 핵심 원리 ㅇ 정의: 두 확률분포 P와 Q의 차이를 측정하는 비대칭적인 척도로, VAE에서는 인코더가 생성한 잠재변수 분포와 사전분포(prior) 간의 차이를 최소화하는 데 사용됨. ㅇ 특징: – 항상 0 이상의 값을 가지며, 두 분포가 동일할 때 0이 됨. – 비대칭적이므로 KL(P||Q) ≠ KL(Q||P)임. – VAE 학습 시 재구성 손실과 함께 목적함수의 한 부분으로 사용됨. ㅇ

ㅁ 핵심 원리 ㅇ 정의: – Reparameterization Trick은 확률적 샘플링 과정을 미분 가능하게 변환하여 VAE 학습 시 역전파가 가능하도록 하는 기법이다. 구체적으로, 잠재 변수 z를 직접 샘플링하지 않고, 평균(mu)과 표준편차(sigma)를 이용해 z = mu + sigma * epsilon (epsilon ~ N(0,1)) 형태로 표현한다. ㅇ 특징: – 확률적 노이즈를 분리하여 신경망 파라미터에 대한 미분 가능성을 확보한다.