ㅁ 최신 연구 주제 ㅇ 정의: 대규모 데이터셋으로 사전 학습(pre-training)되어 다양한 다운스트림 작업에 적응(fine-tuning) 가능한 범용 인공지능 모델을 의미. 대표적으로 GPT, BERT, CLIP, DALL·E 등이 있음. ㅇ 특징: – 수십억~수천억 개의 파라미터를 보유 – 사전 학습 후 다양한 태스크에 전이학습 가능 – 멀티모달(텍스트, 이미지 등) 확장 가능 – 고성능이지만 학습 비용과 환경 부담이 큼 ㅇ

ㅁ 대표 방법 ㅇ 정의: – Masked Autoencoders(MAE)는 입력 데이터의 일부를 마스킹하여 제거한 뒤, 남은 부분으로부터 원래 데이터를 복원하도록 학습하는 자기지도학습 기법이다. 주로 이미지나 시계열 데이터에서 사용되며, Transformer 기반 인코더-디코더 구조를 활용한다. ㅇ 특징: – 입력의 상당 부분(예: 75% 이상)을 무작위 마스킹하여 효율적인 학습 가능 – 인코더는 마스킹되지 않은 토큰만 처리하여 계산량 감소 – 디코더는

ㅁ 대표 방법 1. SimCLR ㅇ 정의: 대규모 비라벨 데이터에 대해 데이터 증강과 대조 학습(Contrastive Learning)을 결합하여 시각 표현 학습을 수행하는 자기지도학습 기법. Google Brain에서 제안. ㅇ 특징: – 데이터 증강(색상 왜곡, 랜덤 크롭, 가우시안 블러 등)을 강하게 적용하여 같은 이미지의 두 뷰를 생성. – 동일 이미지의 두 뷰는 임베딩 공간에서 가깝게, 다른 이미지의 뷰는

ㅁ 대표 방법 1. BYOL ㅇ 정의: Bootstrap Your Own Latent의 약자로, 자기지도학습(Self-Supervised Learning)에서 라벨 없이 데이터 표현을 학습하는 방법. 두 개의 신경망(온라인 네트워크, 타겟 네트워크)을 사용해 한쪽의 출력을 다른 쪽이 예측하도록 학습함. ㅇ 특징: – 음성 쌍(negative pairs) 없이도 표현 학습 가능. – 타겟 네트워크는 온라인 네트워크의 지수이동평균(EMA)으로 업데이트. – 데이터 증강(augmentation)을 강하게 적용해

ㅁ 대표 방법 ㅇ 정의: 서로 다른 데이터 샘플을 비교하여 유사한 것은 가깝게, 다른 것은 멀리 떨어뜨리도록 학습하는 자기지도학습 방법. 주로 임베딩 공간에서의 거리(metric)를 최소화/최대화하는 방식으로 동작. ㅇ 특징: – 라벨 없이 데이터 간 유사도를 학습. – 데이터 증강(augmentation)을 통해 positive/negative 쌍을 생성. – 대규모 배치와 메모리 뱅크를 활용하여 negative 샘플 다양성 확보. – 대표적인

ㅁ 최신 모델 1. Score-Based Generative Models ㅇ 정의: 데이터의 확률 밀도 함수의 로그 그래디언트(Score Function)를 추정하여 새로운 샘플을 생성하는 확률적 생성 모델. 주로 확산(Noise) 과정을 역으로 학습하여 노이즈에서 데이터를 복원. ㅇ 특징: – 확률 밀도 함수의 기울기 정보를 활용. – 노이즈 주입과 제거 과정을 반복 학습. – Langevin Dynamics, SDE(Stochastic Differential Equations) 기반 샘플링

ㅁ 최신 모델 ㅇ 정의: 확률 분포를 에너지 함수로 표현하여, 낮은 에너지를 갖는 데이터 패턴이 실제 데이터일 가능성이 높다고 가정하는 생성모델. 데이터의 확률을 직접 계산하지 않고 에너지 값을 통해 상대적인 가능성을 비교함. ㅇ 특징: – 명시적인 확률 분포 대신 에너지 함수를 사용. – 샘플링 시 MCMC(Markov Chain Monte Carlo) 기법을 자주 활용. – 비정형 데이터에도

ㅁ 최신 모델 ㅇ 정의: 생성적 적대 신경망(Generative Adversarial Networks, GANs)은 생성자(Generator)와 판별자(Discriminator) 두 개의 신경망이 경쟁적으로 학습하여 데이터와 유사한 새로운 데이터를 생성하는 딥러닝 모델이다. ㅇ 특징: – 생성자는 가짜 데이터를 만들어내고, 판별자는 입력이 진짜인지 가짜인지 구분한다. – 두 네트워크가 동시에 학습되며, 생성자는 판별자를 속이도록, 판별자는 생성자를 구별하도록 발전한다. – 이미지 생성, 스타일 변환, 데이터

ㅁ 최신 모델 1. Diffusion Models ㅇ 정의: 확률적 노이즈를 점진적으로 제거하여 데이터를 생성하는 확률 기반 생성모델로, 이미지·음성·영상 생성에 활용됨. 학습 시에는 데이터에 점진적으로 노이즈를 추가하고, 생성 시에는 이를 반대로 제거하는 과정을 거침. ㅇ 특징: – GAN 대비 학습 안정성이 높고 모드 붕괴(mode collapse)가 적음 – 고해상도·고품질 샘플 생성 가능 – 샘플링 속도가 느림(여러 스텝

ㅁ 효율적 학습 ㅇ 정의: 모델 학습 시 학습률(learning rate)을 동적으로 조정하여 최적의 수렴 속도와 일반화 성능을 확보하는 기법. ㅇ 특징: – 학습 초반에는 큰 학습률로 빠르게 수렴하고, 후반에는 작은 학습률로 세밀하게 조정. – 고정 학습률 대비 과적합 방지 및 학습 안정성 향상. – 다양한 스케줄링 방식(단계적 감소, 지수 감소, 사이클형 등) 존재. ㅇ 적합한