ㅁ 구조/방법 1. GShard ㅇ 정의: 대규모 신경망 학습을 위해 Google이 개발한 분산 학습 프레임워크로, 혼합전문가(MoE) 구조를 효율적으로 구현하여 수천억 개 이상의 파라미터를 다루는 모델 학습을 가능하게 함. ㅇ 특징: – 모델 파라미터를 여러 장비에 샤딩(sharding)하여 메모리 한계를 극복 – 전문가 네트워크 중 일부만 활성화하여 계산 효율성 향상 – TPU Pod와 같은 대규모 분산 환경에
ㅁ 구조/방법 ㅇ 정의: 여러 개의 전문가 네트워크(Expert)와 이를 선택적으로 활성화하는 게이트 네트워크(Gating Network)로 구성된 모델 구조로, 입력 데이터에 따라 일부 전문가만 활성화하여 효율적 학습과 추론을 수행하는 방법. ㅇ 특징: – 전체 네트워크 중 일부 전문가만 활성화되므로 연산량이 줄어들어 대규모 모델에서도 효율적. – 전문가별로 특화된 데이터 패턴을 학습할 수 있어 성능 향상 가능. – 게이트
ㅁ 스마트 증강 1. CutMix ㅇ 정의: 이미지 데이터 증강 기법 중 하나로, 두 개의 이미지를 잘라서 일부 영역을 서로 섞어 새로운 학습 이미지를 생성하고, 라벨 또한 해당 비율에 맞게 혼합하는 방법. ㅇ 특징: – 이미지의 일부만 교체하므로 원본의 구조적 정보를 보존하면서도 새로운 시각적 패턴을 생성함. – 단순한 픽셀 혼합이 아니라 공간적 위치 정보도 함께
ㅁ 스마트 증강 ㅇ 정의: 서로 다른 두 개 이상의 데이터를 선형 결합하여 새로운 학습 데이터를 생성하는 기법으로, 주로 이미지나 음성 데이터에서 사용된다. ㅇ 특징: – 원본 데이터 간의 비율(λ)을 랜덤하게 설정하여 혼합. – 데이터와 라벨 모두를 동일한 비율로 섞음. – 모델이 경계 영역의 일반화 성능을 높일 수 있음. ㅇ 적합한 경우: – 이미지 분류,
ㅁ 스마트 증강 ㅇ 정의: 데이터 증강 기법 중 하나로, 여러 가지 증강 변환을 무작위로 조합하여 적용하되, 변환의 종류와 강도를 간단한 파라미터로 제어하는 방식. ㅇ 특징: – 기존 AutoAugment처럼 복잡한 정책 탐색 없이, 변환 개수(N)와 강도(M) 두 개의 파라미터로 제어 가능 – 이미지 분류, 객체 탐지 등 다양한 비전 작업에 적용 가능 – 학습 데이터
ㅁ 스마트 증강 ㅇ 정의: 데이터 증강을 자동화하기 위해 강화학습이나 탐색 알고리즘을 활용하여 최적의 증강 정책을 찾아내는 기술. ㅇ 특징: – 사전에 정의된 다양한 증강 기법 조합을 탐색하여 최적의 파이프라인을 자동 생성. – 이미지, 음성, 텍스트 등 다양한 도메인에 적용 가능. – 사람의 수작업 개입을 줄이고 모델 성능을 극대화. ㅇ 적합한 경우: – 대규모 데이터셋에서
ㅁ 생성 기법 ㅇ 정의: 실제 데이터에서 개인 식별 정보를 제거하거나 변환하여 개인정보를 보호하면서 분석 가능성을 유지하는 데이터 생성 기법. ㅇ 특징: – 원본 데이터의 통계적 특성을 최대한 보존하면서도 개인을 식별할 수 없도록 처리 – 데이터 마스킹, 가명처리, 범주화, 잡음 추가 등의 방법 활용 – 법규(GDPR, 개인정보보호법 등) 준수를 위해 필수적으로 사용 ㅇ 적합한 경우:
ㅁ 생성 기법 1. Tabular Synth ㅇ 정의: 실제 테이블 형태의 데이터를 기반으로 통계적 특성과 분포를 유지하면서 새로운 가상의 표 데이터를 생성하는 기법. ㅇ 특징: – 원본 데이터의 컬럼 간 상관관계를 최대한 보존. – 민감정보를 직접 포함하지 않으면서 분석·모델링에 활용 가능. – GAN, VAE, Copula 등 다양한 생성 모델 활용 가능. – 데이터 불균형 해소,
ㅁ 생성 기법 1. Diffusion Synthesis ㅇ 정의: 확률적 잡음을 점진적으로 제거하며 데이터(이미지, 오디오, 텍스트 등)를 생성하는 확산 기반 합성 기법으로, 순방향 과정에서 데이터에 점점 잡음을 추가하고 역방향 과정에서 잡음을 제거하며 원본 데이터 분포를 학습함. ㅇ 특징: – 고품질, 고해상도 데이터 생성 가능 – GAN 대비 학습 안정성이 높음 – 생성 과정이 단계적이며 계산량이 많음
ㅁ 생성 기법 ㅇ 정의: 실제 데이터의 분포를 학습하여 유사한 새로운 데이터를 생성하는 방법 중 하나로, GAN(Generative Adversarial Network)을 활용해 합성 데이터를 만드는 기법. ㅇ 특징: – 생성자(Generator)와 판별자(Discriminator)가 경쟁적으로 학습하며 데이터의 품질을 점진적으로 향상시킴 – 이미지, 음성, 텍스트 등 다양한 형태의 데이터 합성 가능 – 대량의 라벨링된 데이터 없이도 학습 가능 – 학습이 불안정하거나