ㅁ 특수 기법 ㅇ 정의: 토큰 및 임베딩 과정에서 모델의 성능과 효율성을 높이기 위해 사용하는 다양한 부가적 또는 대체 기법. ㅇ 특징: – 기존의 단순 위치 인코딩, 토크나이저 방식의 한계를 보완. – 모델의 일반화 성능, 긴 문맥 처리 능력, 희귀 단어 처리 능력을 개선. ㅇ 적합한 경우: – 긴 시퀀스 처리, 다국어 처리, 희귀 어휘가

ㅁ 신규 기법 1. CutMix ㅇ 정의: – 이미지 데이터의 일부 영역을 잘라 다른 이미지의 동일 위치에 붙여 넣고, 라벨도 해당 비율로 혼합하는 데이터 증강 기법. ㅇ 특징: – 이미지 일부를 잘라 붙이는 방식으로 MixUp 대비 객체의 형태 보존 가능. – 학습 시 다양한 배경과 객체 조합을 제공하여 일반화 성능 향상. ㅇ 적합한 경우: –

ㅁ 고급 편향 유형 1. Proxy Bias ㅇ 정의: – 모델이 직접적으로 사용할 수 없는 민감 속성(예: 인종, 성별)을 대리하는 다른 변수를 사용함으로써 발생하는 편향. ㅇ 특징: – 대리 변수는 표면적으로는 무해해 보이지만, 실제로는 민감 속성과 높은 상관관계를 가짐. – 데이터 전처리 단계에서 발견하기 어려움. ㅇ 적합한 경우: – 의도적으로 사용하는 경우는 드물며, 민감 속성을

ㅁ 연합학습 및 프라이버시 1. Differential Privacy ㅇ 정의: 개인의 데이터가 포함된 통계 결과를 공개하더라도 개별 사용자의 정보가 노출되지 않도록 노이즈를 추가하는 프라이버시 보호 기법. ㅇ 특징: 데이터 분석 결과에 무작위 노이즈를 주입하여 재식별 위험을 수학적으로 제한. ε(엡실론) 값으로 프라이버시 손실 수준을 제어. ㅇ 적합한 경우: 대규모 인구 통계 분석, 위치 데이터 분석 등 민감

ㅁ 멀티태스크 학습 ㅇ 정의: 하나의 모델이 여러 개의 관련된 작업(Task)을 동시에 학습하도록 하는 기법으로, 각 작업 간의 공통 표현을 학습하여 성능과 효율성을 높인다. ㅇ 특징: – 파라미터 공유를 통해 모델 크기 및 학습 비용 절감 – 작업 간 상관관계를 활용하여 일반화 성능 향상 – 데이터가 부족한 작업에 다른 작업의 정보가 도움을 줄 수 있음

ㅁ 대체 모델 및 접근법 1. Spiking Neural Networks ㅇ 정의: – 생물학적 뉴런의 발화(spike) 메커니즘을 모사하여 시간에 따른 이산 이벤트로 정보를 처리하는 신경망. ㅇ 특징: – 뉴런이 특정 임계값에 도달할 때만 신호를 발화하여 에너지 효율성이 높음. – 시간 정보(temporal dynamics)를 자연스럽게 표현 가능. – 하드웨어 구현 시 뉴로모픽 칩과 결합하여 초저전력 연산 가능. ㅇ

ㅁ 인프라 및 자동화 1. Kubernetes Operators for ML ㅇ 정의: – 머신러닝 워크로드를 Kubernetes 환경에서 자동 배포, 확장, 관리하기 위해 Custom Resource Definition(CRD)과 Controller를 활용하는 운영 패턴. ㅇ 특징: – ML 파이프라인 구성 요소(데이터 처리, 학습, 배포)를 쿠버네티스 네이티브 방식으로 관리. – 선언형(Declarative) 설정으로 재현성과 일관성 보장. – Auto-healing, 롤링 업데이트, 자원 최적화 가능.

ㅁ 성능 모니터링 1. Shadow Deployment ㅇ 정의: 운영 환경에서 새로운 버전을 실제 사용자 요청과 동일하게 처리하되, 결과는 사용자에게 노출하지 않고 내부적으로만 검증하는 배포 방식. ㅇ 특징: 실사용 트래픽 기반 검증 가능, 사용자 영향 없음, 운영 환경 부하 증가 가능성. ㅇ 적합한 경우: 대규모 트래픽 환경에서 신버전 안정성 검증, 위험 회피가 중요한 금융·의료 서비스. ㅇ

ㅁ 하이퍼파라미터 탐색 1. Population Based Training (PBT) ㅇ 정의: 진화 알고리즘과 온라인 학습을 결합하여, 모델 학습 중에 하이퍼파라미터와 가중치를 동시에 최적화하는 방법. ㅇ 특징: – 개별 모델(population)을 병렬로 학습시키면서 주기적으로 성능이 낮은 모델을 성능이 좋은 모델로 교체 및 하이퍼파라미터 변이 적용. – 탐색과 활용(exploration & exploitation)을 동시에 수행. – GPU 클러스터 환경에서 효율적으로 동작.

ㅁ 최적화 및 스케줄링 1. Lookahead Optimizer ㅇ 정의: – 기본 옵티마이저가 여러 스텝 동안 파라미터를 업데이트한 후, 이를 기반으로 ‘전진(lookahead)’하여 파라미터를 보정하는 메타 옵티마이저. ㅇ 특징: – 내부에 다른 옵티마이저(Adam, SGD 등)를 포함하여 안정성과 수렴 속도를 동시에 확보. – 학습 곡선의 진동을 줄이고 일반화 성능을 향상. ㅇ 적합한 경우: – 학습이 불안정하거나, 로컬 미니마에