ㅁ 스케줄링/조기종료 ㅇ 정의: 학습 과정에서 학습률(Learning Rate)을 시간 경과나 학습 진행 상황에 따라 동적으로 조정하는 기법. ㅇ 특징: – 초기에는 큰 학습률로 빠르게 수렴을 유도하고, 후반에는 작은 학습률로 미세 조정을 수행. – 과적합 방지 및 더 나은 전역 최적점 탐색에 도움. – 사전 정의된 스케줄(단계적 감소, 지수 감소, 코사인 감소 등)이나 성능 지표 기반
ㅁ 네트워크 구조 ㅇ 정의: 연산량을 측정하는 지표로, 모델이 수행하는 부동소수점 연산(Floating Point Operations)의 총 개수를 의미함. 주로 딥러닝 모델의 복잡도와 연산 효율성을 평가하는 데 사용됨. ㅇ 특징: – 모델 구조와 입력 크기에 따라 달라짐 – FLOPs가 낮을수록 일반적으로 연산 속도가 빠르고 경량화에 유리함 – 하드웨어 성능과 직접적으로 비례하지 않을 수 있음 (메모리 대역폭, 병렬
ㅁ 네트워크 구조 1. EfficientNet ㅇ 정의: 구글에서 제안한 CNN 모델 계열로, 모델의 깊이(depth), 너비(width), 해상도(resolution)를 균형 있게 확장하는 Compound Scaling 방법을 통해 정확도와 효율성을 동시에 향상시킨 네트워크 구조. ㅇ 특징: – 기존의 단일 차원 확장이 아닌 세 가지 차원을 동시에 조절하여 성능과 연산량의 균형을 맞춤. – 기본 구조로 Mobile Inverted Bottleneck Conv(MBConv) 사용. –
ㅁ 네트워크 구조 ㅇ 정의: 합성곱 연산을 채널별로 분리하여 수행한 뒤, 1×1 합성곱(Pointwise Convolution)으로 채널을 결합하는 방식의 경량화 CNN 구조. ㅇ 특징: – 표준 합성곱 대비 연산량과 파라미터 수를 크게 줄임 – Depthwise Convolution은 각 채널을 독립적으로 처리 – Pointwise Convolution으로 채널 간 정보 결합 – MobileNet, Xception 등에서 활용 ㅇ 적합한 경우: – 모바일/임베디드
ㅁ 가중치 최적화 ㅇ 정의: 모델 학습이 완료된 후, 가중치와 활성값을 더 낮은 비트수(예: 32비트 → 8비트)로 변환하여 모델 크기를 줄이고 추론 속도를 향상시키는 기법. ㅇ 특징: – 재학습 없이 적용 가능하여 빠른 최적화 가능 – 정수 연산을 활용해 CPU, Edge 디바이스에서 효율적 실행 – 약간의 정확도 손실 가능성 존재 ㅇ 적합한 경우: – 모델이
ㅁ 가중치 최적화 ㅇ 정의: 모델의 크기, 깊이, 해상도 등을 동시에 조정하여 성능과 효율성을 균형 있게 향상시키는 최적화 기법. 주로 EfficientNet에서 제안된 방식으로, 단일 차원 확장이 아닌 복합적 비율 조정을 통해 자원 대비 정확도를 극대화. ㅇ 특징: – 깊이(depth), 너비(width), 입력 해상도(resolution)를 일정한 비율로 동시 확장. – 단일 차원 확장 대비 더 나은 성능-연산량 균형
ㅁ 가중치 최적화 ㅇ 정의: – 신경망 모델의 가중치 중 특정 구조 단위(채널, 필터, 레이어 등)를 기준으로 불필요한 부분을 제거하여 모델 크기와 연산량을 줄이는 기법. ㅇ 특징: – 파라미터를 개별적으로 제거하는 비구조적(Non-structured) 프루닝과 달리, 구조 단위로 제거하여 하드웨어 가속기에서 효율적 실행 가능. – 모델의 희소성(sparsity)뿐 아니라 실제 추론 속도 향상에 기여. – 필터, 채널, 블록
ㅁ 모니터링/실행 ㅇ 정의: 소프트웨어 개발에서 코드 변경 사항을 자동으로 빌드, 테스트, 배포하는 일련의 자동화 프로세스를 의미하며, 지속적 통합(Continuous Integration)과 지속적 배포(Continuous Deployment)를 포함함. ㅇ 특징: – 코드 변경 시 자동 빌드 및 테스트 수행 – 배포 과정 자동화로 인적 오류 최소화 – 빠른 피드백 루프 제공 – 다양한 환경(개발, 스테이징, 운영)으로의 자동 배포 가능
ㅁ 모니터링/실행 ㅇ 정의: 운영 중인 AI 모델의 입력 데이터 분포가 학습 시점과 달라지는 현상을 탐지하는 기법. ㅇ 특징: – 데이터의 통계적 특성(평균, 분산, 분포 형태 등)을 주기적으로 분석. – KS검정, Chi-square, PSI(Population Stability Index) 등 통계 검정을 활용. – 모델 성능 저하의 사전 경고 역할. ㅇ 적합한 경우: – 실시간 또는 배치 데이터가 지속적으로
ㅁ 배포 아키텍처 ㅇ 정의: 소프트웨어 또는 AI 모델의 배포 시, 운영 환경에서 사용하는 라이브러리·프레임워크·운영체제 버전 간의 호환성을 유지하는 원칙과 방법. ㅇ 특징: – 개발 환경과 운영 환경의 버전 불일치로 인한 오류 방지 – 의존성(Dependency) 관리 도구를 통한 버전 고정 및 검증 – 장기 지원(LTS) 버전 사용 권장 – 컨테이너 이미지 태그를 통한 버전 명시