ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: 신경망 구조 탐색(NAS)에서 다양한 모델 구조를 효율적으로 찾기 위해 메타러닝 기법을 적용하는 접근 방식. ㅇ 특징: 탐색 공간 설계, 탐색 전략, 성능 추정, 구조 인코딩 등 여러 구성 요소로 나뉘며, 효율성과 정확도의 균형이 중요함. ㅇ 적합한 경우: 제한된 연산 자원에서 최적의 모델 구조를 찾아야 하거나, 다양한 하드웨어 환경에
ㅁ 모델 경량화 및 효율화 1. Pruning ㅇ 정의: – 신경망에서 중요도가 낮은 가중치나 뉴런 연결을 제거하여 모델 크기와 연산량을 줄이는 기법. ㅇ 특징: – 파라미터 수 감소, 메모리 사용량 절감, 추론 속도 향상. – 구조적(Structural) Pruning과 비구조적(Unstructured) Pruning으로 구분. ㅇ 적합한 경우: – 모델이 지나치게 크고, 메모리나 연산 자원이 제한적인 환경. – 모바일, 임베디드
ㅁ 최적화 전략 ㅇ 정의: 모델 학습 과정에서 성능을 향상시키고 일반화 능력을 높이기 위해 적용하는 다양한 기법과 절차. ㅇ 특징: 데이터 분포와 모델 복잡도에 따라 다양한 기법을 조합하여 사용하며, 학습 곡선 분석을 통해 전략을 선택함. ㅇ 적합한 경우: 모델이 과적합 또는 언더피팅을 보이거나 학습 속도 및 안정성이 떨어질 때. ㅇ 시험 함정: 특정 기법이 모든
ㅁ 자동 설계 ㅇ 정의: 인공지능 모델의 구조를 사람이 직접 설계하지 않고, 알고리즘이 자동으로 탐색하여 최적의 아키텍처를 찾아내는 기술. ㅇ 특징: – 모델 설계 자동화로 인적 자원 절감 – 대규모 연산 자원 필요 – 탐색 공간, 탐색 전략, 성능 예측기로 구성 ㅇ 적합한 경우: – 새로운 문제 영역에서 최적 구조를 빠르게 찾고자 할 때 –
ㅁ 자동화 및 수준 ㅇ 정의: AI 모델 개발 및 운영 과정에서 데이터 수집, 학습, 배포, 모니터링 등의 절차를 자동화 수준에 따라 구분한 개념. ㅇ 특징: Level 0~Level 2 등으로 나뉘며, 수동에서 완전 자동화로 발전. 자동화 수준이 높을수록 재현성, 신속성, 품질 관리가 용이. ㅇ 적합한 경우: 조직의 MLOps 성숙도 평가, 자동화 로드맵 수립 시 활용.
ㅁ 배포 아키텍처 ㅇ 정의: AI 모델을 실제 서비스 환경에 배포하기 위한 구조와 방식, 모델과 애플리케이션 간의 연계 형태를 설계하는 방법. ㅇ 특징: 서비스 요구사항, 성능, 확장성, 유지보수성에 따라 구조가 달라짐. 네트워크 통신 방식, 리소스 할당, 장애 대응 전략이 중요. ㅇ 적합한 경우: 모델 크기, 호출 빈도, 응답 시간 요구사항에 따라 적합한 배포 방식을 선택.
ㅁ 효율적 구조 및 개선 1. Pruning ㅇ 정의: – 신경망에서 중요도가 낮은 가중치나 뉴런, 채널을 제거하여 모델의 크기와 연산량을 줄이는 기술. ㅇ 특징: – 불필요한 파라미터 제거로 메모리 사용량과 추론 속도 개선. – 구조적(채널 단위) 또는 비구조적(개별 가중치 단위) 방식 존재. – 성능 저하를 최소화하기 위해 재학습(fine-tuning) 과정 필요. ㅇ 적합한 경우: – 배포
ㅁ 최적화 방법 ㅇ 정의: 머신러닝 및 딥러닝 모델의 성능을 극대화하기 위해 하이퍼파라미터의 최적 조합을 탐색하는 기법들의 총칭. ㅇ 특징: 탐색 공간의 크기, 계산 자원, 시간 제약에 따라 다양한 방식이 사용되며, 각 방법별로 효율성과 정확도가 다름. ㅇ 적합한 경우: 모델 성능이 하이퍼파라미터에 크게 의존하고, 수동 조정이 비효율적인 경우. ㅇ 시험 함정: 각 방법의 장단점과 적용
ㅁ 지표 및 해석 1. 재현율(Recall) ㅇ 정의: – 실제 Positive 중에서 모델이 Positive로 정확히 예측한 비율. – TP / (TP + FN)으로 계산. ㅇ 특징: – 민감도(Sensitivity)라고도 불림. – 실제 Positive를 놓치지 않는 것이 중요한 경우 사용. – 값이 높을수록 놓치는 사례(FN)가 적음. ㅇ 적합한 경우: – 질병 진단(암 검진 등)에서 환자를 놓치면 안
ㅁ 과적합과 언더피팅 진단 및 해결법 1. Dropout ㅇ 정의: – 신경망 학습 시 일부 뉴런을 확률적으로 비활성화하여 모델의 복잡도를 줄이고 과적합을 방지하는 정규화 기법. ㅇ 특징: – 학습 시 무작위로 뉴런을 제거하므로 네트워크가 특정 뉴런에 과도하게 의존하지 않음. – 테스트 시에는 모든 뉴런을 사용하되 가중치를 학습 시 비활성화 확률에 맞춰 스케일링. ㅇ 적합한 경우: