ㅁ 서빙 최적화 ㅇ 정의: 딥러닝 모델을 실제 서비스 환경에서 빠르고 효율적으로 추론할 수 있도록 최적화하는 과정으로, 하드웨어 가속과 연산 그래프 최적화 등을 포함함. ㅇ 특징: – GPU, CPU 등 다양한 하드웨어 환경에 맞춰 모델을 경량화 및 최적화 – 지연 시간(latency) 감소와 처리량(throughput) 향상 목표 – 배포 환경에 적합한 포맷 변환 및 연산 최적화 적용
ㅁ 서빙 최적화 ㅇ 정의: 모델을 다양한 플랫폼과 하드웨어에서 효율적으로 실행하기 위해 최적화된 형태로 변환·배포하는 과정. ㅇ 특징: – 추론 속도 향상과 리소스 절감을 목표로 함 – 하드웨어 가속기(GPU, NPU 등)와 호환성 고려 – 모델 변환, 경량화, 런타임 최적화 포함 ㅇ 적합한 경우: – 대규모 트래픽 환경에서 지연 시간을 줄여야 하는 경우 – 다양한 디바이스
ㅁ 시스템 최적화 ㅇ 정의: 시스템 최적화는 하드웨어와 소프트웨어 자원을 효율적으로 활용하여 처리 속도, 안정성, 자원 사용률을 극대화하는 과정이다. ㅇ 특징: – CPU, GPU, 메모리, 스토리지 등 다양한 자원의 병목 현상을 제거함 – 알고리즘 및 코드 수준 최적화와 하드웨어 구성 최적화 포함 – 병렬 처리, 캐싱, 파이프라이닝 등 다양한 기법 활용 ㅇ 적합한 경우: –
ㅁ 시스템 최적화 1. 지연 최소화 ㅇ 정의: 데이터 처리, 전송, 응답 과정에서 발생하는 지연 시간을 최소화하여 시스템의 응답성과 처리 속도를 향상시키는 기법. ㅇ 특징: – 네트워크 지연, I/O 지연, 연산 지연 등 다양한 원인별로 최적화 접근 필요 – 하드웨어(서버 스펙, 네트워크 장비)와 소프트웨어(알고리즘, 캐싱, 병렬 처리) 모두 고려 – 실시간 처리 시스템, 금융 거래,
ㅁ 시스템 최적화 ㅇ 정의: – 시스템 최적화는 모델 또는 시스템의 성능을 유지하면서 자원 사용량(메모리, 연산량, 전력 등)을 최소화하는 기법을 의미한다. ㅇ 특징: – 하드웨어 제약이 있는 환경에서 필수적으로 적용됨 – 속도 향상, 배터리 사용 시간 연장, 배포 비용 절감 – 다양한 기법(양자화, 프루닝, 지연 로딩 등) 활용 ㅇ 적합한 경우: – 모바일, 임베디드 디바이스,
ㅁ 시스템 최적화 ㅇ 정의: AI 모델의 크기, 연산량, 메모리 사용량 등을 줄여 경량화하고, 동일 하드웨어에서 더 빠르고 효율적으로 동작하도록 하는 기술. ㅇ 특징: – 모델의 파라미터 수를 줄이거나 연산 구조를 단순화함. – 성능 저하를 최소화하면서 배포 효율성을 높임. – 경량화 후에도 정확도 손실이 거의 없도록 조정 가능. ㅇ 적합한 경우: – 엣지 디바이스, 모바일
ㅁ 로그 및 알림 1. CloudWatch ㅇ 정의: – AWS에서 제공하는 모니터링 및 관측 서비스로, 로그 수집, 메트릭 모니터링, 알람 설정, 대시보드 구성 등을 지원하여 클라우드 리소스와 애플리케이션의 상태를 실시간으로 파악할 수 있게 함. ㅇ 특징: – EC2, RDS, Lambda 등 AWS 리소스의 기본 메트릭 자동 수집 – CloudWatch Logs를 통한 애플리케이션/시스템 로그 중앙집중화 –
ㅁ 로그 및 알림 1. ELK Stack ㅇ 정의: – Elasticsearch, Logstash, Kibana로 구성된 오픈소스 로그 수집·저장·시각화 플랫폼. – 대규모 로그 데이터를 실시간으로 수집, 검색, 분석 가능. ㅇ 특징: – Elasticsearch: 분산형 검색 및 분석 엔진. – Logstash: 다양한 소스에서 로그 수집 및 변환. – Kibana: 대시보드를 통한 시각화 및 모니터링. – 확장성, 다양한 플러그인
ㅁ 로그 및 알림 1. Grafana ㅇ 정의: 오픈소스 기반의 시각화 및 모니터링 도구로, 다양한 데이터 소스(예: Prometheus, InfluxDB, Elasticsearch)로부터 데이터를 수집하여 대시보드 형태로 시각화하고, 알림 기능을 통해 이상 상태를 통지할 수 있는 플랫폼. ㅇ 특징: – 플러그인 구조로 다양한 데이터 소스 연동 가능 – 대시보드 템플릿 지원으로 재사용성 높음 – 알림 채널(Slack, Email, Webhook
ㅁ 로그 및 알림 ㅇ 정의: 모니터링 및 경고 시스템으로, 시계열(time-series) 데이터 수집과 질의, 알림 기능을 제공하는 오픈소스 툴. ㅇ 특징: – Pull 방식으로 대상 시스템의 메트릭을 주기적으로 수집. – PromQL이라는 전용 질의 언어를 사용해 데이터 분석. – Exporter를 통해 다양한 시스템/애플리케이션과 연동. – Alertmanager와 연계하여 조건 기반 알림 발송. ㅇ 적합한 경우: – 마이크로서비스