AI 시스템 구축: 시스템 최적화 – 지연 최소화
ㅁ 시스템 최적화
1. 지연 최소화
ㅇ 정의:
데이터 처리, 전송, 응답 과정에서 발생하는 지연 시간을 최소화하여 시스템의 응답성과 처리 속도를 향상시키는 기법.
ㅇ 특징:
– 네트워크 지연, I/O 지연, 연산 지연 등 다양한 원인별로 최적화 접근 필요
– 하드웨어(서버 스펙, 네트워크 장비)와 소프트웨어(알고리즘, 캐싱, 병렬 처리) 모두 고려
– 실시간 처리 시스템, 금융 거래, 온라인 게임 등에서 중요
ㅇ 적합한 경우:
– 실시간 데이터 스트리밍 서비스
– 사용자 인터랙션이 많은 웹/모바일 서비스
– 초저지연이 필수인 산업(예: 고빈도 주식 거래)
ㅇ 시험 함정:
– ‘지연 최소화’를 단순히 네트워크 속도 향상만으로 오해하는 경우
– 처리 속도와 처리량(throughput)을 혼동하는 경우
– 캐싱이 항상 지연을 줄인다고 단정하는 경우 (데이터 최신성 문제 발생 가능)
ㅇ 시험 대비 “패턴 보기” 예시:
O: “실시간 주식 거래 시스템에서는 지연 최소화가 핵심 성능 목표 중 하나이다.”
X: “지연 최소화는 서버 CPU 성능만 높이면 자동으로 달성된다.”
ㅁ 추가 학습 내용
지연 최소화와 관련된 주요 개념 정리
1. 네트워크 레이턴시(latency)와 대역폭(bandwidth)의 차이
– 레이턴시: 데이터가 출발지에서 목적지까지 도달하는 데 걸리는 시간
– 대역폭: 단위 시간당 전송할 수 있는 데이터의 최대량
2. 지연의 구성 요소
– 전송 지연: 데이터 전송에 필요한 시간
– 처리 지연: 패킷을 처리하는 데 걸리는 시간
– 큐잉 지연: 대기열에서 대기하는 시간
– 전파 지연: 신호가 매체를 따라 전달되는 데 걸리는 시간
3. 지연 최소화 기술
– CDN(Content Delivery Network) 활용: 지리적으로 가까운 서버에서 콘텐츠 제공
– 로드 밸런싱: 여러 서버로 트래픽 분산
– 병렬 처리: 여러 작업을 동시에 처리
– 비동기 처리 모델(Async I/O): 요청과 응답을 비동기적으로 처리하여 대기 시간 감소
– TCP/UDP 프로토콜 선택: TCP는 신뢰성, UDP는 낮은 지연에 유리
4. QoS(Quality of Service) 설정
– 네트워크 트래픽 우선순위 지정으로 지연 민감한 서비스 품질 보장
5. 지연 측정 방법
– Ping: 왕복 지연 시간 측정
– Traceroute: 경로 및 각 구간 지연 파악
– APM(Application Performance Monitoring): 애플리케이션 성능 모니터링
6. 데이터 전송 효율화 기법
– 데이터 압축을 통한 전송량 감소
– 전송 프로토콜 최적화
7. 마이크로서비스 아키텍처에서의 지연 최적화
– 서비스 간 호출 경로 단축
– API 게이트웨이와 캐싱 활용
– 불필요한 네트워크 호출 최소화