ㅁ 최적화

ㅇ 정의:
– 주어진 자원(하드웨어, 네트워크, 전력 등)을 최소한으로 사용하면서 AI 모델의 성능을 최대화하는 기술 및 방법론.

ㅇ 특징:
– 연산 효율성 향상, 전력 소비 절감, 탄소 배출 감소.
– 클라우드 및 온프레미스 환경 모두에서 적용 가능.
– 하드웨어 스케일링과 소프트웨어 최적화를 병행.

ㅇ 적합한 경우:
– 대규모 AI 학습/추론 환경에서 비용 절감이 중요한 경우.
– 지속가능성 보고서나 ESG 경영 지표를 만족해야 하는 기업.

ㅇ 시험 함정:
– 단순히 하드웨어 사양을 높이는 것은 ‘효율적 인프라’가 아님.
– 최적화는 성능 저하 없이 자원 사용을 줄이는 것을 의미.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “효율적 인프라는 동일 성능을 유지하면서 전력 소모를 줄인다.”
– X: “효율적 인프라는 성능을 낮추어 전력 소모를 줄인다.”

================================

1. 효율적 인프라

ㅇ 정의:
– AI 시스템 구축 시 연산 자원, 저장소, 네트워크 등을 최적으로 구성하여 성능 대비 에너지 효율을 극대화하는 인프라 설계 방식.

ㅇ 특징:
– 고효율 서버, 저전력 GPU/TPU 사용.
– 데이터 센터 냉각 효율화(액침 냉각, 자연 냉각 등).
– 네트워크 트래픽 최소화 및 데이터 전송 최적화.

ㅇ 적합한 경우:
– AI 학습/추론 작업이 빈번하고 대규모 자원을 사용하는 환경.
– 전력 비용 및 탄소 배출 절감이 중요한 기업.

ㅇ 시험 함정:
– 효율적 인프라는 단순히 장비를 최신형으로 교체하는 것이 아님.
– 소프트웨어 최적화와 하드웨어 효율화를 함께 고려해야 함.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “효율적 인프라는 동일한 연산 성능을 유지하며 에너지 사용량을 줄인다.”
– X: “효율적 인프라는 연산 성능을 낮춰 에너지 사용을 줄인다.”

ㅁ 추가 학습 내용

효율적 인프라 구성 시 고려 요소 정리

1. 가상화 및 컨테이너 기술
– 자원 격리와 효율적 자원 배분 가능
– 시스템 자원 활용률 향상 및 유연한 인프라 운영 지원

2. AI 모델 경량화와 하드웨어 부하 감소
– 프루닝(Pruning), 양자화(Quantization) 등의 기법을 활용
– 모델 크기 축소와 연산량 감소로 하드웨어 부담 완화

3. 재생에너지 기반 데이터 센터 운영
– 태양광, 풍력 등 재생에너지 활용
– 친환경적이고 지속 가능한 인프라 구축 가능

4. PUE(Power Usage Effectiveness) 지표 활용
– 데이터 센터 에너지 효율성 측정 지표
– PUE = 데이터 센터 전체 전력 사용량 ÷ IT 장비 전력 사용량
– 값이 1에 가까울수록 효율성이 높음

5. 네트워크 최적화
– 레이턴시(지연 시간) 최소화
– 대역폭 활용 효율 극대화 기법 적용

6. 워크로드 스케줄링 알고리즘
– 에너지 가격 변동, 자원 가용성 등을 고려한 작업 배치
– 비용 절감과 성능 최적화를 동시에 달성