ㅁ 고성능 컴퓨팅

ㅇ 정의:
대규모 연산을 빠르게 처리하기 위해 고성능 하드웨어와 병렬 처리 기술을 활용하는 컴퓨팅 방식.

ㅇ 특징:
슈퍼컴퓨터, GPU 클러스터, 고속 네트워크, 대용량 메모리 등을 활용하며, 과학연산, AI 모델 학습 등에 사용.

ㅇ 적합한 경우:
대규모 데이터 처리, 복잡한 시뮬레이션, 대규모 AI 학습 및 추론.

ㅇ 시험 함정:
단순히 CPU 속도만 높이는 것을 고성능 컴퓨팅으로 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “GPU 클러스터를 활용한 딥러닝 학습은 고성능 컴퓨팅의 한 예이다.”
X: “고성능 컴퓨팅은 CPU 클럭 속도만 높여 구현한다.”

================================

1. Test-time Compute

ㅇ 정의:
AI 모델이 학습된 이후, 실제 추론 시 사용하는 연산 자원과 시간.

ㅇ 특징:
추론 속도, 지연(latency), 처리량(throughput)에 직접적인 영향을 미침. 모델 경량화, 연산 최적화 기법으로 개선 가능.

ㅇ 적합한 경우:
실시간 응답이 중요한 서비스(예: 챗봇, 자율주행, 음성 인식).

ㅇ 시험 함정:
학습 시 사용되는 연산량과 혼동하기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Test-time Compute는 모델 추론 시 필요한 연산량을 의미한다.”
X: “Test-time Compute는 모델 학습에 필요한 GPU 시간이다.”

================================

2. Efficient Computing

ㅇ 정의:
동일한 연산을 더 적은 자원과 에너지로 수행하는 컴퓨팅 방식.

ㅇ 특징:
연산 최적화, 메모리 사용 최소화, 전력 효율 개선을 목표로 함. 하드웨어·소프트웨어 최적화 모두 포함.

ㅇ 적합한 경우:
배터리 기반 장치, 대규모 데이터센터의 전력 절감, 환경 친화적 컴퓨팅.

ㅇ 시험 함정:
단순히 연산 속도 증가만을 효율성으로 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Efficient Computing은 전력과 자원 사용을 최소화하는 컴퓨팅 기법이다.”
X: “Efficient Computing은 무조건 연산 속도를 높이는 것을 의미한다.”

================================

3. Specialized AI Chips

ㅇ 정의:
AI 연산에 최적화된 전용 하드웨어 칩(GPU, TPU, NPU 등).

ㅇ 특징:
행렬 연산, 병렬 처리, 저전력 설계에 특화. 범용 CPU보다 AI 연산 속도가 월등히 빠름.

ㅇ 적합한 경우:
대규모 AI 학습, 실시간 추론, 엣지 디바이스 AI 처리.

ㅇ 시험 함정:
GPU만을 AI 전용 칩으로 한정하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “TPU는 구글이 개발한 AI 전용 칩의 한 예이다.”
X: “모든 AI 연산은 CPU로만 처리해야 한다.”

================================

4. Edge AI

ㅇ 정의:
클라우드 서버가 아니라 엣지 디바이스(스마트폰, IoT 기기)에서 AI 모델을 실행하는 기술.

ㅇ 특징:
낮은 지연, 데이터 프라이버시 강화, 네트워크 의존도 감소. 모델 경량화 필수.

ㅇ 적합한 경우:
네트워크 연결이 불안정하거나 실시간 처리가 중요한 IoT, 자율주행, 웨어러블 기기.

ㅇ 시험 함정:
Edge AI는 반드시 인터넷 연결이 필요하다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Edge AI는 데이터가 생성된 장치에서 직접 AI 처리를 수행한다.”
X: “Edge AI는 반드시 클라우드 서버를 통해서만 동작한다.”

ㅁ 추가 학습 내용

학습 정리

1. Test-time Compute vs Training-time Compute
– Test-time Compute: 모델 추론 시 소요되는 계산량. 주로 응답 속도, 지연 시간(latency), 메모리 사용량이 중요.
– Training-time Compute: 모델 학습 시 필요한 계산량. 주로 학습 시간, 자원 소모량, 병렬 처리 효율이 중요.
– 최적화 기법:
• FP16(half precision) 연산: 계산 속도 및 메모리 절감
• 양자화(Quantization): 정밀도를 낮춰 모델 크기 및 계산량 감소
• 지연 로딩(Lazy Loading): 필요 시점에만 데이터나 모델 파라미터 로드

2. Efficient Computing 최적화
– 하드웨어 측면:
• GPU 아키텍처 구조 이해(SM, CUDA Core 등)
• 메모리 대역폭과 연산 성능의 균형
– 소프트웨어 측면:
• 알고리즘 최적화(연산 복잡도 감소)
• 병렬 프로그래밍 기법(OpenMP, CUDA, 멀티스레딩 등)

3. Specialized AI Chips 비교
– GPU: 범용 병렬 연산 강점, 딥러닝 학습·추론에 널리 사용
– TPU: 구글 개발, 행렬 연산 특화, 대규모 학습에 최적
– NPU: 모바일·임베디드 환경에서 AI 연산 가속
– FPGA: 재구성 가능, 특정 연산에 최적화 가능, 유연성 높음
– ASIC: 특정 목적에 맞춘 맞춤형 칩, 최고 효율·성능, 유연성 낮음

4. Edge AI 구현 고려사항
– 모델 경량화 기법:
• 프루닝(Pruning): 불필요한 연결·가중치 제거
• 지식 증류(Knowledge Distillation): 작은 모델이 큰 모델의 지식을 학습
• 양자화(Quantization): 정밀도 축소로 메모리·연산 절감
– 보안 이슈:
• 데이터 프라이버시 보호
• 모델 도난 및 역공학 방지
• 통신 암호화

5. 고성능 컴퓨팅(HPC)
– 분산 처리 프레임워크: MPI, Horovod 등
– 네트워크 성능 중요성: 노드 간 통신 지연 최소화, 대역폭 확보

시험 대비 체크리스트

[ ] Test-time Compute와 Training-time Compute 정의와 차이 설명 가능
[ ] FP16, 양자화, 지연 로딩의 원리와 장단점 이해
[ ] GPU 아키텍처와 메모리 대역폭 개념 설명 가능
[ ] 알고리즘 최적화와 병렬 프로그래밍 기법 사례 제시 가능
[ ] GPU, TPU, NPU, FPGA, ASIC의 특징·장단점·활용 사례 비교 가능
[ ] 프루닝, 지식 증류, 양자화 기법의 원리와 적용 상황 설명 가능
[ ] Edge AI 보안 이슈와 대응 방안 제시 가능
[ ] MPI, Horovod의 특징과 사용 시 고려사항 설명 가능
[ ] HPC에서 네트워크 성능이 미치는 영향 설명 가능
[ ] 주어진 시나리오에 적합한 하드웨어·최적화 기법 선택 근거 제시 가능