ㅁ 웹 배포 및 서버리스

ㅇ 정의:

ㅇ 특징:

ㅇ 적합한 경우:

ㅇ 시험 함정:

ㅇ 시험 대비 “패턴 보기” 예시:

================================

1. 온라인 추론

ㅇ 정의:
실시간으로 입력 데이터를 처리하여 즉각적으로 예측 결과를 반환하는 추론 방식.

ㅇ 특징:
– 낮은 지연 시간(Latency)이 요구되며, 높은 가용성과 확장성이 중요하다.
– 요청이 들어올 때마다 모델이 활성화되므로, 서버 자원의 지속적인 사용이 필요하다.
– API 형태로 제공되는 경우가 많으며, 클라우드 서비스와의 통합이 용이하다.

ㅇ 적합한 경우:
– 실시간 사용자 요청을 처리해야 하는 서비스(예: 챗봇, 추천 시스템, 실시간 번역 등).
– 데이터 입력과 결과 출력 사이의 시간이 민감한 애플리케이션.

ㅇ 시험 함정:
– 온라인 추론과 배치 추론의 차이를 혼동하는 경우.
– 서버리스 환경에서의 구현 시 비용 구조와 성능 최적화 문제를 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 온라인 추론은 실시간 처리를 위해 설계된 시스템으로, 낮은 지연 시간이 요구된다.
– X: 온라인 추론은 주로 대량의 데이터를 한 번에 처리하는 방식으로, 지연 시간이 중요하지 않다.

================================

ㅁ 추가 학습 내용

온라인 추론과 관련하여 추가적으로 학습해야 할 내용을 다음과 같이 정리할 수 있습니다:

1. 서버리스 환경에서 온라인 추론을 구현할 때 발생할 수 있는 Cold Start 문제와 이를 해결하기 위한 기법:
– Cold Start 문제란 서버리스 환경에서 함수가 처음 호출될 때 발생하는 지연 현상을 의미합니다. 이를 해결하기 위해 사전 워밍업, Keep-Alive 요청, 함수 크기 최적화, 미리 프로비저닝된 인스턴스 활용 등의 기법을 학습합니다.

2. 온라인 추론에서의 A/B 테스트와 Canary 배포 전략의 활용 방법:
– A/B 테스트는 서로 다른 버전의 모델을 비교하여 성능을 평가하는 방법입니다. 이를 통해 최적의 모델을 선택하는 과정을 학습합니다.
– Canary 배포는 새로운 모델을 소수의 사용자에게 먼저 배포한 뒤 점진적으로 확대 적용하는 전략입니다. 이 방법을 통해 모델의 안정성을 검증하고 위험을 최소화하는 방법을 학습합니다.

3. 클라우드 서비스(AWS Lambda, Google Cloud Functions 등)를 활용한 온라인 추론 아키텍처 설계 사례:
– AWS Lambda, Google Cloud Functions, Azure Functions와 같은 클라우드 기반 서버리스 플랫폼을 활용하여 온라인 추론 시스템을 설계하는 방법을 학습합니다.
– 이벤트 기반 아키텍처, 확장성, 비용 효율성, 통합된 모니터링 및 로깅 기능 등을 고려한 설계 사례를 분석합니다.

4. 데이터 보안 및 개인 정보 보호를 위한 실시간 데이터 처리에서의 암호화 및 인증 기법:
– 실시간 데이터 처리 환경에서 데이터 보안을 강화하기 위한 암호화 기법(전송 중 데이터 암호화, 저장 시 암호화 등)을 학습합니다.
– 인증 및 권한 부여를 통해 데이터 접근을 통제하는 방법, API 키, OAuth, TLS/SSL과 같은 인증 기술을 학습합니다.
– 개인 정보 보호를 위한 데이터 익명화, 민감 데이터 마스킹, 규제 준수 방안(GDPR, HIPAA 등)을 학습합니다.