ㅁ 시스템 구축

ㅇ 정의:
시스템 구축은 지속 학습을 지원하기 위해 데이터 수집, 처리, 학습, 평가 및 배포와 같은 전 과정을 자동화하고 최적화하는 프로세스를 의미한다.

ㅇ 특징:
– 데이터 파이프라인과 모델 학습 파이프라인을 통합적으로 관리함.
– 실시간 데이터 처리를 위한 온라인 환경과 대량 데이터를 처리하는 오프라인 환경을 고려.
– 운영 중인 시스템의 성능 모니터링과 피드백 루프를 포함.

ㅇ 적합한 경우:
– 대규모 데이터를 지속적으로 수집하고 학습해야 하는 경우.
– 시스템의 성능을 실시간으로 개선해야 하는 경우.

ㅇ 시험 함정:
– 시스템 구축의 범위를 지나치게 좁게 정의하거나, 특정 기술만을 언급하는 경우.
– 온라인과 오프라인 테스트의 차이를 명확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 시스템 구축은 데이터 수집, 처리, 학습, 평가 및 배포를 포함한다.
– X: 시스템 구축은 단순히 모델 학습 파이프라인만을 의미한다.

================================

1. 오프라인 테스트

ㅇ 정의:
오프라인 테스트는 사전에 수집된 데이터셋을 사용하여 모델의 성능을 평가하는 테스트 방법이다.

ㅇ 특징:
– 데이터가 고정되어 있어 재현성이 높음.
– 모델의 초기 성능 검증에 적합.
– 실시간 변화나 사용자 피드백 반영이 어려움.

ㅇ 적합한 경우:
– 새로운 모델이나 알고리즘의 초기 성능을 평가할 때.
– 실시간 환경이 아닌 환경에서의 성능 테스트가 필요한 경우.

ㅇ 시험 함정:
– 오프라인 테스트를 실시간 데이터로 수행한다고 오해하는 경우.
– 오프라인 테스트 결과만으로 모델의 실사용 성능을 과대평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 오프라인 테스트는 고정된 데이터셋으로 모델 성능을 평가한다.
– X: 오프라인 테스트는 실시간 데이터를 기반으로 한다.

================================

2. 온라인 테스트

ㅇ 정의:
온라인 테스트는 실시간 데이터를 사용하여 모델의 성능과 사용자 반응을 평가하는 테스트 방법이다.

ㅇ 특징:
– 실시간 데이터를 기반으로 하며, 사용자 피드백을 반영할 수 있음.
– A/B 테스트와 같은 방식으로 실제 환경에서의 성능을 검증.
– 데이터의 동적 변화와 노이즈를 포함.

ㅇ 적합한 경우:
– 모델의 실사용 성능을 평가해야 할 때.
– 사용자 경험과의 상호작용이 중요한 경우.

ㅇ 시험 함정:
– 온라인 테스트를 단순히 실험 환경에서의 테스트로 오해하는 경우.
– 데이터 노이즈와 변동성을 고려하지 않는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 온라인 테스트는 실시간 데이터를 기반으로 모델 성능을 평가한다.
– X: 온라인 테스트는 고정된 데이터셋을 사용한다.

ㅁ 추가 학습 내용

시스템 구축과 관련하여 학습해야 할 주요 내용은 다음과 같습니다:

1. 데이터 파이프라인의 안정성과 확장성:
– 데이터 손실 방지를 위한 백업 정책 설계: 데이터 수집 과정에서 발생할 수 있는 손실을 예방하기 위한 백업 시스템을 구축하고, 데이터 복구 절차를 명확히 정의해야 합니다.
– 실시간 데이터 처리에서의 지연 최소화 전략: 데이터 처리 속도를 향상시키기 위한 최적화 기술과 병렬 처리, 스트리밍 기술 등을 학습해야 합니다.
– 자동화된 피드백 루프 설계: 사용자 피드백을 신속하고 효과적으로 반영하기 위한 시스템을 설계하여 모델의 지속적인 개선을 도모해야 합니다.

2. 오프라인 테스트와 온라인 테스트의 차이점:
– 오프라인 테스트: 기존의 데이터를 활용하여 모델의 성능을 평가하는 방법으로, 주로 데이터셋을 분리하여 학습용과 테스트용으로 사용합니다.
– 온라인 테스트: 실제 환경에서 모델을 실행하여 실시간으로 성능을 평가하는 방법으로, 사용자 반응이나 실시간 데이터를 기반으로 모델의 효율성을 검증합니다.

3. 두 가지 테스트를 결합하여 모델 개선:
– 오프라인 테스트를 통해 초기 모델 성능을 확인하고, 온라인 테스트를 통해 실시간 환경에서의 성능을 평가하여 얻은 데이터를 바탕으로 모델을 지속적으로 개선하는 방법을 학습해야 합니다.

위의 내용을 체계적으로 이해하고 사례를 통해 학습하면 시험 준비에 도움이 될 것입니다.