ㅁ 파이프라인 구성

ㅇ 정의:
머신러닝 모델 개발 과정에서 데이터 수집부터 전처리, 모델 학습, 성능 평가, 배포까지의 전체 단계를 자동화·연결한 절차를 의미함.

ㅇ 특징:
– 재현성과 일관성을 확보할 수 있음
– 데이터와 모델 버전 관리가 용이함
– 자동화 도구(CI/CD, MLOps)와 결합 가능
– 오류 발생 시 특정 단계에서 빠르게 롤백 가능

ㅇ 적합한 경우:
– 모델 업데이트가 빈번한 서비스
– 데이터 변경이 주기적으로 발생하는 환경
– 협업 환경에서 여러 개발자가 동일 파이프라인을 공유해야 하는 경우

ㅇ 시험 함정:
– 파이프라인과 워크플로우를 혼동 (워크플로우는 작업 순서 개념, 파이프라인은 자동화된 실행 흐름)
– 모든 단계가 반드시 순차적으로만 실행된다고 오해 (병렬 처리 가능)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “파이프라인 구성은 데이터 전처리부터 배포까지 전 과정을 자동화한다.”
X: “파이프라인 구성은 모델 학습 단계만을 자동화한다.”

================================

1. 데이터 전처리 → 학습 → 평가 → 배포

ㅇ 정의:
머신러닝 파이프라인의 대표적 순서로, 입력 데이터 준비(전처리) → 모델 학습 → 성능 평가 → 서비스 배포로 이어지는 흐름을 의미함.

ㅇ 특징:
– 전처리 단계에서 데이터 품질이 전체 성능에 큰 영향
– 학습 단계는 알고리즘과 하이퍼파라미터 설정이 핵심
– 평가 단계에서 과적합 여부를 검증
– 배포 단계에서는 모델 서빙 및 모니터링 체계 필요

ㅇ 적합한 경우:
– 표준화된 ML 프로젝트 프로세스를 설계할 때
– MLOps 환경에서 재현 가능한 모델 운영이 필요할 때

ㅇ 시험 함정:
– 평가 없이 바로 배포하는 것을 정상 절차로 혼동
– 전처리와 특징 추출을 동일한 개념으로 착각
– 배포가 끝나면 파이프라인이 종료된다고 생각 (모니터링 및 재학습 포함됨)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “머신러닝 파이프라인은 데이터 전처리 → 학습 → 평가 → 배포 단계로 구성된다.”
X: “머신러닝 파이프라인은 학습과 배포만 포함한다.”

1.1 데이터 전처리

ㅇ 정의:
원본 데이터를 모델 학습에 적합한 형태로 변환·정제하는 과정

ㅇ 특징:
– 결측치 처리, 이상치 제거, 스케일링, 인코딩 등이 포함됨
– 데이터 누수(leakage) 방지를 위해 학습/테스트 데이터 분리 후 처리 필요
– 품질이 모델 성능의 한계치를 결정

ㅇ 적합한 경우:
– 원천 데이터가 비정형·잡음이 많은 경우
– 여러 소스에서 데이터를 통합하는 경우

ㅇ 시험 함정:
– 전처리를 테스트 데이터에 먼저 적용하는 오류
– 정규화와 표준화를 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “데이터 전처리는 모델 학습 전 필수로 수행해야 한다.”
X: “데이터 전처리는 모델 학습 후에 수행한다.”

1.2 학습

ㅇ 정의:
전처리된 데이터를 이용해 모델의 파라미터를 조정하여 패턴을 학습시키는 단계

ㅇ 특징:
– 지도, 비지도, 강화학습 등 학습 유형에 따라 방식이 다름
– 하이퍼파라미터 최적화가 성능에 큰 영향을 미침
– GPU, TPU 등 연산 자원이 요구될 수 있음

ㅇ 적합한 경우:
– 충분한 데이터와 연산 자원이 확보된 경우
– 모델 성능 개선이 필요한 경우

ㅇ 시험 함정:
– 학습과 추론을 혼동
– 검증 데이터까지 학습에 사용하여 과적합 발생

ㅇ 시험 대비 “패턴 보기” 예시:
O: “학습 단계에서는 모델이 데이터 패턴을 학습한다.”
X: “학습 단계에서는 모델이 새로운 데이터에 대해 예측한다.”

1.3 평가

ㅇ 정의:
학습된 모델의 성능을 검증 데이터셋을 사용하여 측정하는 단계

ㅇ 특징:
– 정확도, 정밀도, 재현율, F1-score, ROC-AUC 등 지표를 사용
– 과적합 여부 판단 가능
– 모델 선택의 기준 제공

ㅇ 적합한 경우:
– 여러 모델 중 최적 모델을 선택할 때
– 모델 개선 방향성을 도출할 때

ㅇ 시험 함정:
– 평가 데이터로 학습을 반복하여 데이터 누수 발생
– 단일 지표만 보고 성능을 판단하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “평가 단계에서는 검증 데이터셋으로 모델 성능을 측정한다.”
X: “평가 단계에서는 학습 데이터로 모델 성능을 측정한다.”

1.4 배포

ㅇ 정의:
학습 및 평가를 거친 모델을 실제 서비스 환경에 배치하여 예측 기능을 제공하는 단계

ㅇ 특징:
– REST API, Batch Processing 등 다양한 방식 가능
– 모델 모니터링 및 버전 관리 필요
– 롤백 전략 필수

ㅇ 적합한 경우:
– 모델을 실시간 또는 배치 형태로 서비스해야 하는 경우
– 운영 환경에서 지속적인 성능 추적이 필요한 경우

ㅇ 시험 함정:
– 배포 후 성능 모니터링을 생략하는 경우
– 개발 환경 모델과 운영 환경 모델이 동일하다고 가정

ㅇ 시험 대비 “패턴 보기” 예시:
O: “배포 단계에서는 모델을 운영 환경에 적용하여 예측 서비스를 제공한다.”
X: “배포 단계에서는 모델 학습을 수행한다.”

—

제가 원하시면, 위 내용을 **한 페이지 시험 대비 압축 요약본**으로도 만들어 드릴 수 있습니다.
그렇게 하면 암기 효율이 높아집니다. 원하실까요?