데이터 전처리: 데이터 소스 확장 – IoT 센서 네트워크
ㅁ 데이터 소스 확장
ㅇ 정의:
기존 데이터 수집 채널 외에 새로운 데이터 원천을 추가하여 분석의 폭과 정확성을 높이는 과정. IoT 센서 네트워크, 소셜 미디어 API, 공공 데이터 포털 등이 포함됨.
ㅇ 특징:
– 다양한 데이터 형식(정형, 반정형, 비정형) 수집 가능
– 실시간 데이터 스트리밍 및 대규모 데이터 처리 필요
– 데이터 품질과 표준화 이슈 발생 가능
ㅇ 적합한 경우:
– 기존 데이터만으로는 분석 정확도가 낮을 때
– 실시간 모니터링 및 예측 모델 고도화가 필요한 경우
ㅇ 시험 함정:
– 데이터 소스 확장은 단순히 데이터 양을 늘리는 것이 아님 → 품질과 적합성 고려 필수
– 모든 신규 데이터가 분석에 유효한 것은 아님
ㅇ 시험 대비 “패턴 보기” 예시:
O: “데이터 소스 확장은 기존 데이터 외에 새로운 데이터 원천을 추가하는 것을 의미한다.”
X: “데이터 소스 확장은 수집된 데이터를 단순히 복제하는 것을 의미한다.”
================================
1. IoT 센서 네트워크
ㅇ 정의:
사물인터넷(IoT) 기기에 부착된 센서들이 네트워크를 통해 데이터를 수집·전송하는 시스템.
ㅇ 특징:
– 실시간 데이터 수집 가능
– 온도, 습도, 위치, 진동 등 다양한 물리적 환경 정보 제공
– 대규모 센서 배치 시 네트워크 지연, 데이터 손실 가능성 존재
ㅇ 적합한 경우:
– 스마트 팩토리, 스마트 시티, 환경 모니터링 등 지속적 관측이 필요한 경우
– 예측 유지보수, 실시간 이상 탐지 모델 개발 시
ㅇ 시험 함정:
– IoT 센서 네트워크는 반드시 무선만 사용하는 것은 아님 (유선도 가능)
– 모든 IoT 데이터가 고품질·정확한 것은 아님 → 센서 교정 필요
ㅇ 시험 대비 “패턴 보기” 예시:
O: “IoT 센서 네트워크는 다양한 센서로부터 실시간 데이터를 수집할 수 있다.”
X: “IoT 센서 네트워크는 반드시 무선 통신만 사용해야 한다.”
ㅁ 추가 학습 내용
IoT 센서 네트워크 학습 시 중요한 내용 정리
1. 센서 데이터 전처리
– 노이즈 제거: 측정값의 잡음을 줄여 정확도 향상
– 결측치 처리: 누락된 데이터를 보완하여 분석 가능성 유지
2. 통신 프로토콜 특징
– MQTT: 경량 메시지 프로토콜, 저전력·저대역폭 환경에 적합
– CoAP: 제한된 장치·네트워크용, UDP 기반
– HTTP: 범용성 높음, 비교적 무거움
3. 시험 출제 빈도 높은 주제
– IoT 데이터 시간 동기화(Time Synchronization) 문제
– 엣지 컴퓨팅을 통한 데이터 사전 처리
– 보안 이슈: 데이터 암호화, 인증 절차
4. 데이터 수집 및 확장 관련
– 데이터 소스 확장 시 API 기반 데이터 수집과의 차이점 이해
– 센서 캘리브레이션 절차 숙지
– 데이터 표준화 포맷(JSON, CSV, XML)과의 호환성 이해