ㅁ 데이터 프레임과 SQL ㅇ 정의: 데이터프레임 변환은 데이터 분석 과정에서 원본 데이터프레임의 구조, 컬럼, 데이터 타입, 값 등을 변경하여 분석 목적에 맞게 가공하는 작업을 의미한다. Pandas, R, PySpark 등 다양한 환경에서 지원된다. ㅇ 특징: – 컬럼 추가, 삭제, 이름 변경, 데이터 타입 변환, 결측치 처리, 그룹화, 피벗, 병합/조인 등의 다양한 작업을 포함한다. – 메모리
ㅁ 데이터 프레임과 SQL ㅇ 정의: 데이터 프레임과 SQL은 구조화된 데이터를 효율적으로 조회, 가공, 분석하기 위한 데이터 처리 방식으로, 데이터 프레임은 프로그래밍 언어(Pandas, R 등)에서 제공하는 표 형태의 자료구조이고, SQL은 관계형 데이터베이스에서 데이터를 조작하는 질의 언어이다. ㅇ 특징: – 데이터 프레임: 메모리 내에서 빠른 연산, 다양한 데이터 타입 혼합 가능, 직관적인 인덱싱과 슬라이싱 지원 –
ㅁ 데이터 프레임과 SQL 1. RAPIDS GPU 가속 ㅇ 정의: NVIDIA에서 개발한 오픈소스 GPU 가속 데이터 과학 라이브러리 모음으로, Pandas, SQL, 머신러닝 연산을 GPU에서 병렬 처리하여 속도를 향상시키는 기술. ㅇ 특징: – cuDF, cuML, cuGraph 등 다양한 모듈로 구성됨. – GPU 메모리에서 직접 연산하여 CPU-GPU 간 데이터 이동 비용 최소화. – Pandas 및 Scikit-learn과 유사한
ㅁ 데이터 프레임과 SQL ㅇ 정의: 대규모 데이터 처리를 위해 병렬 및 분산 처리를 지원하는 파이썬 기반 라이브러리로, Pandas와 유사한 DataFrame API를 제공하지만 메모리에 올리지 않고도 데이터를 처리할 수 있음. ㅇ 특징: – Lazy evaluation(지연 계산) 방식으로 필요 시 연산 수행 – 클러스터 환경에서 병렬 처리 가능 – Pandas, NumPy, Scikit-learn 등과 호환성 높음 –
ㅁ 데이터 프레임과 SQL ㅇ 정의: 데이터 프레임과 SQL은 구조화된 데이터를 효율적으로 조회, 가공, 집계하기 위한 데이터 처리 방식으로, 데이터 분석 환경에서 주로 사용된다. ㅇ 특징: – 행과 열 구조를 기반으로 하며, 인덱스를 통해 데이터에 접근 가능 – SQL은 선언형 질의 언어로, 데이터베이스에서 데이터를 검색·조작 – 데이터 프레임은 메모리 내에서 다양한 연산과 변환 지원 ㅇ
ㅁ 데이터 소스 및 저장소 1. SQLite) ㅇ 정의: – 경량화된 관계형 데이터베이스 관리 시스템(RDBMS)으로, 서버 없이 로컬 파일 기반으로 동작하는 DB. – ANSI-SQL을 지원하며, 단일 파일로 데이터베이스를 관리. ㅇ 특징: – 설치와 설정이 필요 없고, 응용 프로그램에 내장 가능. – 트랜잭션을 지원하며, ACID 규격 준수. – 동시 접속 처리 능력이 제한적이며, 대규모 트래픽 환경에는
ㅁ 데이터 소스 및 저장소 ㅇ 정의: 다양한 형태의 데이터를 저장하고 관리하는 시스템 또는 위치를 의미하며, 관계형 데이터베이스, NoSQL, 파일 스토리지, 데이터 웨어하우스 등이 포함됨. ㅇ 특징: 데이터의 구조화 여부, 접근 방식, 확장성, 보안성 등에 따라 유형이 구분됨. ㅇ 적합한 경우: 데이터의 특성과 활용 목적에 따라 적절한 저장소를 선택해야 함. ㅇ 시험 함정: 데이터 저장소의
ㅁ 데이터 소스 및 저장소 ㅇ 정의: – 오브젝트 스토리지(S3)는 데이터를 파일 단위가 아닌 객체 단위로 저장하는 클라우드 기반 스토리지 서비스로, 각 객체는 데이터, 메타데이터, 고유 식별자로 구성됨. AWS S3가 대표적이며, 대규모 비정형 데이터 저장에 적합. ㅇ 특징: – 확장성이 뛰어나 페타바이트 이상의 데이터 저장 가능 – 데이터 무결성과 내구성을 위해 여러 리전/가용 영역에 복제
ㅁ 데이터 소스 및 저장소 ㅇ 정의: – 로컬 파일시스템은 데이터가 사용자의 컴퓨터나 서버의 내부 저장 장치(HDD, SSD 등)에 저장되는 방식으로, 네트워크를 거치지 않고 직접 접근 가능한 저장소를 의미함. ㅇ 특징: – 접근 속도가 빠르고 네트워크 연결이 불필요함. – 외부 의존성이 낮아 보안성이 높을 수 있으나, 물리적 장애에 취약함. – 저장 용량이 장치의 물리적 한계에
ㅁ 확장현실(XR) 통합 ㅇ 정의: 현실 세계와 가상 세계를 융합하여 몰입형 경험을 제공하는 XR 환경에서, 시각 정보와 언어 정보를 동시에 이해하고 처리하는 AI 모델을 통합하는 기술. ㅇ 특징: – 카메라, 센서, HMD(Head Mounted Display) 등에서 수집한 시각 데이터를 언어 모델과 결합. – 사용자의 음성 명령과 시각적 맥락을 동시에 인식하여 반응. – 실시간 반응성과 낮은 지연(latency)이