ㅁ 데이터 프레임과 SQL

ㅇ 정의:
데이터 프레임과 SQL은 대규모 데이터를 처리하고 관리하기 위한 도구와 기법으로, 데이터 분석 및 처리의 효율성을 높여줌.

ㅇ 특징:
– 데이터 프레임은 구조화된 데이터를 테이블 형태로 제공하며, Python의 Pandas와 Dask가 대표적임.
– SQL은 관계형 데이터베이스에서 데이터를 질의하고 관리하는 언어로, 대규모 데이터 처리에 적합.

ㅇ 적합한 경우:
– 대규모 데이터를 병렬 처리하거나 분산 환경에서 작업해야 하는 경우.
– 데이터 분석 과정에서 빠르고 효율적인 질의가 필요한 경우.

ㅇ 시험 함정:
– 데이터 프레임과 SQL의 장단점을 혼동하여 기술하는 경우.
– SQL과 데이터 프레임 간의 기능적 차이를 명확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 데이터 프레임은 대규모 데이터를 병렬 처리할 수 있는 기능을 제공한다.
– X: SQL은 데이터 프레임과 동일한 병렬 처리 기능을 제공한다.

================================

1. Dask

ㅇ 정의:
Dask는 Python 기반의 병렬 컴퓨팅 라이브러리로, 대규모 데이터를 효율적으로 처리하기 위해 설계된 도구.

ㅇ 특징:
– Pandas와 유사한 API를 제공하지만, 대규모 데이터를 처리하기 위해 병렬 및 분산 처리를 지원.
– 클러스터 환경에서도 동작하며, 메모리에 맞지 않는 데이터를 처리 가능.

ㅇ 적합한 경우:
– 메모리 초과 문제를 해결해야 하는 경우.
– 데이터 분석 작업이 클러스터 환경에서 이루어지는 경우.

ㅇ 시험 함정:
– Dask와 Pandas의 API 유사성을 혼동하여 기능 차이를 잘못 기술하는 경우.
– Dask의 병렬 처리와 분산 처리의 차이를 명확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Dask는 대규모 데이터를 병렬 및 분산 처리할 수 있는 기능을 제공한다.
– X: Dask는 클러스터 환경에서만 사용할 수 있다.

================================

ㅁ 추가 학습 내용

Dask는 대규모 데이터를 효율적으로 처리하기 위해 설계된 병렬 컴퓨팅 라이브러리로, 내부적으로 Task Graph와 Scheduler를 사용하여 작업을 관리하고 병렬화를 구현합니다.

1. **Dask의 내부 구조와 작업 스케줄링 방식**
– **Task Graph**: Dask는 작업을 작은 단위의 태스크로 나누고, 이 태스크들 간의 의존 관계를 그래프로 표현합니다. 이를 Task Graph라고 하며, 작업이 실행되기 전에는 계산이 실제로 수행되지 않는 지연 계산 방식을 사용합니다. 이 그래프는 작업의 병렬 실행을 최적화하고, 필요한 계산만 수행하도록 도와줍니다.
– **Scheduler**: Dask는 Task Graph를 기반으로 작업을 실행하는 스케줄러를 제공합니다. 스케줄러는 작업의 의존성을 분석하고, 가용한 리소스를 활용하여 병렬로 작업을 실행합니다. Dask는 싱글 머신에서 작동하는 스레드 기반 스케줄러와 다중 노드 클러스터에서 작동하는 분산 스케줄러를 지원하여 다양한 환경에서 유연하게 사용할 수 있습니다.

2. **Dask의 주요 컴포넌트와 사용 사례**
– **Array**: Dask Array는 NumPy 배열과 유사한 인터페이스를 제공하며, 대규모 다차원 배열 데이터를 병렬로 처리할 수 있습니다. 주로 과학 계산이나 머신러닝에서 대규모 수치 데이터를 다룰 때 사용됩니다.
– **DataFrame**: Dask DataFrame은 Pandas DataFrame과 유사한 인터페이스를 제공하며, 데이터를 여러 파티션으로 나눠 병렬 처리를 지원합니다. 대규모 데이터셋에 대해 데이터 분석 및 변환 작업을 수행할 때 적합합니다.
– **Bag**: Dask Bag은 비정형 데이터나 JSON과 같은 반구조화 데이터를 처리하는 데 유용합니다. MapReduce 스타일의 작업을 지원하므로, 로그 파일 처리나 텍스트 데이터 분석에 적합합니다.

Dask의 Task Graph와 Scheduler에 대한 이해는 병렬 처리가 어떻게 이루어지는지 파악하는 데 중요하며, 주요 컴포넌트의 차이점과 사용 사례를 숙지하면 적절한 상황에서 올바른 도구를 선택할 수 있습니다.