ㅁ 텍스트 처리

ㅇ 정의:
텍스트 데이터를 분석하기 위해 불필요한 정보를 제거하고 데이터를 정제하는 과정.

ㅇ 특징:
– 텍스트 데이터의 품질을 향상시키기 위한 전처리 단계.
– 불용어 제거, 토큰화, 어간 추출 등의 작업 포함.

ㅇ 적합한 경우:
– 텍스트 기반의 머신러닝 모델을 학습시키기 전에 데이터 정제가 필요한 경우.
– 텍스트 데이터의 노이즈를 줄이고 의미 있는 패턴을 추출해야 하는 경우.

ㅇ 시험 함정:
– 텍스트 정제 과정에서 원본 데이터의 중요한 정보를 손실할 수 있음.
– 모든 데이터에 동일한 전처리 기법을 적용하는 것이 적합하지 않을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 텍스트 처리 과정에는 불용어 제거가 필수적이다. (O)
2. 모든 텍스트 데이터는 동일한 전처리 과정을 거친다. (X)

================================

1. 불용어 제거

ㅇ 정의:
텍스트 데이터에서 의미 없는 단어(예: ‘그리고’, ‘하지만’)를 제거하여 데이터의 품질을 높이는 과정.

ㅇ 특징:
– 불용어는 분석에 기여하지 않는 단어로 간주됨.
– 언어 및 도메인에 따라 불용어 목록이 달라질 수 있음.

ㅇ 적합한 경우:
– 텍스트 데이터의 크기를 줄이고 분석 효율성을 높이고자 할 때.
– 머신러닝 모델에 불필요한 노이즈를 줄이고자 할 때.

ㅇ 시험 함정:
– 모든 단어가 불용어로 간주되는 것은 아님.
– 불용어 제거가 항상 성능 향상을 보장하지는 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 불용어는 텍스트 데이터에서 항상 제거해야 한다. (X)
2. 불용어 제거는 텍스트 정제의 한 과정이다. (O)

ㅁ 추가 학습 내용

1. 불용어 제거 시 언어와 도메인에 따라 불용어 목록을 커스터마이징하는 방법:
– 불용어 목록은 일반적으로 언어별로 제공되지만, 도메인 특성을 반영해 커스터마이징할 필요가 있습니다. 예를 들어, 의료 분야에서는 “patient”, “doctor”와 같은 단어가 자주 등장할 수 있으므로 해당 단어를 불용어로 지정할지 여부를 선택해야 합니다.
– 커스터마이징 과정은 도메인의 특성을 분석한 후, 텍스트 데이터에서 의미를 갖지 않는 단어를 식별하여 불용어 목록에 추가하는 방식으로 진행됩니다.
– 언어별 불용어 목록은 NLTK와 같은 라이브러리에서 제공되며, 추가적으로 필요시 사용자 정의 목록을 생성할 수 있습니다.

2. 불용어 제거가 텍스트 데이터 분석에 미치는 영향을 평가하는 방법:
– 불용어 제거는 텍스트 데이터의 차원을 감소시키고, 분석 속도를 높이며, 모델의 성능을 향상시킬 수 있습니다.
– 하지만 불용어 제거가 항상 긍정적인 영향을 미치는 것은 아니며, 텍스트의 의미를 왜곡할 가능성도 있습니다. 따라서 불용어를 제거한 후와 제거하지 않은 경우를 비교하여 성능을 평가해야 합니다.
– 평가 방법으로는 머신러닝 모델의 정확도, F1 점수, 데이터의 가독성 개선 여부 등을 비교할 수 있습니다.

3. 불용어 제거와 관련된 주요 라이브러리와 사용법:
– NLTK: NLTK는 다양한 언어의 불용어 목록을 제공하며, “stopwords.words(‘language’)”를 사용하여 특정 언어의 불용어를 가져올 수 있습니다. 불용어 제거는 텍스트를 토큰화한 후, 각 토큰이 불용어 목록에 포함되어 있는지 확인하여 제거하는 방식으로 진행됩니다.
– SpaCy: SpaCy는 기본적으로 영어 불용어 목록을 제공하며, “spacy.lang.en.stop_words.STOP_WORDS”를 사용하여 액세스할 수 있습니다. SpaCy를 이용하면 불용어를 제거하는 과정이 빠르고 효율적입니다.
– 사용자 정의 불용어 추가: 위 라이브러리에서 제공하는 불용어 목록에 사용자 정의 불용어를 추가할 수 있으며, 이를 통해 도메인에 맞는 커스터마이징이 가능합니다. NLTK에서는 “stopwords.words(‘language’).extend([‘custom_word1’, ‘custom_word2’])”를 사용하고, SpaCy에서는 “STOP_WORDS.add(‘custom_word’)”를 사용합니다.