결측치 및 이상치: Inter-annotator agreement
ㅁ 결측치 및 이상치
ㅇ 정의: 데이터에서 누락되거나 비정상적인 값을 탐지하고 처리하는 과정.
ㅇ 특징: 결측치는 데이터가 비어있는 경우를 의미하며, 이상치는 데이터 분포에서 벗어난 값을 의미. 처리 방식에 따라 분석 결과에 큰 영향을 미침.
ㅇ 적합한 경우: 데이터 분석 전 데이터 품질을 확보해야 할 때, 모델 학습에 영향을 줄 수 있는 데이터를 정제해야 할 때.
ㅇ 시험 함정: 결측치와 이상치의 정의를 혼동하거나, 처리 방법의 선택 기준을 잘못 이해할 수 있음.
ㅇ 시험 대비 “패턴 보기” 예시:
– 결측치는 데이터가 비어있는 경우를 말하며, 이상치는 데이터가 분포 내에 있는 경우를 말한다. (X)
– 결측치 처리 방법으로는 제거, 대체, 예측 등이 있다. (O)
================================
1. Inter-annotator agreement
ㅇ 정의: 여러 주석자(annotator)가 동일한 데이터에 대해 주석을 달았을 때, 그 일치 정도를 측정하는 지표.
ㅇ 특징: 데이터 라벨링의 신뢰성을 평가하는 데 사용되며, Cohen’s Kappa, Fleiss’ Kappa 등이 주요 측정 방법으로 활용됨.
ㅇ 적합한 경우: 다수의 주석자가 참여하는 데이터 라벨링 작업에서 라벨의 신뢰도를 확인할 때.
ㅇ 시험 함정: Inter-annotator agreement는 데이터의 정확도를 측정하는 지표이다. (X) → 데이터의 신뢰성을 평가하는 지표임.
ㅇ 시험 대비 “패턴 보기” 예시:
– Inter-annotator agreement는 데이터 라벨링 과정의 신뢰성을 평가하는 데 사용된다. (O)
– Cohen’s Kappa는 Inter-annotator agreement를 측정하는 방법 중 하나이다. (O)
– Inter-annotator agreement는 데이터의 정확도를 직접적으로 측정한다. (X)
================================
ㅁ 추가 학습 내용
Inter-annotator agreement와 관련된 추가 학습 내용을 다음과 같이 정리할 수 있습니다:
1. Cohen’s Kappa와 Fleiss’ Kappa의 계산 방법:
– Cohen’s Kappa:
– 두 명의 주석자 간의 일치도를 측정하는 지표로, 랜덤 일치를 고려한 값을 제공합니다.
– 계산 방법:
1) 관찰된 일치도(Po): 두 주석자가 동일하게 라벨링한 비율.
2) 기대 일치도(Pe): 두 주석자가 랜덤으로 일치할 확률.
3) 공식: Kappa = (Po – Pe) / (1 – Pe).
– 값의 범위: -1(완전 불일치)에서 1(완전 일치)까지. 0은 랜덤 수준의 일치.
– Fleiss’ Kappa:
– 두 명 이상의 주석자 간 일치도를 측정하는 지표로, Cohen’s Kappa를 확장한 형태입니다.
– 계산 방법:
1) 각 항목에 대해 주석자들이 동일한 라벨을 선택한 비율을 계산.
2) 전체 항목에 대해 평균 일치도를 구함.
3) 기대 일치도를 계산하고, 이를 바탕으로 Kappa 값을 산출.
– 공식: Kappa = (P̄ – Pe) / (1 – Pe), 여기서 P̄은 관찰된 평균 일치도, Pe는 기대 일치도.
2. Cohen’s Kappa와 Fleiss’ Kappa의 차이점:
– Cohen’s Kappa는 두 명의 주석자 간의 일치도만 측정할 수 있지만, Fleiss’ Kappa는 세 명 이상의 주석자 간 일치도를 측정할 수 있습니다.
– Fleiss’ Kappa는 다수의 주석자가 동일한 라벨을 선택하는 빈도에 따라 계산되므로, 더 많은 주석자가 참여하는 작업에서 적합합니다.
3. Inter-annotator agreement 지표가 낮을 경우 데이터 라벨링 작업의 품질을 개선하기 위한 방법론:
– 주석자 교육:
– 라벨링 기준과 데이터의 도메인에 대한 충분한 교육 제공.
– 예제와 함께 적합한 라벨링 방법을 안내.
– 기준 명확화:
– 라벨링 가이드라인을 구체적이고 명확하게 작성.
– 모호한 기준을 줄이고, 주석자 간 혼동을 방지.
– 반복적인 피드백:
– 초기 라벨링 작업 후 주석자에게 피드백을 제공하여 오류를 수정.
– 주석자 간 논의 및 의견 조율을 통해 기준을 통일.
– 파일럿 테스트:
– 본격적인 라벨링 작업 전에 소규모 파일럿 테스트를 진행하여 문제점을 식별.
– 이중 주석(Double Annotation):
– 동일한 데이터를 두 명 이상의 주석자가 라벨링하게 하여 일치도를 높임.
– 불일치가 발생한 경우, 전문가 검토를 통해 최종 라벨을 결정.
– 기술적 도구 활용:
– 라벨링 도구를 사용하여 주석자 간의 실시간 피드백 제공.
– 자동화된 품질 검사 기능을 활용하여 오류를 줄임.
이 내용을 학습하면 Cohen’s Kappa와 Fleiss’ Kappa의 계산 방법, 차이점, 그리고 낮은 지표를 개선하기 위한 실질적인 방법론에 대한 이해를 강화할 수 있습니다.