ㅁ 세부 이슈

ㅇ 정의:
LLM(대규모 언어 모델)이 실제로 존재하지 않는 정보나 사실을 생성하는 문제를 탐지하고 방지하는 과정.

ㅇ 특징:
– LLM의 출력이 신뢰성을 갖추지 못할 경우 발생.
– 데이터셋의 편향, 학습 과정의 한계로 인해 발생 가능.
– 사용자 신뢰도 저하와 잘못된 정보 확산의 주요 원인.

ㅇ 적합한 경우:
– 의료, 법률 등 높은 정확도가 요구되는 응용 분야.
– 자동화된 문서 생성 및 검토 시스템.

ㅇ 시험 함정:
– Hallucination과 단순한 생성 오류를 혼동.
– 모델의 정확도가 높더라도 Hallucination 가능성을 완전히 배제할 수 없음을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “LLM의 Hallucination은 데이터셋 편향으로 인해 발생할 수 있다.”
X: “LLM은 Hallucination 문제를 완전히 해결할 수 있다.”

================================

1. Hallucination Detection

ㅇ 정의:
LLM이 생성한 텍스트에서 사실과 다른 정보를 탐지하고 수정하는 기법.

ㅇ 특징:
– 정량적 평가와 정성적 평가를 모두 포함.
– 모델의 신뢰도 향상을 위해 필수적인 과정.
– Rule-based, 모델 기반 탐지 방식이 존재.

ㅇ 적합한 경우:
– 자동화된 텍스트 생성 시스템에서 사실 검증이 필요한 경우.
– 사용자와의 상호작용에서 신뢰도 유지가 중요한 경우.

ㅇ 시험 함정:
– Hallucination Detection이 정확도를 높이는 것과 동일시됨.
– 탐지 후 수정 과정이 모델 성능에 미치는 영향을 과소평가.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Hallucination Detection은 Rule-based 방법과 모델 기반 방법을 포함한다.”
X: “Hallucination Detection은 모든 LLM에서 동일한 방식으로 적용된다.”

================================

1.1 Rule-based Detection

ㅇ 정의:
미리 정의된 규칙과 패턴을 기반으로 LLM 출력의 오류를 탐지하는 방법.

ㅇ 특징:
– 구현이 비교적 간단하고 특정 도메인에 특화 가능.
– 새로운 유형의 Hallucination에는 대응이 어려움.

ㅇ 적합한 경우:
– 특정 도메인에 대해 명확한 규칙이 존재하는 경우.
– 빠른 프로토타입 개발이 필요한 경우.

ㅇ 시험 함정:
– Rule-based Detection이 항상 높은 정확도를 보장한다고 오해.
– 도메인 간 확장성이 높다고 잘못 이해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Rule-based Detection은 도메인 특화된 규칙을 사용할 수 있다.”
X: “Rule-based Detection은 모든 유형의 Hallucination을 탐지할 수 있다.”

================================

1.2 모델 기반 탐지

ㅇ 정의:
LLM 자체 또는 추가 학습된 모델을 활용하여 Hallucination을 탐지하는 방법.

ㅇ 특징:
– 학습 데이터의 품질과 양에 따라 성능이 좌우됨.
– 일반화 능력이 뛰어나지만 높은 계산 비용이 요구됨.

ㅇ 적합한 경우:
– 다양한 도메인에서 Hallucination을 탐지해야 하는 경우.
– 높은 정확도와 신뢰도가 요구되는 경우.

ㅇ 시험 함정:
– 모델 기반 탐지가 항상 Rule-based Detection보다 우수하다고 오해.
– 학습 데이터의 편향이 탐지 결과에 영향을 미칠 수 있음을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 기반 탐지는 학습 데이터의 품질에 따라 성능이 달라질 수 있다.”
X: “모델 기반 탐지는 Rule-based Detection보다 항상 더 신뢰할 수 있다.”

ㅁ 추가 학습 내용

1. Hallucination Detection의 실제 사례:
Hallucination은 AI 모델이 현실과 맞지 않는 정보를 생성하는 현상을 말합니다. 의료 분야에서의 사례로는 AI가 환자의 증상에 대해 잘못된 진단 정보를 제공하거나, 특정 질병에 대해 존재하지 않는 치료 방법을 제안하는 경우가 있습니다. 예를 들어, 환자의 MRI 이미지를 분석하는 AI 모델이 암이 아닌 조직을 암으로 잘못 분류하거나, 치료 계획을 생성할 때 허구의 약물을 포함시키는 경우가 Hallucination의 대표적인 사례입니다. 이러한 잘못된 정보는 환자의 건강을 심각하게 위협할 수 있으므로 정확한 탐지와 예방이 중요합니다.

2. Hallucination과 관련된 평가 지표(Metrics):
Hallucination을 평가하기 위해 사용되는 주요 지표는 다음과 같습니다:
– Precision: 모델이 생성한 정보 중 얼마나 많은 비율이 정확한 정보를 포함하는지 평가합니다.
– Recall: 실제로 정확한 정보가 필요한 상황에서 모델이 이를 얼마나 잘 찾아내는지 측정합니다.
– F1-Score: Precision과 Recall의 조화를 측정하는 지표로, 두 값의 균형을 평가하는 데 유용합니다.
이 외에도 BLEU, ROUGE 등 특정 텍스트 생성 모델에서 유용한 평가 지표가 사용될 수 있습니다.

3. Hallucination 예방을 위한 데이터셋 정제 기법 및 Regularization 방법:
– 데이터셋 정제 기법: 데이터셋에서 중복된 정보, 불완전한 데이터, 또는 잘못된 레이블을 제거하거나 수정함으로써 모델이 학습하는 데이터의 품질을 향상시킬 수 있습니다. 예를 들어, 의료 데이터셋의 경우 전문가의 검토를 통해 잘못된 진단 정보를 제거하거나, 다양한 환자 사례를 포함시켜 데이터의 다양성을 확보할 수 있습니다.
– Regularization 방법: 학습 과정에서 과적합을 방지하고 모델의 일반화를 높이기 위해 사용됩니다. Dropout, L2 Regularization, 또는 Early Stopping과 같은 기법을 활용하여 모델이 지나치게 복잡한 패턴을 학습하지 않도록 조정할 수 있습니다. 또한, 적절한 하이퍼파라미터 튜닝을 통해 학습 과정을 안정적으로 유지할 수 있습니다.
이러한 방법들은 Hallucination 발생 가능성을 줄이고, 모델의 신뢰성을 높이는 데 기여합니다.