ㅁ 핵심 개념

ㅇ 정의:
대규모 언어모델이 실제 사실이나 데이터에 기반하지 않고 그럴듯하게 보이는 잘못된 정보나 비논리적인 응답을 생성하는 현상.

ㅇ 특징:
– 모델이 학습 데이터의 한계, 불완전한 맥락 이해, 확률적 생성 특성으로 인해 발생.
– 출력 내용이 자신감 있게 표현되지만 사실 검증 시 오류가 발견됨.
– 전문 분야, 드문 사실, 최신 정보일수록 발생 빈도가 높음.

ㅇ 적합한 경우:
– Hallucination 자체는 바람직하지 않지만, 창의적 글쓰기나 스토리텔링 등 사실성이 필수적이지 않은 용도에서는 활용 가능.

ㅇ 시험 함정:
– Hallucination을 단순 오타나 문법 오류로 오인하게 하는 문제.
– ‘모델이 확률적으로 생성하므로 항상 사실만 생성한다’는 식의 잘못된 설명.
– ‘Hallucination은 데이터 부족과 무관하다’는 문장.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “대규모 언어모델이 존재하지 않는 사실을 그럴듯하게 만들어내는 현상”
X: “대규모 언어모델이 항상 사실만을 생성하는 특성”
X: “Hallucination은 단순한 철자 오류를 의미한다”

ㅁ 추가 학습 내용

Hallucination 관련 정리

원인 구분
– 학습 데이터의 편향: 데이터 자체에 잘못된 정보나 불균형이 있을 경우 발생
– 모델 파라미터의 한계: 모델 용량, 학습 범위 부족으로 정확한 정보 생성이 어려움
– 프롬프트 설계 문제: 모호하거나 불충분한 지시로 인해 잘못된 출력 유도

완화 기법
– 사실 검증(Fact-checking) 모듈 결합: 생성된 내용을 외부 검증 시스템으로 확인
– RAG(Retrieval-Augmented Generation) 활용: 외부 지식 검색 결과를 기반으로 생성
– 프롬프트 엔지니어링: 명확하고 구체적인 지시어 설계
– 사후 검증(Post-processing): 생성 결과를 후처리로 검증 및 수정

평가 방법
– TruthfulQA, FactScore 등 벤치마크 데이터셋 활용
– 질문에 대한 정답률과 사실성 측정

실제 사례
– 의료 상담 챗봇이 존재하지 않는 약물 정보를 제공한 사례

시험 출제 가능 포인트
– Hallucination, Bias, Overfitting의 개념과 차이 구분

최신 연구 동향
– 외부 지식베이스와의 실시간 연동을 통한 정보 정확성 향상
– 강화학습(RLHF)을 적용하여 거짓 정보 생성을 줄이는 연구 진행