환각(할루시네이션)Hallucination
한마디로
모델이 그럴듯하지만 틀린 정보를 사실처럼 생성하는 현상이에요. 생성형 AI의 구조적 한계라 사실 확인이 꼭 필요해요
환각은 AI가 '모른다'고 하는 대신 그럴듯한 거짓을 자신 있게 지어내는 거예요. 존재하지 않는 논문·통계·인용을 만들어내는 게 대표적이죠.
원인은 LLM이 '사실을 검색'하는 게 아니라 '확률적으로 다음 단어를 생성'하기 때문이에요. 그럴듯함과 정확함이 항상 일치하진 않거든요.
대응: ①RAG로 신뢰 가능한 근거 문서를 붙여 답하게 하기(grounding) ②수치·고유명사·인용이 중요한 곳은 사람 검수 ③'출처를 함께 달게' 지시. 마케팅 콘텐츠를 AI로 만들 때 특히, 발행 전 팩트체크 게이트를 두는 게 안전해요.