할루시네이션(Hallucination)은 ChatGPT 같은 생성형 AI가 학습 데이터나 근거에 없는 내용을 사실처럼 그럴듯하게 만들어 내는 현상이다. 영어로 환각이라는 뜻이며, 국내에서는 AI 환각, 인공지능 환각이라고도 부른다.
OpenAI는 이를 “언어 모델이 생성하는, 그럴듯하지만 잘못된 진술”로 정의하고, 저자 본인의 박사 논문 제목을 물었을 때 챗봇이 자신 있게 세 가지 다른 답을 내놓았지만 하나도 맞지 않았던 예를 든다 (OpenAI, 언어 모델이 환각을 일으키는 이유, 2025-09-05). IBM은 “대규모 언어 모델(LLM)이 존재하지 않는 패턴이나 객체를 인식하여 무의미하거나 부정확한 아웃풋을 생성하는 경우”라고 쓴다 (IBM, AI 할루시네이션이란 무엇인가요?).
용어는 심리학의 환각에서 왔다. 자연어 생성 연구 종설은 “충실하지 않거나 무의미한 텍스트를 생성하는” 현상이 심리학적 환각과 닮아 이 이름이 붙었다고 설명한다 (Ji 외, Survey of Hallucination in Natural Language Generation, 2022). 케임브리지 사전은 hallucinate 항목에 “인공지능이 환각을 일으키면 거짓 정보를 만들어 낸다”는 AI 용법을 등재했고, 예문으로 “가공의 인용으로 뒷받침된 완전히 틀린 답”을 든다 (Cambridge Dictionary, hallucinate).
언어 모델이 정답을 계산하는 것이 아니라 다음에 올 확률이 높은 단어를 예측하도록 학습되고, 그 뒤의 평가 방식이 모른다고 답하는 것보다 추측을 보상하기 때문이다. OpenAI 연구진은 2025년 9월 논문에서 이 두 원인을 통계적으로 분석했다 (Kalai 외, Why Language Models Hallucinate, arXiv 2509.04664, 2025-09-04).
첫째 원인은 사전 학습에 있다. 모델은 대량의 텍스트에서 다음 단어를 예측하며 배우는데, 각 문장에 참과 거짓 표시가 없다.
철자나 괄호처럼 일관된 패턴은 거의 틀리지 않지만, 어떤 사람의 생일처럼 임의적이고 빈도가 낮은 사실은 패턴만으로 예측할 수 없어 환각으로 이어진다 (OpenAI, 언어 모델이 환각을 일으키는 이유, 2025-09-05).
둘째 원인은 평가다. 대부분의 벤치마크가 정답 비율만 세기 때문에, 모르는 문제에 답을 비워 두면 0점이고 찍으면 운 좋게 맞힐 수 있다.
OpenAI는 이 구조가 “잘 모르겠다고 답변하는 대신 추측하도록” 모델을 몰아간다고 쓰고, GPT-5 시스템 카드의 SimpleQA 결과를 근거로 든다.
| 지표 (SimpleQA) | gpt-5-thinking-mini | OpenAI o4-mini |
|---|---|---|
| 기권율 (답변 안 함) | 52% | 1% |
| 정확도 | 22% | 24% |
| 오류율 (환각) | 26% | 75% |
정확도는 o4-mini가 2%p 높지만 오류율은 세 배 가까이 높다. 불확실할 때 찍는 전략이 정확도 점수를 올리는 대신 환각을 늘린다는 뜻이다 (OpenAI, 언어 모델이 환각을 일으키는 이유, 2025-09-05).
과학동아는 같은 구조를 사후 학습 단계에서 설명한다. 사람 평가자가 정답 여부만 채점하면 “확실하지 않습니다”라는 정직한 답도 0점이라, 불확실한 질문 100개에 전부 모른다고 하면 0점이지만 전부 추측하면 평균 15~20점을 받는다 (동아사이언스, ‘모른다’고 말 못하는 AI, 2025-12-25).
이 밖에 실무에서 자주 꼽는 원인은 데이터와 맥락 쪽에 있다. Cloudflare는 검토되지 않은 학습 데이터, 물리적 세계를 직접 경험하지 못하는 한계, 풍자 같은 맥락 이해 실패, 편향, 프롬프트 삽입 공격, 과적합을 든다 (Cloudflare, 인공 지능(AI) 할루시네이션이란?). Google Cloud는 “적절한 그라운딩 부족”을 별도 원인으로 짚고, 모델이 “링크가 존재하지 않았던 웹페이지로 연결되도록 조작할 수도” 있다고 경고한다 (Google Cloud, AI 할루시네이션이란 무엇인가요?).
그라운딩이 무엇인지는 그라운딩 문서에서 다룬다.
국내에서 가장 널리 알려진 사례는 2023년의 “세종대왕 맥북프로 던짐 사건”이다. 조선왕조실록에 기록된 사건을 알려 달라는 허구의 질문에 ChatGPT는 “15세기 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중” 담당자에게 분노해 맥북프로를 던졌다는 이야기를 지어냈다 (한경 매거진, AI 챗봇의 ‘환각’, 극복할 수 있을까, 2023-05-14).
해외에서는 법정 사례가 대표적이다. 미국 뉴욕 남부연방지방법원은 2023년 6월 22일, ChatGPT가 만들어 낸 “가짜 인용과 가짜 판례가 포함된 존재하지 않는 판결문”을 제출한 변호사들과 로펌에 5,000달러의 제재금을 부과했다 (Mata v. Avianca, Inc., S.D.N.Y. 2023-06-22, 판결문 PDF).
법률 전용 도구도 예외가 아니다. 스탠퍼드 연구진이 2024년 5월 발표한 벤치마크에서 Lexis+ AI와 Ask Practical Law AI는 17% 넘게, Westlaw의 AI 보조 검색은 34% 넘게 틀린 정보를 냈고, 범용 GPT-4는 법률 질의에서 58~82% 환각을 보였다 (Stanford HAI, AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries, 2024-05-23).
빅테크 제품도 같은 문제를 겪었다. IBM은 구글 Bard가 제임스 웹 우주망원경이 외계 행성을 처음 촬영했다고 잘못 주장한 사례와 마이크로소프트 Sydney가 사용자에게 사랑에 빠졌다고 말한 사례를 든다 (IBM, AI 할루시네이션이란 무엇인가요?).
Cloudflare는 2024년 제미나이 이미지 생성기가 역사적으로 부정확한 이미지를 반복 생성한 일을 덧붙인다 (Cloudflare, 인공 지능(AI) 할루시네이션이란?).
연구 문헌은 크게 두 축으로 나눈다. 원문과 대조해 나누는 내재적 환각과 외재적 환각, 그리고 세상의 사실과 대조해 나누는 사실성 환각과 충실성 환각이다.
| 분류 축 | 유형 | 뜻 | 예 |
|---|---|---|---|
| 원문 대조 (Ji 외, 2022) | 내재적 환각 | 출력이 원문 내용과 모순된다 | 원문은 “2019년 승인”인데 요약은 “2021년 승인” |
| 원문 대조 (Ji 외, 2022) | 외재적 환각 | 출력을 원문으로 검증할 수 없다 | 원문에 없는 “중국이 임상시험을 시작했다”는 문장 |
| 사실 대조 (Huang 외, 2023) | 사실성 환각 | 실제 세계의 사실과 모순되거나 검증 불가능 | 잘못된 인물, 잘못된 관계, 없는 논문 |
| 사실 대조 (Huang 외, 2023) | 충실성 환각 | 지시, 제공된 맥락, 자체 논리와 어긋남 | 요약하라고 했는데 번역함, 문서와 다른 요약 |
내재적 환각은 “원문 내용과 모순되는 출력”, 외재적 환각은 “원문으로 뒷받침도 반박도 할 수 없는 출력”이다 (Ji 외, Survey of Hallucination in Natural Language Generation, 2022). 외재적 환각은 사실일 수도 있어서 늘 오류는 아니지만, 검증할 수 없다는 점 때문에 문헌 대부분이 경계한다.
사실성 환각은 다시 사실 모순(엔티티 오류, 관계 오류)과 사실 조작(검증 불가, 과장 주장)으로, 충실성 환각은 지시 불일치, 맥락 불일치, 논리 불일치로 나뉜다 (Huang 외, A Survey on Hallucination in Large Language Models, 2023). 세종대왕 맥북 사례는 사실 조작, 판례 날조는 검증 불가에 해당한다.
문서 요약 기준으로 최상위 모델은 2% 안팎, 대부분 모델은 3~10% 사이다. 벡타라(Vectara)가 자체 평가 모델 HHEM으로 “문서를 요약할 때 얼마나 자주 환각을 넣는지” 측정해 공개하는 리더보드의 2026년 5월 11일 갱신 결과다 (Vectara, Hallucination Leaderboard, 2026-05-11 갱신).
| 모델 | 환각률 | 사실 일치율 |
|---|---|---|
| antgroup/finix_s1_32b | 1.8% | 98.2% |
| openai/gpt-5.4-nano | 3.1% | 96.9% |
| google/gemini-2.5-flash-lite | 3.3% | 96.7% |
| microsoft/Phi-4 | 3.7% | 96.3% |
| meta-llama/Llama-3.3-70B-Instruct | 4.1% | 95.9% |
| anthropic/claude-haiku-4.5 | 9.8% | 90.2% |
이 수치는 원문이 주어진 요약 과제의 비율이라, 원문 없이 지식을 묻는 질문의 오류율과 다르다. 앞서 본 SimpleQA에서는 같은 회사 모델이 26%와 75%의 오류율을 보였다.
어떤 과제로 쟀는지 확인하지 않고 “환각률 몇 %“만 비교하면 오해가 생긴다.
추세는 개선 쪽이다. 과학동아는 벡타라 2025년 4월 발표에서 구글 제미나이 2.0이 0.7%, OpenAI o3-미니-하이가 0.8%를 기록했고, 2023년 말 최우수였던 GPT-4의 3%와 비교하면 약 1년 반 만에 4분의 1 수준으로 떨어졌다고 정리했다 (동아사이언스, ‘모른다’고 말 못하는 AI, 2025-12-25).
완전히 없애는 방법은 아직 없고, 사용자는 프롬프트로, 개발자는 데이터와 근거 연결로, 연구 진영은 평가 방식 개편으로 줄인다. 국내 검색에서 “할루시네이션 방지 프롬프트”가 자동완성 첫 줄에 뜰 만큼 사용자 쪽 관심이 크다.
사용자가 프롬프트에서 할 수 있는 일은 Anthropic의 공식 가이드가 잘 정리한다. 기본 전략 셋과 고급 기법 넷이다 (Anthropic, Reduce hallucinations).
같은 가이드는 “이 기법들이 환각을 크게 줄이지만 완전히 없애지는 못한다”며 중요한 정보는 항상 직접 검증하라고 못 박는다. 프롬프트 작성법 전반은 프롬프트 문서를 참고한다.
개발자 쪽 대책은 모델에 근거를 붙이는 것이다. Google Cloud는 학습 데이터의 품질과 완전성, 그리고 그라운딩 확보를 핵심으로 꼽고, IBM은 고품질 학습 데이터, 목적 정의, 데이터 템플릿, 응답 제한, 지속 테스트, 사람의 감독 여섯 가지를 든다 (IBM, AI 할루시네이션이란 무엇인가요?).
회사 문서를 검색해 답에 붙이는 RAG가 대표 구현인데, Cloudflare는 RAG 챗봇도 환각을 일으킬 수 있으므로 답을 못 찾으면 “정보가 충분하지 않습니다”를 반환하도록 난간을 세우라고 권한다 (Cloudflare, 인공 지능(AI) 할루시네이션이란?).
연구 진영의 처방은 채점 방식이다. OpenAI는 새 환각 평가를 추가하는 것으로는 부족하고, 리더보드를 지배하는 정확도 기반 평가 자체가 자신 있는 오답에 벌점을, 불확실성 표현에 부분 점수를 주도록 바뀌어야 한다고 주장한다 (OpenAI, 언어 모델이 환각을 일으키는 이유, 2025-09-05).
국내에서도 KAIST 연구진이 2026년 4월 학습 전 준비 단계에서 불확실성을 조정해 모르는 것을 모른다고 인식하게 하는 학습법을 발표했다 (경향신문, ‘세종대왕 맥북 사건’ 이런 황당 답변 없도록, 2026-04-27).
AI 검색이 답을 만들 때 인용할 근거가 부실하면 답변이 환각으로 흐르고, 반대로 검증 가능한 출처를 갖춘 문서가 인용될 확률이 올라가기 때문이다. 케임브리지 사전의 예문이 지적하듯 LLM은 “가공의 인용”으로 틀린 답을 뒷받침하는 경향이 있어, 실재하고 열리는 출처가 문서의 신뢰 자산이 된다.
서치폴라리스는 이 위키를 쓰면서 그 점을 직접 겪었다. 2026년 8월 21일부터 발행한 94편의 발행 기록을 세어 보면 85편에서 출처 542건을 원문을 열어 대조했고, 그중 11편에서는 상위 노출 문서들이 돌려 쓰던 수치의 원문 URL이 404라 해당 수치를 버리거나 다른 출처로 바꿨다.
사람이 쓴 문서끼리도 재인용이 쌓이면 근거 없는 수치가 사실처럼 굳는데, 이 문서들을 학습하거나 검색한 AI는 그 수치를 더 자신 있게 반복한다.
그래서 AI 검색에 인용되기 위한 최적화인 GEO에서는 주장마다 원출처를 인라인으로 달고, 인용한 수치가 원문에 실재하는지 확인하는 절차가 곧 품질 기준이 된다. AI가 우리 문서를 인용해 틀린 말을 하면 그 책임은 문서로 돌아온다.
영어로 환각, 환영을 뜻하는 명사다. 케임브리지 사전은 동사 hallucinate에 “인공지능이 환각을 일으키면 거짓 정보를 만들어 낸다”는 AI 용법을 따로 싣고 있다 (Cambridge Dictionary, hallucinate). 국내 언론과 위키백과는 환각, AI 환각, 인공지능 환각으로 옮긴다.
“확실하지 않거나 정보가 부족하면 지어내지 말고 그렇게 말하라”는 문장을 넣는 것이 가장 효과가 큰 한 줄이다. 긴 자료를 줄 때는 먼저 관련 문장을 그대로 인용하게 하고 그 인용만 근거로 답하게 하며, 주장마다 출처를 붙이게 하면 답을 검증할 수 있다 (Anthropic, Reduce hallucinations).
과제에 따라 다르다. 문서 요약 기준 벡타라 리더보드에서는 2026년 5월 현재 finix_s1_32b가 1.8%로 가장 낮고 gpt-5.4-nano와 gemini-2.5-flash-lite가 3%대로 뒤따른다 (Vectara, Hallucination Leaderboard, 2026-05-11 갱신). 지식을 묻는 질문에서는 모른다고 기권할 줄 아는 모델이 오류율이 낮다.
지금은 없다. OpenAI는 답할 수 없는 질문이 실제로 존재하므로 정확도 100%는 불가능하지만, 모델이 불확실할 때 답을 포기할 수 있으므로 환각 자체가 필연은 아니라고 정리한다 (OpenAI, 언어 모델이 환각을 일으키는 이유, 2025-09-05). 건강, 법률, 금융처럼 중요한 결정은 AI 답변을 초안으로만 쓰고 검증된 자료로 확정해야 한다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.