시험을 보다 보면 정말 모르는 문제가 하나쯤은 나오곤 합니다. 그럴 때는 그냥 찍을지, 아니면 빈칸으로 둘지 잠깐 고민하게 되죠. 사람도 그런데 AI는 어떨까요?
요즘 생성형 AI를 쓰다 보면 가끔 "이건 아닌 것 같은데?" 싶은 답을 너무 자신 있게 말하는 경우가 있습니다. 틀렸으면 틀렸다고 하거나, 모르겠다고 하면 될 것 같은데 굳이 그럴듯하게 이야기를 이어가는 경우가 있죠. 그래서 흔히 AI가 '환각(Hallucination)'을 한다고 표현하기도 합니다.
오늘 소개할 논문은 **Why Language Models Hallucinate**입니다. 많은 사람들이 "학습 데이터를 더 많이 넣으면 해결되는 것 아닌가?"라고 생각했던 문제를 조금 다른 시각에서 바라봤습니다. 연구진은 AI가 헛소리를 하는 이유가 단순히 데이터를 덜 배워서가 아니라, 지금까지 AI를 훈련시키고 평가하는 방식 때문일 수도 있다고 이야기합니다.
시험에서 모른다고 답하면 점수를 못 받으니 일단 찍게 되는 것처럼, AI도 모를 때 추측하는 편이 더 높은 평가를 받도록 학습되어 왔다는 것이죠. 생각해 보면 사람이나 AI나 시험을 잘 보려고 한다는 점에서는 꽤 비슷한 것 같습니다. 이번 연구는 AI를 더 똑똑하게 만드는 방법보다, AI가 모르면 "모르겠습니다."라고 말할 수 있게 만드는 것이 더 중요할 수도 있다는 이야기를 담고 있습니다.
DOI: 10.48550/arXiv.2509.04664
※ 25년도 9월달에 arxiv에 올라왔는데 아직 arxiv에 있군요. 작년에 정리해놓고 게시하지 않았던 글이란것이 clova-x 덕분에 알게해주세요 :)
clova-x
대규모 언어 모델은 때때로 그럴듯해 보이지만 잘못된 진술인 "환각"을 생산하는데, 이는 훈련 및 평가 절차에서 불확실성을 인정하는 대신 추측을 보상하기 때문입니다. 이러한 현상은 기존 벤치마크의 점수 조정을 통해 환각을 줄이는 목표와 일치하도록 함으로써 완화될 수 있습니다.
1. **환각의 원인**
- 대규모 언어 모델은 훈련 및 평가 절차에서 불확실성을 인정하는 대신 추측을 보상하기 때문에 환각을 일으킵니다.
- 환각은 이진 분류에서의 오류로 시작되며, 여기서 잘못된 진술은 사실과 구별할 수 없습니다.
2. **사전 훈련과 사후 훈련의 영향**
- 사전 훈련은 오류가 없는 훈련 데이터에서도 오류를 초래하며, 이는 사전 훈련 동안 최소화되는 통계적 목적 때문입니다.
- 사후 훈련은 기본 모델을 개선하려는 의도이지만, 과신하는 환각이 생성되며, 이는 정보를 생략하거나 불확실성을 표현하는 대신 이루어집니다.
3. **평가의 문제점**
- 대부분의 평가는 불확실성을 벌점으로 부과하여, 언어 모델이 확신이 없을 때 추측하도록 장려하며, 이는 환각을 촉진합니다.
- 이러한 문제를 해결하려면 불확실할 때 기권을 벌점으로 부과하지 않도록 기존 평가를 수정해야 합니다.
4. **완화 전략**
- 사회기술적 완화는 기존 벤치마크의 점수를 조정하여 환각을 줄이는 목표와 더 잘 맞도록 하여 달성할 수 있습니다.
- 기존 평가에 통계적으로 엄격한 수정을 가함으로써 효과적인 완화를 도모할 수 있습니다.
gemini
## 논문 요약: 언어 모델은 왜 거짓말을 할까?
### 연구 배경
최근 인공지능 기술의 발전과 함께 대규모 언어 모델(Large Language Models, LLMs)은 사람과 자연스럽게 대화하고 복잡한 질문에 답하는 등 놀라운 능력을 보여주고 있습니다. [cite_start]하지만 이러한 모델들은 때때로 **'환각(hallucination)'**이라 불리는 치명적인 오류를 범합니다[cite: 1, 39]. [cite_start]이는 사실과 다르거나 근거 없는 정보를 마치 진실인 것처럼 자신 있게 말하는 현상으로, 언어 모델에 대한 신뢰를 떨어뜨리는 주된 원인이 됩니다[cite: 41]. [cite_start]이 연구는 바로 이러한 '환각' 현상이 왜 발생하는지에 대한 통계적, 사회 기술적 원인을 분석합니다[cite: 39].
[cite_start]이 연구의 저자들은 언어 모델의 환각이 단순히 미스터리한 현상이 아니며, 훈련 및 평가 과정에서 발생하는 **오류와 통계적 압력**의 결과라고 주장합니다[cite: 41]. [cite_start]이들은 학생이 어려운 시험 문제를 만났을 때 모른다고 답하는 대신 추측하는 것에 비유하며, 언어 모델도 불확실한 경우 정직하게 모른다고 말하기보다는 그럴듯한 답변을 내놓도록 훈련되기 때문에 이러한 현상이 발생한다고 설명합니다[cite: 41, 30].
### 연구 목적 및 주요 내용
이 논문의 주된 목적은 언어 모델이 환각을 일으키는 근본적인 원인을 밝히고, 이 문제를 해결하기 위한 실질적인 방안을 제시하는 것입니다. [cite_start]연구는 언어 모델의 훈련 과정을 크게 **사전 훈련(pretraining)**과 **후속 훈련(post-training)** 두 단계로 나누어 환각의 원인을 분석합니다[cite: 39, 41].
* [cite_start]**사전 훈련 단계의 원인**: 언어 모델이 방대한 텍스트 데이터로 언어의 통계적 분포를 학습하는 과정에서 왜 오류를 내재하게 되는지를 분석합니다[cite: 39, 41, 71, 72].
* [cite_start]**후속 훈련 단계의 원인**: 사전 훈련된 모델이 특정 목표에 맞게 다듬어지는 과정에서 왜 '환각'과 같은 자신감 있는 거짓말이 사라지지 않고 오히려 강화되는지를 설명합니다[cite: 41].
[cite_start]이 연구는 환각을 **이진 분류(binary classification) 문제**로 단순화하여 분석하는 독창적인 접근 방식을 사용합니다[cite: 41]. [cite_start]이를 통해 언어 모델의 '생성 오류율(generative error rate)'이 '이진 분류 오분류율(misclassification rate)'의 최소 두 배가 될 수 있음을 수학적으로 증명합니다[cite: 50, 51, 107, 108, 109].
---
### 연구 방법
[cite_start]이 연구는 **계산 학습 이론(computational learning theory)**을 기반으로 언어 모델의 오류를 분석합니다[cite: 1]. [cite_start]특히, 언어 모델의 생성 과정(generative model)을 '이것이 유효한 언어 모델 출력인가?'라는 질문에 답하는 **'유효성 확인(Is-It-Valid, IIV) 이진 분류'** 문제로 환원하여 분석했습니다[cite: 75, 76, 107, 108]. [cite_start]이진 분류 문제는 주어진 문장이 '유효함(+)' 또는 '오류(-)'인지 판별하는 간단한 문제로, 언어 모델의 생성 오류가 왜 발생하는지 통계적 관점에서 설명할 수 있게 합니다[cite: 75, 76].
연구는 이 환원법을 통해 다음과 같은 과정을 거칩니다:
1. [cite_start]**사전 훈련 단계 분석**: 모델이 방대한 텍스트 데이터(모두 '유효한' 데이터라고 가정)를 학습할 때, 이 데이터에 포함된 '임의의 사실' (예: 특정 인물의 생일처럼 규칙성이 없는 정보)에 대해 모델은 자연스럽게 오류를 범하게 된다는 것을 보여줍니다[cite: 111, 112]. [cite_start]이는 모델이 훈련 데이터에서 한 번만 등장한 사실에 대해 최소한의 비율로 환각을 일으킬 수밖에 없음을 의미합니다[cite: 23, 24].
2. **후속 훈련 단계 분석**: 모델을 튜닝하는 과정에서 환각이 사라지지 않는 이유를 분석합니다. [cite_start]이는 대부분의 **평가 기준이 '모르겠음'이나 불확실한 답변을 불이익 처리**하기 때문입니다[cite: 31, 32, 33, 36, 140]. [cite_start]마치 학생이 시험에서 빈칸을 남기는 것보다 추측해서라도 답을 쓰는 것이 점수를 높이는 방법인 것처럼, 언어 모델도 마찬가지로 '시험 모드'에 최적화되어 불확실한 답변을 피하고 자신 있게 틀린 답을 내놓게 됩니다[cite: 31, 32].
---
### 연구 결과
연구의 주요 결과는 다음과 같습니다.
1. [cite_start]**환각은 통계적으로 불가피하다**: 사전 훈련된 언어 모델은 아무리 잘 만들어져도 통계적으로 특정 유형의 오류, 즉 환각을 생성할 수밖에 없습니다[cite: 39, 41]. [cite_start]이는 모델이 완벽하게 훈련 데이터를 복제하는 '유효성'과 새로운 내용을 '생성하는' 능력 사이의 균형을 맞추려고 노력하는 과정에서 발생합니다[cite: 1, 12, 13, 14, 15].
2. [cite_start]**평가 기준이 환각을 조장한다**: 현재 언어 모델을 평가하는 대부분의 벤치마크(성능 지표)는 정답 또는 오답만을 가리는 **이진 평가 방식(binary grading)**을 사용합니다[cite: 31, 32, 36, 159, 160]. [cite_start]이는 '모르겠다(IDK)'고 답하거나 불확실성을 표현하는 것을 '오답'으로 간주하거나 점수를 낮게 줍니다[cite: 31, 32, 36, 140, 160]. [cite_start]이로 인해 모델은 불확실한 상황에서도 일단 추측하는 것이 더 높은 점수를 얻는다는 것을 학습하게 되며, 이는 환각을 확산시키는 '전염병(epidemic)'과 같은 효과를 낳습니다[cite: 37].
3. [cite_start]**교정된 모델도 환각을 일으킬 수 있다**: 연구는 후속 훈련을 거친 모델일지라도 여전히 환각을 일으킬 수 있음을 보여줍니다[cite: 41]. [cite_start]예를 들어, 완벽하게 불확실성을 표현하는 모델(Model A)과 항상 추측하는 모델(Model B)을 비교할 때, 현재의 이진 평가 기준에서는 항상 추측하는 Model B가 더 높은 점수를 얻습니다[cite: 34, 35, 36].
---
### 고찰 및 시사점
[cite_start]이 논문은 환각 문제를 기술적인 문제뿐만 아니라 **사회 기술적(socio-technical)** 문제로 바라봐야 한다고 제안합니다[cite: 28]. [cite_start]즉, 단순히 더 나은 모델을 만들거나 새로운 '환각 평가' 벤치마크를 추가하는 것만으로는 부족하며, **기존의 평가 기준을 수정**해야 한다는 것입니다[cite: 38].
[cite_start]연구는 불확실한 답변에 불이익을 주지 않는 방향으로 기존 벤치마크의 채점 방식을 바꾸는 것이 필요하다고 주장합니다[cite: 38]. [cite_start]예를 들어, '모르겠다'고 답했을 때도 부분 점수를 주거나, 답변의 '확신도(confidence)'를 함께 평가에 포함시키는 방식 등을 제안합니다[cite: 165, 166, 175]. [cite_start]이러한 변화는 언어 모델이 모르는 것을 모른다고 솔직하게 표현하도록 유도하여 더욱 신뢰할 수 있는 시스템으로 발전하게 할 수 있습니다[cite: 42].
---
### 이 연구의 중요성
이 연구는 **언어 모델의 환각이 발생하는 이유에 대한 근본적인 원인을 통계적, 이론적 관점에서 명확하게 밝혀냈다는 점에서 매우 중요합니다.**
[cite_start]이전 연구들은 환각의 여러 원인(예: 모델의 과신, 훈련 데이터의 부족 등)을 나열하는 데 그쳤지만, 이 논문은 **언어 모델 훈련의 두 가지 핵심 단계인 사전 훈련과 후속 훈련 각각에서 환각이 발생하는 통계적 메커니즘을 밝혀냈습니다.** 특히, 생성 문제와 분류 문제를 연결하는 **획기적인 환원법**을 통해 환각이 왜 불가피한지 수학적으로 증명했습니다[cite: 43].
[cite_start]더 나아가 이 연구는 언어 모델의 환각 문제를 해결하기 위해서는 **기술 개발뿐만 아니라 평가 시스템 자체의 변화가 필수적**임을 강조합니다[cite: 38, 42]. 이는 개발자들이 더 이상 '시험 점수'에만 매달리지 않고, 모델의 신뢰성과 안전성을 높이는 방향으로 연구를 진행하도록 유도하는 중요한 시사점을 제공합니다. 궁극적으로 이 논문은 사용자들이 언어 모델을 더욱 신뢰하고 안전하게 사용할 수 있는 미래를 위한 중요한 발판을 마련했다고 볼 수 있습니다.
chatGPT
좋습니다. 업로드하신 논문 **〈Why Language Models Hallucinate〉 (2025)** 의 내용을 바탕으로 일반 성인 독자도 이해할 수 있도록 쉽게 요약해드리겠습니다. 요청하신 대로 연구 배경, 목적, 방법, 결과, 고찰, 의의와 시사점까지 포함하여 A4 두 장 이내 분량으로 정리했습니다.
---
## 왜 인공지능은 ‘헛소리(환각, Hallucination)’를 할까?
### 1. 연구 배경
요즘 인공지능 대화형 모델(예: ChatGPT, Claude, Gemini 등)은 사람과 비슷하게 문장을 만들어내지만, 종종 사실이 아닌 그럴듯한 말을 합니다. 이를 **‘환각(hallucination)’** 이라고 부릅니다. 예를 들어, 누군가의 생일을 묻자 모델이 자신 있게 “3월 7일”이라고 대답하지만 실제로는 틀린 경우입니다. 이런 오류는 단순히 데이터 부족 때문만이 아니라, **모델을 훈련하고 평가하는 방식 자체에서 비롯된다**는 점이 문제의 핵심입니다.
### 2. 연구 목적
연구진은 환각 현상이 **왜 발생하고, 왜 계속 사라지지 않는지**를 이론적으로 분석했습니다. 또 단순히 새로운 평가 도구를 만드는 것이 아니라, **현재의 평가 방식 자체를 바꿔야 환각 문제를 줄일 수 있다**는 주장을 내놓습니다.
### 3. 연구 방법
연구는 언어모델 훈련 과정을 크게 두 단계로 나눠 분석했습니다.
1. **사전학습(Pretraining)** – 방대한 텍스트 데이터를 이용해 언어의 패턴을 배우는 단계.
2. **후처리(Post-training)** – 사람의 피드백이나 추가 훈련을 통해 모델의 답변을 다듬는 단계.
연구진은 \*\*통계학과 기계학습 이론(특히 이진 분류 문제)\*\*을 적용해, 언어모델의 오류가 단순히 “분류 오류”와 동일한 성질을 가진다는 점을 수학적으로 설명했습니다.
### 4. 주요 결과
1. **사전학습 단계**
* 설령 학습 데이터가 100% 정확하더라도, 언어모델은 통계적 이유 때문에 오류(=환각)를 만들 수밖에 없습니다.
* 특히 훈련 데이터에서 단 한 번만 등장하는 사실(예: 잘 알려지지 않은 인물의 생일)은 모델이 기억하기 어렵기 때문에 틀릴 확률이 높습니다.
* 따라서 환각은 “데이터 부족”이 아니라 “통계적으로 피할 수 없는 현상”이라는 점을 수학적으로 증명했습니다.
2. **후처리 단계**
* 원래는 환각을 줄이려고 강화학습(RLHF 등)을 적용하지만, 실제로는 오히려 \*\*‘자신 없을 때 모른다고 하지 않고, 그럴듯하게 추측하는 방식’\*\*을 강화하는 결과가 나타납니다.
* 이유는 현재 대부분의 평가 시험(MMLU, GPQA, SWE-bench 등)이 **정답=1점, 틀리거나 모르겠다고 하면=0점** 방식으로 채점하기 때문입니다.
* 이 방식에서는 “모른다”라고 정직하게 말하는 모델보다, “틀릴 수도 있지만 일단 대답하는 모델”이 점수가 더 높게 나옵니다.
* 결과적으로 모델은 시험 잘 보는 ‘모범 답안생’이 되지만, 신뢰성은 오히려 떨어집니다.
### 5. 고찰
연구진은 언어모델 환각이 단순한 기술적 문제를 넘어 **사회-기술적 문제(socio-technical problem)** 라고 봅니다. 즉, 모델만 고치는 게 아니라 **평가 시스템 자체를 바꿔야** 합니다. 구체적으로는:
* “모른다(IDK)”라는 답변에 불이익을 주지 않고, 때로는 정직한 무응답을 보상하는 방식의 채점 제도를 도입해야 합니다.
* 시험 문제 지침에 “자신감이 70% 이상일 때만 답하라”는 식의 \*\*명시적 확신 기준(confidence target)\*\*을 포함시켜야 합니다.
* 이렇게 하면 모델은 불확실할 때는 대답을 피하고, 확실할 때만 답변하도록 훈련될 수 있습니다.
### 6. 의의와 시사점
* 이 연구는 환각을 **불가피한 통계적 산물**로 규명하면서, “왜 아무리 개선해도 사라지지 않는가”에 대한 근본적인 답을 제시합니다.
* 또한 환각 문제 해결을 위해서는 새로운 알고리즘보다 **평가 기준과 리더보드 문화를 바꾸는 것**이 중요하다는 사회적 메시지를 줍니다.
* 이는 인공지능 신뢰성, 의료·법률 같은 고위험 분야에서의 안전한 활용, 그리고 사용자와 AI의 건강한 관계 형성에 중요한 시사점을 갖습니다.
---
### 📌 이 연구가 중요한 이유
오늘날 인공지능은 일상생활과 산업 곳곳에 침투하고 있지만, \*\*사실처럼 보이는 거짓말(환각)\*\*이 여전히 큰 걸림돌입니다. 많은 기업과 연구자는 모델 자체의 성능만 높이는 데 집중해 왔지만, 이 논문은 \*\*“시험을 잘 보는 AI가 아니라, 정직하게 모른다고 말할 줄 아는 AI”\*\*가 필요하다고 강조합니다. 이는 앞으로 **신뢰할 수 있는 인공지능을 만드는 새로운 방향**을 제시한다는 점에서 큰 의미가 있습니다.
grok
### 왜 AI 언어 모델이 '환각'을 일으킬까? – 간단 요약
#### 연구 배경
대형 언어 모델(AI 챗봇처럼 텍스트를 생성하는 시스템)은 때때로 확실하지 않은데도 그럴듯한 거짓 정보를 만들어 내는 '환각(hallucination)' 문제를 겪습니다. 예를 들어, 연구자의 생일을 물어보면 실제 가을인데 "03-07"이나 "15-06"처럼 잘못된 날짜를 내놓거나, 박사 논문 제목을 물으면 실제 2001년 CMU에서 쓴 "Boosting, Online Algorithms, and Other Topics in Machine Learning" 대신 엉뚱한 제목을 지어냅니다. 이는 최신 모델(예: DeepSeek-V3, ChatGPT)에서도 여전하며, AI의 신뢰성을 떨어뜨립니다. 이 문제는 훈련 데이터에 오류가 있거나, 모델이 단순히 '자동완성'처럼 작동하기 때문이 아니라, 훈련 과정 자체의 통계적 압력에서 비롯됩니다.
#### 연구 목적
이 논문은 환각이 왜 발생하고, 왜 훈련 후에도 사라지지 않는지 통계적으로 분석합니다. 프리트레이닝(기본 학습)에서 환각의 기원을 밝히고, 포스트트레이닝(후속 조정)에서 왜 지속되는지 설명합니다. 궁극적으로, 기존 평가 기준을 바꿔 환각을 줄이는 '사회-기술적' 해결책을 제안합니다. 환각을 '오류의 특별한 경우'로 보고, 컴퓨팅 학습 이론으로 분석합니다.
#### 방법
연구자들은 환각을 '이진 분류 문제'로 환원합니다. 모델이 생성한 텍스트가 '유효(valid)'한지 '오류(error)'인지 분류하는 'Is-It-Valid(IIV)' 문제를 정의하고, 이를 통해 생성 오류율이 분류 오류율의 약 2배 이상임을 증명합니다. 프리트레이닝에서는 훈련 데이터가 오류 없어도 모델이 불확실한 사실(예: 한 번만 등장한 생일 정보)을 학습하지 못해 환각이 발생한다고 분석합니다. 포스트트레이닝에서는 학생이 시험에서 불확실할 때 추측하듯, AI 평가가 '맞음/틀림'의 0-1 점수로 불확실성(예: "모름" 응답)을 벌하기 때문에 환각이 유지된다고 지적합니다. 기존 벤치마크(평가 도구)를 수정해 불확실성을 장려하도록 제안합니다.
#### 결과
프리트레이닝 결과: 모델은 철자 오류처럼 패턴 있는 것은 잘 피하지만, 무작위 사실(예: 생일)에서 환각률이 최소 20%(훈련 데이터에 한 번 등장한 사실 비율) 이상입니다. 이는 '에피스테믹 불확실성(학습 불가능한 패턴 없음)' 때문입니다. 포스트트레이닝 결과: 평가가 추측을 보상하므로, 모델 A(불확실시 "모름" 말함)가 모델 B(항상 추측)보다 점수가 낮아 환각이 살아남습니다. 외부 환각(훈련 데이터와 모순)과 내부 환각(프롬프트와 모순) 모두 이 통계 압력에서 비롯됩니다.
#### 고찰
환각은 모델의 '과신'이나 '디코딩 랜덤성' 같은 요인도 있지만, 근본은 훈련 목표와 평가 미스얼라인먼트입니다. 기존 환각 평가를 더 만드는 대신, 리더보드 지배적인 주요 벤치마크(예: 다지선다 시험)를 수정해야 합니다. 예를 들어, "모름" 응답을 벌하지 않고 보상하면 모델이 솔직해집니다. 이는 RLHF(인간 피드백 강화 학습) 같은 기술로 보완 가능하지만, 평가 변화가 핵심입니다.
#### 의의와 시사점
이 연구는 환각을 '신비로운 버그'가 아닌 통계적 오류로 재정의해, AI 개발자들이 프리트레이닝에서 불확실 사실을 더 잘 다루고 포스트트레이닝에서 평가를 재설계하도록 안내합니다. 실생활 적용으로, 검색-검색 모델이나 추론 AI에서도 환각을 줄일 수 있습니다. 시사점은 AI가 '시험 잘 보는' 모드가 아닌 '신뢰할 수 있는' 도우미가 되도록 평가를 바꾸는 것입니다.
이 연구가 중요한 이유는 AI 환각이 신뢰 문제를 일으키는 주요 장애물인데, 이를 통계적으로 해명하고 실현 가능한 해결책을 제시해 더 안전하고 유용한 AI 시스템으로 이끌기 때문입니다. 환각 없는 AI는 의료, 교육 등 분야에서 큰 변화를 가져올 수 있습니다.
NotebookLM
## 언어 모델의 '환각(Hallucination)' 현상, 왜 나타나고 어떻게 해결할 수 있을까?
최근 몇 년간 인공지능 분야에서 가장 주목받는 기술 중 하나는 바로 대규모 언어 모델(Large Language Models, LLMs)입니다. 이 모델들은 인간과 유사한 텍스트를 생성하며 다양한 작업을 수행하지만, 때로는 **'환각(hallucination)'**이라 불리는 현상, 즉 **그럴듯하지만 틀린 정보를 자신감 있게 내놓는 문제**를 겪습니다. 이 글에서는 최신 연구를 바탕으로 이러한 언어 모델의 환각 현상이 왜 발생하는지, 그리고 우리가 어떻게 이 문제를 해결할 수 있는지에 대해 일반 독자분들이 쉽게 이해할 수 있도록 설명하고자 합니다.
---
### 연구 배경: 믿을 수 없는 AI의 등장
언어 모델이 "아담 타우만 칼라이의 생일이 언제인가요? 안다면 DD-MM으로만 답하세요"라는 질문에 "03-07", "15-06", "01-01"과 같은 세 가지의 틀린 날짜를 자신감 있게 제시하거나, 심지어 그의 박사 학위 논문 제목을 "Boosting, Online Algorithms, and Other Topics in Machine Learning"이라고 틀리게 답변하는 경우도 있습니다. 이러한 오류는 심지어 최첨단 모델에서도 지속적으로 나타나며, 언어 모델의 **유용성과 신뢰도를 크게 떨어뜨립니다**.
기존 연구들은 언어 모델의 과도한 자신감, 디코딩 무작위성, 잘못된 정렬 훈련 등 다양한 원인을 지목했지만, 환각 현상이 왜 이렇게 끈질기게 나타나는지에 대한 근본적인 이해는 부족했습니다. 많은 전문가들은 환각이 불가피하다고 주장하기도 했습니다. 본 연구는 이러한 환각 현상이 단순한 오류가 아니라, 훈련 및 평가 방식의 근본적인 문제에서 비롯된다는 점을 통계학적으로 분석하고, 이를 해결하기 위한 "사회-기술적" 접근법을 제시합니다.
### 연구 목적: 환각 현상의 '탈신비화'와 해결책 모색
이 연구의 주된 목적은 대규모 언어 모델의 환각 현상을 '탈신비화'하고, 그 원인과 지속되는 이유를 명확히 밝히는 것입니다. 구체적으로, 연구는 다음 두 가지 질문에 답하고자 합니다.
1. **사전 훈련(pretraining) 단계에서 환각은 어떻게 발생하는가?**
2. **사후 훈련(post-training) 단계에서 환각은 왜 계속해서 나타나는가?**
궁극적으로 이 연구는 언어 모델이 불확실성을 인정하는 대신 추측하는 행동을 보상하는 현재의 훈련 및 평가 절차를 개선하여, 더욱 신뢰할 수 있는 AI 시스템을 만들 수 있는 길을 제시하는 것을 목표로 합니다.
### 연구 방법: 오류의 통계적 본질 분석 및 평가 시스템의 문제점 지적
연구는 환각 현상을 **"이진 분류(binary classification) 오류"**의 단순한 형태로 보고, 계산 학습 이론(computational learning theory)의 관점에서 통계적 원인을 분석했습니다. 언어 모델의 훈련 과정을 크게 **사전 훈련(pretraining)**과 **사후 훈련(post-training)**의 두 단계로 나누어 분석합니다.
1. **사전 훈련 단계의 오류 분석:**
* 연구는 **'유효성 여부 분류(Is-It-Valid, IIV)'**라는 이진 분류 문제로 생성 오류를 전환하여 분석했습니다. 이는 언어 모델이 생성한 텍스트가 유효한지(참) 또는 오류인지(거짓)를 분류하는 문제입니다.
* 놀랍게도, 연구는 **훈련 데이터가 완벽하게 오류가 없더라도**, 사전 훈련 중 최적화되는 통계적 목표 자체가 오류를 발생시키도록 이끈다는 것을 보여주었습니다. 특히, **데이터에 학습 가능한 명확한 패턴이 없을 때** (예: 아담 칼라이의 생일과 같은 임의의 사실들), 모델은 "단 한 번만 나타나는 사실들(singleton rate)"에 대해 높은 환각률을 보일 수 있음을 밝혀냈습니다.
* 또한, 모델이 개념을 잘 표현하지 못하는 **'부실한 모델'** 문제 (예: 알파벳 세기 오류)와 **'계산적 난이도'**, **'분포 변화'**, **'쓰레기가 들어가면 쓰레기가 나온다(GIGO)'** 같은 추가적인 요인들도 오류를 유발한다고 지적합니다.
2. **사후 훈련 단계에서 환각이 지속되는 이유 분석:**
* 연구는 이 단계에서 환각이 감소하지 않고 지속되는 이유를 **"사회-기술적" 문제**로 진단합니다. 언어 모델은 마치 어려운 시험 문제를 만난 학생처럼, 불확실할 때 정답을 모르겠다고 말하는 대신 '추측'하는 행동을 보상받도록 최적화되어 있다는 것입니다.
* 대부분의 언어 모델 평가 벤치마크는 **'이진 0-1 채점 방식'**을 사용하여, 정답에는 1점, 오답이나 "모르겠다(IDK)"와 같은 불확실한 답변에는 0점을 부여합니다. 이러한 방식에서는 불확실성을 표현하는 모델보다, 틀리더라도 추측하는 모델이 더 높은 점수를 얻게 됩니다. 따라서 언어 모델은 항상 '시험 보는 모드'에 있으며, 불확실성을 표현하면 불이익을 받게 됩니다.
### 연구 결과: 환각의 통계적 뿌리와 평가 시스템의 불일치
* **사전 훈련의 환각 발생:** 환각은 신비로운 현상이 아니라, **이진 분류의 통계적 오류에서 비롯됩니다**. 심지어 오류 없는 훈련 데이터로도, 모델이 언어 분포를 학습하는 과정에서 필연적으로 특정 유형의 오류가 발생합니다. 특히, 데이터에 패턴이 없어 학습하기 어려운 **'임의의 사실'**에 대해서는 학습 데이터에 한 번만 등장하는 정보의 비율(singleton rate)만큼 오류가 발생할 것으로 예측됩니다.
* **사후 훈련의 환각 지속:** 환각은 사후 훈련을 통해 완화될 수 있지만, 현재의 평가 시스템이 **'불확실성 인정'보다는 '추측'에 보상을 주기 때문에** 지속됩니다. 대부분의 벤치마크는 불확실한 응답에 페널티를 부과하므로, 모델은 과도하게 자신감 있는 허위 정보를 생성하도록 유도됩니다. 이는 "불확실성 페널티의 만연한 유행병"과 같습니다.
### 고찰 및 시사점: 평가 방식의 혁신을 통한 신뢰할 수 있는 AI
이 연구는 환각 현상을 단순한 버그가 아닌, **언어 모델의 근본적인 통계적 특성과 현재의 평가 시스템 간의 불일치 문제**로 재정의합니다.
* **기존 평가 방식의 한계:** "완벽한 환각 평가"를 찾으려는 기존 노력만으로는 불충분하며, 현재 주류를 이루는 평가들이 불확실성을 지나치게 처벌하는 것이 근본적인 문제임을 지적합니다. 또한, 검색 증강 생성(RAG)과 같은 기술이 환각을 줄이는 데 도움이 될 수 있지만, 검색이 신뢰할 수 있는 답변을 제공하지 못할 때 여전히 추측을 보상하는 이진 채점 시스템의 문제를 해결하지 못한다고 강조합니다. 심지어 언어 모델이 평가자로 사용될 때조차, 오답을 정답으로 잘못 판단하여 환각을 조장할 수 있습니다.
* **해결책: 평가 방식의 수정:** 연구는 기존 벤치마크의 채점 방식을 수정하는 **"사회-기술적 완화"**를 제안합니다. 모델이 불확실성을 인정하는 응답(예: "모르겠다")에 페널티를 부과하지 않도록 변경해야 합니다.
* **명시적인 '신뢰도 목표' 제시:** 이를 위해 각 평가 문제에 **명시적인 '신뢰도 목표'**를 포함할 것을 제안합니다. 예를 들어, "실수에는 t/(1-t)점을 감점하고, 정답에는 1점을 부여하며, '모르겠다'는 0점을 받으므로, t보다 높은 신뢰도가 있을 때만 답변하세요"와 같은 지시를 통해 모델이 자신의 답변에 대한 신뢰도를 '행동적'으로 조절하도록 유도할 수 있습니다. 이는 인간이 시험 볼 때 주어진 조건에 따라 전략적으로 응답하는 것과 유사합니다.
---
### 왜 이 연구가 중요한가?
이 연구는 언어 모델의 환각 현상에 대한 우리의 이해를 근본적으로 변화시킵니다.
첫째, 환각이 **신비하거나 불가피한 현상이 아니라, 통계적 학습 과정에서 발생하는 예측 가능한 오류**임을 이론적으로 밝혀냈습니다. 이는 우리가 환각을 이해하고 해결하는 데 있어 과학적이고 체계적인 접근법을 가능하게 합니다.
둘째, 환각이 **현존하는 평가 시스템의 구조적인 문제로 인해 지속된다**는 것을 명확히 지적하며, 문제 해결의 방향을 제시합니다. 단순히 더 좋은 모델을 만드는 것을 넘어, 모델의 행동을 유도하는 **평가 시스템 자체를 개선해야 한다**는 통찰은 AI 분야 전체에 중요한 시사점을 던집니다.
셋째, **구체적이고 실용적인 해결책**으로 '명시적인 신뢰도 목표'를 제시하여, 언어 모델이 불확실할 때 추측하는 대신 정직하게 불확실성을 표현하도록 인센티브를 재조정할 수 있는 길을 열었습니다. 이는 AI 시스템이 더욱 **신뢰할 수 있고 투명하며, 궁극적으로 더 유용하게** 사용될 수 있도록 돕는 중요한 전환점이 될 것입니다. 이 연구의 제안을 통해 언어 모델은 단순히 '시험을 잘 보는' 기계가 아니라, 인간과 같이 **상황에 따라 적절하게 불확실성을 표현하는 '미묘한(nuanced)' AI**로 발전할 수 있을 것입니다.
perplexity.ai
이 논문은 최신 대형 언어 모델(LLM)이 왜 ‘환각(hallucination)’—즉 그럴듯하지만 틀린 정보를 자신 있게 생성하는지—에 빠지는지를 통계적·사회적 관점에서 분석하고, 그 원인과 해결 방향을 제시합니다.[1]
## 연구 배경
최근 대형 언어 모델은 놀라운 자연어 처리 성능을 보이고 있지만, 가끔씩 거짓 정보도 자신 있게 말합니다. 이런 오류는 ‘환각’이라고 불리며, 실제로 존재하지 않는 사실을 마치 사실인 것처럼 설명합니다. 환각은 신뢰도에 큰 문제를 주기 때문에 계속해서 연구 대상이 되고 있습니다.[1]
## 연구 목적
저자들은 환각이 왜 사라지지 않는지, 단순히 모델의 기술적 한계 때문인지 아니면 평가방식, 훈련 방법 때문인지 근본 원인을 찾고자 했습니다. 단순히 “실수”가 아니라, **모델의 학습·평가 구조 자체가 환각을 부추기고 있지는 않은지**를 통계적 이론으로 분석합니다.[1]
## 연구 방법
이 연구는 **컴퓨터 학습 이론(특히 이진 분류 문제)**을 기반으로 환각 발생의 통계적 구조를 분석합니다.[1]
- 훈련 과정(Pretraining)과 이후의 후훈련(Post-training)으로 나누어, 각각에서 환각의 발생 원인을 수학적으로 설명합니다.
- 다양한 사례(생일, 논문 제목 등)와 통계적 개념(싱글톤 비율, 미싱 매스 추정 등)을 들어, 실제로 왜 데이터가 충분해도 환각이 어쩔 수 없는지 증명합니다.[1]
- 특히, **모델의 평가 방식(대부분은 정답/오답만 판단하는 ‘시험’ 방식)**이 환각을 억제하지 못하고 오히려 부추길 수 있음을 사회적 관점에서 설명합니다.[1]
## 주요 결과
- **환각은 훈련 데이터가 완벽하더라도, 통계적 오류로 인해 불가피하게 생김**을 수학적으로 입증했습니다.[1]
- 예를 들면, “특정 인물의 생일”처럼 훈련 데이터에 단 한번만 등장하는 정보(싱글톤)는 모델이 일반화할 수 없어 높은 빈도로 틀린 답을 ‘추정’하게 됩니다.[1]
- 모델의 ‘자신감 표현(모름 등)’이 평가에서 불이익을 받기 때문에, 대부분의 모델은 자신이 모르는 것도 맞는 척 답변하게 됩니다.[1]
- **환각은 평가방식(시험 점수 위주)이 계속 유지되는 한 사라지지 않는다**는 점을 발견했습니다.[1]
- 기존 벤치마크들은 “정답/오답”만 따지기에, “모름”이나 불확실하다는 표현은 점수를 잃게 됩니다. 그 결과 모델이 “모름”을 표현하는 대신, 맞선듯 답을 추측하며 환각을 일으키는 행동이 더 흔해집니다.[1]
- 일부 시험(예: 특정 국가의 수능 등)에서는 오답에 패널티를 주어 “모름”을 답하도록 유도했지만, 대부분의 언어 모델 평가는 패널티가 없고 맞히려 시도하는 문화가 지배적입니다.[1]
## 고찰 및 의의
- **환각은 언어 모델의 통계적 속성과, 사회적 초기 평가 체계(‘정답=점수’)가 합쳐져서 생기는 복합적인 문제**임을 이 논문은 밝혔습니다.[1]
- 임의의 사실 같은 것은 데이터만 많다고 해결되지 않는데, 이런 현상을 ‘싱글톤 비율’ 및 ‘미싱 매스(아직 학습하지 않은 정보의 비율)’로 정량적으로 설명할 수 있습니다.[1]
- 현실적인 해결책은 획기적인 모델 구조 변화나 데이터를 더 많이 모으는 것이 아니라, **기존 시험·평가 방식 자체를 바꾸는 것**입니다. 즉, ‘모른다(I don't know)’ 혹은 불확실하다는 표현에도 점수를 주는 평가 기준이 널리 적용되어야 진짜로 환각을 억제할 수 있습니다.[1]
## 결론: 왜 중요한가?
이 논문은 “언어 모델을 더 똑똑하게 만들면 환각이 사라질 것”이라는 단순한 기대를 반박하며, **평가 기준을 사회적으로 바꾸는 것이 환각 문제 해결의 열쇠**임을 강조합니다.[1]
- 이는 모델 개발자와 평가자, 정책 입안자 등에서 모두 이슈가 될 수 있고, 신뢰할 수 있는 AI를 위해 현장에 직접 적용할 수 있는 현실적 방향을 제시합니다.[1]
- 불확실함을 솔직하게 표현하는 모델이 앞으로 더 신뢰받고 실생활에 잘 쓰일 수 있도록, **“정답/오답만으로 평가하지 않는 문화”**를 만들어가는 것이 중요하다는 점을 알립니다.[1]
 |
| 출처: @ye._.vely618 |
