GAIR Paper 103｜上海交大联合腾讯提出 Token 级别幻觉优化，实现大模型幻觉精准消除

上海交大腾讯大模型

2026/06/23 10:13

GAIR Paper 103｜上海交大联合腾讯提出 Token 级别幻觉优化，实现大模型幻觉精准消除

让大模型只改错的地方，不误伤对的内容。

作者丨李宁上海交通大学

大语言模型（LLM）在医疗、金融、法律等高风险场景中的部署，始终面临一个核心挑战——幻觉（Hallucination）。模型生成的内容可能包含与事实不符的实体、数字或逻辑关系，而这些错误往往隐藏在大量正确内容之中，极难检测和消除。

如何让大模型在减少幻觉的同时，不丧失回答的信息量和实用性？来自上海交通大学与腾讯的研究团队提出了一种全新的强化学习框架——BALTO（Balanced Token-Level Policy Optimization），通过平衡的token级信用分配机制，精准消除幻觉，同时保持回答的丰富性。

问题的本质：幻觉是"局部"的，但惩罚却是"全局"的

研究团队首先在金融问答数据集FinLLM-Eval上进行了先导实验，揭示了一个关键现象：

- 幻觉在token层面是极其稀疏的：每条回答中，幻觉token平均仅占2.77%，中位数仅1.87%。

- 但幻觉在回答层面却非常普遍：94.7%的采样组中至少包含一条含有幻觉的回答。

这意味着，大多数回答只有极少数token出了问题，但传统的响应级强化学习方法（如GRPO）会给整条回答打一个统一的分数。当少量幻觉token导致低分时，回答中大量正确的内容也会被错误地惩罚。这不仅降低了幻觉消除的效果，还会诱导模型生成更短、更保守的回答，牺牲信息量来"避险"——这正是所谓的奖励黑客（Reward Hacking）问题。

论文arxiv链接：https://arxiv.org/abs/2606.15893

BALTO的核心思想：精准定位，平衡纠偏

BALTO的设计理念可以用一句话概括：只惩罚真正出错的token，同时给正确的事实token以正向激励，保持整体信号的平衡。整个框架分为两个阶段：

▎阶段一：细粒度幻觉token检测

1. 提取可验证的事实声明：从模型生成的回答中提取最小粒度的、可独立验证的事实声明（如实体、数值、日期、属性和关系等）。

2. 逐一验证：将每条声明与参考文档进行比对，判定其为"忠实"或"幻觉"。

3. 精准定位错误token：对于幻觉声明，进一步定位到最小的错误token子集。例如，对于声明"总收入下降了11.4%"，只有"11.4%"这个数字被标记为幻觉token，而非整个句子。

▎阶段二：平衡的token级信用分配

BALTO为每个token分配精准的优势值（advantage）：

- 幻觉token：优势值为 -1（负向惩罚）

- 忠实事实token：优势值为 N⁻/N⁺（正向补偿，其中N⁻和N⁺分别是幻觉token和忠实token的数量）

- 中性token（非事实性内容）：优势值为 0（不参与优化）

这一设计有一个优雅的数学性质——响应内零和平衡：每条回答中，所有token的优势值之和恰好为零。这意味着BALTO引导模型将概率质量从幻觉内容重新分配到忠实内容上，而不是压制整条回答的生成概率。

理论保证：更稳定，更高效

论文从理论上严格证明了BALTO的两大优势：

定理1（方差压缩）：GRPO的梯度方差与回答总长度T成正比；BALTO的梯度方差仅与幻觉token数量N⁻成正比。由于幻觉token通常只占回答的极小部分（N⁻ ≪ T），梯度方差可被大幅压缩，训练过程显著更稳定。

定理2（全阶段优化效率）：设p为模型生成忠实回答的概率。训练初期（p→0），GRPO的期望梯度趋近于零，陷入"梯度饥饿"；训练后期（p→1），GRPO对偶发错误的惩罚趋向无穷大，引发"惩罚爆炸"。BALTO的token级优势值始终有界于[-1, 1]，在训练初期提供最强纠错信号，在收敛阶段梯度自然衰减，全程稳定高效。