看见证据之后：六项研究怎样压缩 AI 核验的新意

开场：检查了，为什么还是交错了

想象这样一个场景。你拿到一份活动说明，要给同事写一封通知。原文说，周五下午三点报名截止，参加者需要自带电脑。人工智能给你写出了一封很顺的邮件，只把三点改成了五点，又漏掉了自带电脑。你扫了一眼，觉得大致正确，发出去了。

现在给界面加一点东西。把截止时间标亮，让你点开原文，再要求你写一句理由：为什么保留这个时间？你可能更认真，也可能只填一句“与材料一致”。或者你发现时间不对，干脆把整句删掉。这样，邮件里的错误变少了，可读邮件的人依然不知道什么时候报名。

这个例子是为了说明问题而编的。它把我们想研究的几件事放在一起：找到证据，判断对错，决定如何修改，最后交出一份能用的文本。每一步都可能改善，改善也可能在下一步丢失。

今天我们就沿着这条过程，读六项距离我们很近的研究。它们研究的都是人如何处理人工智能写出的内容，不过测量停在不同的地方。有的看能不能发现错误，有的看核验花多久，有的看错误建议会不会被接受，还有研究直接评判最终答案的质量。

把这些文章放在一起，最需要接受的事实是：我们原来想做的好几块，已经有人做过了。证据高亮做过，逐条处理做过，要求人先思考做过，最后文本的正确性和完整性也做过。继续做研究当然还有可能，但要把问题收得更具体，也要诚实地说清它接在哪一段已有工作后面。

这期用到的版本核验到二零二六年十月六日。完整题名和原文链接放在本期页面，听的时候不用记英文。先看对我们冲击最大的一篇。

一：先想、先读、显示高亮，已经有人试过了

假设人力资源部门有一份福利说明，员工问能报销哪些费用。人工智能草拟答案，人要依据原文把答案整理好。这和普通选择题很不同：你不能只点一个“错误”，你要交出一段新的文字。

阿什克托拉布及合作者的研究，就把人放进了这种工作。我们这里依据的是二零二五年四月更新、对应工作场景人机交互会议的版本。研究有三十四名参与者，每人完成八个任务，共二百七十二个任务观察。重复做八题能增加观察，却不会把三十四个人变成二百七十二个互相独立的人。

作者测试了三种促使人多想一步的设计。第一种，先自己写答案，再看到人工智能的建议。第二种，先读材料，再进入问题与回答。第三种，系统用颜色显示模型回答与参考材料句子的语义相似程度，帮助人对照。这里的高亮是系统提供的提示，不是要求参与者自己标注证据。研究同时安排有幻觉和没有幻觉的答案，也安排这些功能出现或不出现。

这里最值得注意的是它的终点。作者不是只问人信不信人工智能。他们评价了人最后提交的答案，包括是否忠于材料、是否准确，以及是否完整。这已经进入我们原来想强调的最终产物层面。

结果很明确的一部分是：有幻觉的人工智能答案，会拉低最终质量。没有那么明确的部分，是这些强制思考设计能否补救。这些功能是否出现，对质量的总体效应，统计检验的 P 值是零点零七九，没有达到常用的零点零五门槛。研究也没有给出足够证据，说明这些设计能够稳定抵消幻觉带来的损害。

这不能念成“强制核验已经证明无效”，也不能念成“有改善趋势，所以有效”。比较稳妥的理解是，在这个样本和任务设置下，可靠的质量改善没有得到确立。没有显著差异，既可能与效果小有关，也可能与不确定性有关，需要看估计和研究能力，不能把一个数字当作永久判决。

作者还观察到一种很值得记住的行为：人先写出了正确答案，看到人工智能之后，却把其中错误的部分补进自己的答案。人不一定完全放弃自己的判断。有时候他试图兼收并蓄，结果把原本清楚的答案弄错了。

回到我们设想的活动邮件。你先写三点截止，后来人工智能说五点。你可能改成“通常三点截止，最晚五点也可以”。听起来像照顾到两种情况，却平白制造了一个不存在的例外。

这篇最直接压缩了两个说法。我们不能说，过去没有人研究强制步骤对人工智能文本编辑的影响；也不能说，过去只测信任，没有看最终质量。能够继续问的是，在更严格控制界面和证据的条件下，某一种明确的核验要求，究竟带来什么净效果。

来源：[Emerging Reliance Behaviors in Human-AI Content Grounded Data Generation: The Role of Cognitive Forcing Functions and Hallucinations](https://arxiv.org/html/2409.08937v2)。采用 2025-04-21 v2；34 人，每人 8 项任务；方法 §5.2，质量与 CFF 结果 §6 / Table 4。Highlight 是系统语义相似度高亮，不是参与者手动标证据。

二：GenAudit，机器先帮你把疑点圈出来

接下来是克里希纳及合作者的 GenAudit。可以把它理解成一个带证据的校对台。左边放原文，右边放模型写的摘要。系统把可疑片段标出来，提供可能的修改，也把摘要里的说法连到原文证据。

还是用一个虚构例子。原文写某项服务只覆盖周一到周五，摘要却说全年每天提供。系统指出“每天”缺乏支持，把对应的原文句子亮出来，并建议改写。你省去了在整篇材料里来回找的时间，但仍然需要判断它找得对不对。

这篇的一个人类实验很贴近我们：每篇摘要给三分钟，一半有系统标注帮助，一半没有，界面其余部分保持一致。参与者经过筛选，二十三名候选人中选出表现最好的四名，总共检查九十六组文章与摘要。为了得到足够多的错误，研究还人为注入了错误。

没有帮助时，被找到的错误词语比例约为百分之六十二点二；有帮助时，约为百分之七十九点四。这说明在这个受限场景里，工具能帮助人找到更多错误。

读这组结果时，要守住分母。它说的是已有错误里多少被找到了，不是最后文章有百分之七十九点四正确，更不是有百分之七十九点四的人学会了核验。四名筛选过的标注者，也不能直接代表一般办公室里所有人。

系统提供证据、指出疑点和建议修改，是一个组合。于是，如果我们只做一个相似界面，再报告发现错误变多，创新空间已经很窄。更有区分度的问题，是人在同样已经拿到这些帮助时，是否需要被要求留下核验记录，以及这件事会不会改善真正交付出去的内容。

来源：[GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence](https://arxiv.org/html/2402.12566v3)。人类核验实验见 §6：4 名筛选标注者、96 组、每组 3 分钟；62.2%→79.4% 是错误召回。

三：SymGen，把一句话连回具体的格子

第三项叫 SymGen，研究的是带符号引用的可核验生成。它从生成那一刻就让文字与结构化数据建立联系。比如数字背后可以指向表格的某一行、某一列，鼠标移上去，就能看到它从哪里来。

为了理解，可以设想一张虚构的球员数据表。甲拿了二十分，乙拿了十五分。摘要说甲比乙多五分。普通核验要先找甲，再找乙，再比较。带精确引用的文字把查找路径缩短了，但“多五分”这个关系，仍然需要核对。

托罗巴·亨尼根及合作者的研究包含六十人的用户实验，使用篮球数据表与相应文字。带这些引用时，平均判断时间从二点五零分钟降到一点九八分钟，大约节省两成。判断准确率两组都在百分之八十左右，没有显示相应的明确提高。

这里的贡献很实在：同样完成核验，路径可以更短。可是更快找到数字，和更好地完成开放式文本修订，是两个不同的终点。一个人也可能非常快地发现“二十”来自哪一格，却没有察觉整段话把两个赛季混在一起。

对我们的提醒是，不能把“让证据更容易找到”当作新主张。控制实验时，两组也应该拿到同样便捷的证据入口。否则，即使强制核验组做得更好，我们也不知道是要求起了作用，还是只是它更容易找到原文。

来源：[Towards Verifiable Text Generation with Symbolic References](https://arxiv.org/html/2311.09188v2)。人类核验实验 §4.2；60 人。准确率约 80%，时间 2.50→1.98 分钟；完整统计见 human-study appendix。

四：InkSync，编辑时拦一次，交稿后再查一次

第四项是拉班及合作者的 InkSync。它关心人工智能编辑如何直接落在文档里，也关心建议会不会偷偷加入不准确的信息。系统提供三种互相衔接的帮助：新信息出现时提醒，编辑时方便去核验，以及后来的人能追踪人工智能改过什么，再进行审查。

想象你让模型润色一封介绍目的地的邮件。原稿只说那里有博物馆，它却热情地补上“周一免费开放”。这句话很适合做推荐文案，也很容易被顺手接受。提醒与核验功能，让这个新增事实有机会被单独检查。

论文里与我们最相关的是第二项用户研究，三十五个人参加，围绕旅行邮件编辑和后续审查展开。只有编辑时，被拒绝、没有进入草稿的错误建议，比例约为百分之二十三点四；打开提醒和核验帮助后，约为百分之四十三点五。把编辑阶段和后续审查连起来，约百分之七十三的错误被拦住或者被检测出来。

最后那个百分之七十三尤其容易被讲大。它合并了两类结果：有的错误被阻止进入文本，有的已经进入文本、后来才被标出。因此，它不能直接等同于最终文章中百分之七十三的错误已经被正确修复。

这项研究还用了固定的任务先后顺序。参与者后面可能更熟悉任务，或者已经学会要留意哪些问题，所以不能把全部变化都干净地归到某一个按钮。它提供了有价值的实践证据，同时也留下更严格比较的空间。

到这里，事前提醒、编辑中核验、事后审查，已经连成一条已有研究路线。我们如果说“加一个核验环节能减少错误”，很容易落入这条路线的重复。需要具体到，是谁在什么条件下被要求做了什么，最后保住了哪些必要信息，又付出了多少时间。

来源：[Beyond the Chat: Executable and Verifiable Text-Editing with LLMs](https://people.ischool.berkeley.edu/~hearst/papers/laban_uist_2024.pdf)。Study 2，35 人；23.4%→43.5% 为编辑阶段阻止错误建议进入草稿；73% 为阻止或后续检测的合计。

五：PaperTrail，信任下降，手却未必动起来

第五项 PaperTrail，把学术问答的答案拆成一条条主张，再与文献中的证据对应。界面会让支持、不支持，以及遗漏的信息更容易被看到。它回应了一个熟悉的问题：一段话旁边有引用，并不说明这段话每个细节都被那篇文献支持。

设想一段虚构的综述写道，某种教学方式对所有学生都有明显好处。原论文实际上只研究一个年级，而且某个结果没有显著差异。点开文献链接是一件事，看到这句话究竟对应哪项结果，是另一件事。

马丁－博伊尔及合作者让二十六名研究者完成两个学术编辑任务，分别使用主张与证据对应的界面，以及普通引用式界面。使用 PaperTrail 时，参与者报告的信任显著降低，但文本编辑程度没有出现显著差异，易用性体验也更差。

这里的行为指标主要来自编辑距离，也就是原稿和修改稿在词语层面改动了多少。研究没有把这些改动逐项判成语义上正确或错误。因此，不能说它已经证明两组最终文本质量一样；也不能因为编辑量相似，就说参与者完全没有思考。

不过，信任和动作没有同步变化，已经足够重要。看到了风险，不代表人有时间把它处理掉。证据界面越细，可能越有帮助，也可能越费力。一个接近截止时间的人，可能明知文本不太可靠，还是保留了大部分内容。

这篇把我们的问题推得更尖锐：如果只是把证据摆在那里，人未必使用；如果强制使用，又可能挤占修订时间。最后到底净赚了多少质量，要由实际交付的文本回答。

来源：[PaperTrail: A Claim-Evidence Interface for Grounding Provenance in LLM-based Scholarly Q&A](https://arxiv.org/html/2602.21045)。26 名研究者；信任下降，编辑距离结果不显著；§7.3 明确未评价最终编辑文本质量。

六：写下理由，确实可以改变接受行为

第六项是陶及合作者二零二六年九月的预印本，题目可以译成《接受之前先想一想》。它研究一个非常直接的做法：接受或拒绝人工智能建议之前，写一句理由。

研究嵌在一门大学课程里。学生先写数据分析提案，再收到八条质量混合的修改建议。里面既有合理建议，也有理论与引用错误、无关数据来源、不成立的推断，以及不合适的篇章组织。

主要分析比较一百二十九名学生。六十五人逐条选择接受或拒绝，六十四人还必须说明理由。要求写理由时，有问题建议的平均接受率，从百分之六十五降到百分之四十一。合理建议的接受率约为百分之八十一和百分之八十六，没有出现显著下降。

注意这是二十四个百分点的差距，不是减少二十四百分比。更重要的是，拒绝坏建议增加，并没有伴随同等程度的全面拒绝。这使得结果更像选择变得谨慎了一些，而非看到人工智能就一概不要。

论文另有六十二人的批量选择条件，但由于界面配置错误，它只用于补充性分析。不能把它讲成一个所有结果都可直接对照的完整三组实验。这里的主要证据，就是写理由与只做选择之间的比较。

作者还发现，一些理由很表面，比如笼统说建议不错。写了理由，仍可能只是把决定包装成一句话。研究测量的核心是接受行为，也没有把额外花费的时间、认知投入和“写理由”这件事完全拆开，更没有由此确立最终文本的整体质量提高。

再用一个虚构例子。如果建议让你从一个相关关系推出因果关系，你写下“数据支持这个结论”，这句话看起来有依据，实际可能只是重复了错误。我们想要的核验，可能需要人明确指出支持哪一部分、哪些部分没有支持。但这也意味着要求更重，不能预设效果一定更好。

这篇把“强制说明理由可以减少不加判断的接受”占住了。我们的新研究如果只是换个材料，再让人解释接受原因，应该首先按复现或推广来定位。

来源：[Think Before You Accept: Can Written Justification Reduce Uncritical Uptake of AI Writing Suggestions?](https://arxiv.org/html/2609.23936v1)。主要比较 129 人（64/65）；错误建议接受 65%→41%，合理建议 81%→86%；额外 62 人批量条件仅作补充分析，见 §3.1.1。

七：六篇放在一起，究竟挤掉了什么

现在可以把六篇接起来看了。精确展示证据，已经有 SymGen 和 PaperTrail。机器帮助找错误，已经有 GenAudit。编辑时提醒、核验、之后再审查，已经有 InkSync。强制人先处理材料或先形成答案，已经有阿什克托拉布的研究。逐条写理由改变接受行为，又有了陶及合作者的证据。

我们原来容易把这些拼成一句新主张：人工智能让人容易轻信，所以加入强制核验，测一测能不能改善最后结果。现在这句话里的每个大部件，都能找到很近的前人。

而且，最终结果本身也并非空白。尤其是第一篇，已经看了忠实性、准确性和完整性。我们不能拿别的文章只测发现错误，就推断整片文献都没有测交稿质量。综述里最危险的捷径，就是只挑出前人没有做的部分，却跳过已经覆盖问题的那一篇。

当然，这六篇也没有合起来证明一个统一规律。任务不同，参与者不同，证据入口不同，指标分母也不同。找到更多错误，可能让修订更好；也可能让人删掉大量内容。速度更快，可能多出时间改善答案；也可能只是更快提交。信任下降，可能促使核验；也可能只是让人更焦虑。

我们不能把六组百分比排在一起，挑最大的那个，说哪种设计最好。它们甚至没有在回答同一个终点。

文献挤压创新空间的意思，是我们必须把原来的大问题，收缩成一个尚值得明确回答的小问题。不是因为已有结果都完美，而是因为研究贡献需要和最近的工作对话。一个界面的新组合，或者一组新指标，可以帮助识别差异，但它们不会自动把研究变成一个新理论。

因此，更诚实也更有用的定位，是在已有核验与认知强制研究上，做一个控制更清楚、结果更贴近实际交付的复现与扩展。它的价值可以来自组织要做的一项具体决策：是否应该把某种记录要求，设为每份人工智能辅助文稿的必经步骤。

八：把我们的实验收成一个能回答的问题

我们把暂定的方案称为方案 C。这里的 C 只是讨论里的代号，不是一个已经验证的理论或者产品。它想问的是：在证据、界面和截止时间相同的情况下，强制留下来源对齐记录，能否提高最终文本中必要事实的正确交付？

“来源对齐”可以很朴素。对于待处理的一条说法，人需要指出对应的原文，说明支持、冲突还是材料没有提供，再决定保留、修改或删除。实验的对照组也能看到同一份材料，使用同样的对齐功能，只是不必完成记录才可交稿。这样，我们比较的才更接近“这一步是否必须做”，而非“有没有证据工具”。

截止时间也要一样。现实里要求多做一步的代价，常常是其他地方没来得及改。假如允许强制组无限延长工作，却让对照组按时交稿，我们得到的就不再是同一预算下的政策效果。

这里有一个取舍。把总时间定住，不等于把两组的思考时间变得相同。强制记录本来就会重新分配时间和注意力。这种比较回答的是整条工作要求值不值得用。如果将来要解释究竟是写字、查证还是多想一会儿起作用，还需要另一个更细的拆分实验。

主要结果应该在交稿里数，而不是在按钮上数。我们可以提前规定任务必需的信息槽位。回到开场的通知邮件，截止时间、自带设备、活动地点都可能是必需项。分母在任务开始前固定；最后正确交付几个，就得到几个。删除一个有问题的句子，如果顺便删掉了必须告诉读者的信息，这个槽位仍然没有完成，不能当作成功修复。

再来看两个不同起点。起始草稿有错误的地方，要看人有没有修好。起始草稿已经正确的地方，要看人有没有误改。两件事必须分开，因为一种要求可能有助于抓错，也可能让人过度怀疑，把正确内容改坏。如果只报告修复率，后一种代价就会消失。

还要另记一类：人新增了多少材料不支持的说法。只盯着预先放进去的错误，很容易漏掉人在编辑时新编出的例外、原因和数字。完整性、误删、误修、新增无依据内容，加上时间与是否按时完成，才能看见主要收益和代价。

任务材料也需要平衡。可以让同一信息在不同参与者那里，以正确版本或错误版本出现；但不要让一个人反复见到同一道题的两个版本，否则他很可能记住答案。参加者之间随机分配是否必须记录，题目版本在不同人之间平衡。数据分析时，也要承认同一个人的多个回答相关，同一道题的多个回答也相关。

评分最好由不知道分组的人，依照事先写好的规则完成，并检查评分者之间是否一致。主要指标先确定，其他分析区分清楚，避免做完之后才挑最漂亮的一项。随机分到了强制组，即便有人敷衍填写，也不能事后随意把他删掉。组织实施一条规定时，敷衍执行就是这条规定实际效果的一部分。

这会得到一个比较窄的答案，但窄有窄的好处。假如最后显示必要事实交付更好，误修没有明显增加，时间代价可接受，我们就有理由进一步试用。假如发现错误增加，最终交付却没有改善，说明流程里的收益被别处吃掉了。假如结果没有明确差异，也要带着不确定范围判断是否排除了组织真正关心的改善，不能只凭显著或不显著两个字结束。

结尾：别让新意比证据跑得快

现在再回头看，这六篇给我们的并不是一个“还能不能做”的简单答案。它们让“做什么”发生了变化。原来想研究很大的人工智能使用能力，现在更适合研究一个特定工作流：人在时间有限、证据可见的条件下，被要求留下核验记录，最后交付会怎样。

这项实验本身也不等于测出一个人的通用能力。参加者可能熟悉某个主题，不熟悉另一个；可能会写理由，却不会判断证据；也可能在这套界面里表现不错，换个任务就不同。要把结果提升成稳定的个人能力，需要跨任务、跨时间的额外证据。方案 C 目前不应承担这个承诺。

我们也没有设置一个“完全不用人工智能”的比较，所以不能靠它回答人工智能究竟让人更聪明还是更笨。它回答的是，已经使用人工智能之后，一项具体核验要求有没有帮助。

读完文献以后，创新空间确实缩小了。但同时，实验应该控制什么、测量什么、不能夸大什么，也更清楚了。可以把这期留下的问题记成一句话：在同样证据、同样界面、同样时间里，多要求人留下这份核验记录，最后究竟多交对了什么，又少交了什么？

先把这一句回答扎实，再决定要不要谈更大的能力与理论。这就是这次综述最希望帮我们建立的尺度。