为什么不同人从生成式 AI 中获益不同

十四项实证研究，四个比较维度

作者：無擷

2026 年 10 月 5 日 · v4.2（2026 年 10 月 6 日：仅调整引文、参考文献编号及相应链接）

一项 2023 年发表的职业写作研究，让四百多名职业人士在线完成两份二三十分钟的写作任务。第一份任务所有人都自己写；第二份任务，随机抽出的一半人可以使用 ChatGPT。结果很整齐：用了 AI 的人用时减少约 40%，评分提高 18%，而且第一份任务成绩较低的人，第二份的提升更大。[1]

另一项研究跟踪了一家企业的 5,172 名客服人员。公司分批给他们上线了一个基于生成式 AI 的回复建议工具。整体上每小时解决的问题多了 15%；技能最低的那五分之一员工提升了 36%，而最有经验的客服几乎没有变快，质量还略有下降。[2]

如果只看这两项，很容易得出一个简单的结论：生成式 AI 是拉平差距的工具，帮助落后者，对领先者作用不大。

但再看两项研究。在肯尼亚，640 位小企业主被随机分成两组，一组获得一个通过 WhatsApp 提供经营建议的 GPT-4 助手，持续约五个月。平均下来没有检出显著收益。拆开看，基线绩效高的企业主点估计是正向的，基线低的则显著变差。两组收到的建议差不多，过程数据提示差别可能出在实施方式上。[3] 另一项研究里，16 位有经验的开源维护者被允许在随机抽出的一部分任务上使用 2025 年初的 AI 编程工具组合。他们事先预计会快 24%，实际慢了 19%。[4]

同一类工具，为什么有时缩小差距，有时放大差距，有时让有经验的维护者变慢？

这篇文章想回答的就是这个问题。它不是系统综述，而是一次聚焦阅读：我挑出 14 项实证研究，它们都以真人为被试、测量了人完成任务的表现；其中 13 项按事前特征（经验、基线成绩、教育、专长身份、独立测验）报告了差异，另一项，也就是开源维护者研究，只报告了平均效应，因为它划定了执行型工具的证据边界而被纳入。加上一小批关于测量的文献，我试图把表面上矛盾的结果放到同一个比较框架里看：人是谁，做的是什么任务，人和 AI 怎么分工，测的是什么结果。这四个维度是用来组织比较的，不是已经识别出来的因果模型。读到最后你会发现，这 14 项研究并不支持任何"弱者总是更获益"或"强者总是更获益"的规律；但它们确实能说清楚，在哪些具体研究里、哪种结果、朝哪个方向，以及哪些判断目前还只能是候选。

显示差距缩小的研究

先看那些显示差距缩小的研究。它们各自测的东西并不相同。

写作研究之外，两项编程研究分别考察了用时与产出数量。GitHub 的研究者招募了 95 名开发者，一半可以用 Copilot 代码补全工具，让他们实现一个 HTTP 服务器。在完成了任务的人里，用 Copilot 的平均用时少了 55.8%。按自报的经验年限分层，经验越长收益越小，不过这只是提示性的结果，没有达到常规的显著水平，而且分析只针对完成了任务的人，每组 35 人。[5] 后来这一团队的部分成员参与了三项企业内部的现场实验，覆盖 4,867 名开发者，发现 Copilot 让完成的任务数增加约 26%。这个数字是在工具变量假设下得到的局部效应，针对的是因随机分配而改变了使用状态的那部分人，既不是全部使用者的平均效应，也不是全部被分配者的平均效应。在 Microsoft 的子样本里，初级开发者的 PR 增幅是 40%，资深者是 7%，看起来差异很大，但这个差异在统计上并不显著。[6]

再看质量。一项在线实验把 1,174 名参与者随机分组，用 GPT-4.1 完成一项商业问题任务。不同学历的人之间原本有 0.548 个标准差的成绩差距，用上 AI 之后缩小到 0.139，大约缩小了四分之三。[7] 另一项实验让 293 位写作者写八句话的短篇故事，随机给其中一部分人 0 个、1 个或 5 个 GPT-4 生成的故事创意，再由 600 名读者评价。给 5 个创意时，新颖性提升 8.1%，有用性提升 9.0%；按一项独立于任务的创造力测验（发散联想任务，DAT）分层，得分低的写作者新颖性提升了 6% 到 11%，得分高的提升较小。附带的代价是，用了 AI 的故事彼此更相像。[8] 一项以波士顿咨询公司顾问为被试的大型实验里，前沿内研究共 385 名顾问，在 18 项研究者设计的咨询任务上，随机分到 GPT-4 条件的人与对照相比，完成的任务多 12.2%，完成得更快，质量更高；工作论文版本还报告，基线在下半的顾问质量提升 43%，上半的提升 17%。[9]

把这几项放在一起读，容易得出"基线低的人提升更多"的印象，但要注意它们各自看的东西不同。编程研究里，经验年限只给出提示性的斜率，企业里初级与资深的差异不显著；写作研究用的是首任务成绩，商业问题研究用的是学历，短篇创意研究用的是独立的创造力测验，咨询研究用的是基线上下半。基线成绩、学历和创造力测验不是同一个变量，各自与收益的关系也只在各自的研究里成立。这些研究的共同之处只是：AI 都把一部分产出直接交到人手上，补全的代码、生成的草稿、给出的创意、建议的回复，而结果包括用时、产出数量或评分。至于任务的"标准是否明确"，这些研究并没有统一的操作化定义，本文不替它们贴标签。

但这里要插进两个谨慎。

第一个是统计上的。"基线低的人提升最大"这种结果，天然带着一个嫌疑：如果用同一把尺子先测基线再测进步，基线那次恰好发挥失常的人，下次"回归均值"本身就会表现为进步。这不是空谈。一项关于法学院学生的研究让 48 名学生先参加真实的无 AI 期末考试，之后经过培训再用 GPT-4 做旧试卷，发现选择题平均提升 29 个百分位，论述题没有明确改善，而且基线越低提升越大。但这项研究没有随机对照组，基线分数既用来排序又直接进入提升的计算，原作者自己在脚注里承认，均值回归可能是主要来源。[10] 它仍有描述价值，但不能用来证明 AI 伤害了顶尖学生。相比之下，开头的写作研究更可信，因为随机分出的对照组提供了同一基线位置上的比较。这项研究的工作稿报告，把第二次成绩对第一次成绩做回归，对照组的斜率是 0.49，AI 组是 0.25，差异有统计支持；在有效随机化下，两组在首任务上的分布可比，这个斜率差异就不能简单归于均值回归。要说明的是，0.49 和 0.25 是回归斜率，不是相关系数，也不是总体成绩差距缩小了多少。读这类研究，要看的是有没有对照臂、量表有没有天花板、基线测量稳不稳。

第二个谨慎是定义上的。速度不是质量。客服研究是少数同时报告两者的：最有经验的客服速度几乎没变，质量还略降。两项编程研究这里引用的是用时和任务数量，这些结果本身推不出质量改善。当一项研究说"AI 让新手追上老手"，先问一句：追上的是什么。

反过来的例子

现在回到肯尼亚。[3] 这项研究的特别之处是任务：企业主要在真实经营中做决定。AI 不替他们做任何事，只给建议。五个月后，高基线的企业主绩效提升了约 0.16 个标准差，接近但未达常规显著水平；低基线的下降了 0.08 个标准差，这个下降是显著的；两组之间的差异有交互检验的支持。研究者分析了过程数据和事后的文本材料，发现两组收到的建议内容相似。这提示差别可能出在实施方式上，但这是过程证据提示的解释，不是已被证明的机制，也不意味着每一位高基线企业主都获益了。结果本身是自报的绩效指数，这是需要记住的边界。

另一项研究提供了更干净的对照，因为它把"AI 怎么参与"这件事本身随机化了。[11] 研究者招募了广告文案的专家和非专家，随机分配两种协作方式：一种让大语言模型直接代写文案，另一种让模型对人写的文案给反馈。文案投放后看真实的点击。结果是：代写模式整体没有显著收益，对专家甚至有害，作者解释为专家被 AI 的草稿锚定了；反馈模式则把非专家的点击率提高到接近专家的水平。同一个任务，换一种协作安排，专家与非专家的结果方向不同。在这 14 项研究里，这是对"AI 给成品还是给反馈"在同一研究内做了随机对照的一项，所以它比跨研究的比较更有分量；不过现有已核资料只支持这一方向性的模态比较，专家与非专家各自的具体交互数值仍待正式全文核对。

波士顿咨询的实验还有另一半。[9] 除了前沿内的 385 人，另外 373 名顾问做了一项研究者判断超出当时 AI 能力前沿的任务。分到 GPT-4 条件的这组答对的比例反而更低，工作论文报告低了 19 个百分点。这个结果很容易被读成"AI 在能力边界内帮你、边界外害你"。方向可能是对的，但要留意两件事：前沿内外是两组不同的人，不是同一个人在两类任务上反号；"前沿"是研究者根据对 AI 能力的判断安排的，AI 在那项任务上单独表现如何、怎么评估的，现有已核资料不足以判断。所以它说明的是"任务不同，结果可以不同"，不能把翻转归结到任务这一个维度。

最后是开源维护者的研究。[4] 它的设计是任务级随机：16 位开发者的共 246 项自选任务被随机分成允许用 AI 和不允许用 AI 两类，工具是 2025 年初的 Cursor Pro 搭配 Claude 3.5 和 3.7，聊天、补全和 Agent 功能混用。平均慢了 19%，区间大约从 2% 到 39%。这项研究很容易被读过头。它只有 16 个人，全是对自己仓库极熟悉的资深维护者，没有低经验对照组，所以它不能说明"经验越多 AI 越拖后腿"；它用的是特定时点的工具组合，不能代表所有 Agent 工具或之后的版本。它能说明的是：在这群人、这些仓库、这套工具下，"AI 肯定能提速"不能作为默认假设，哪怕开发者自己事前笃定会更快。

把这四项放在一起，可以列出几个候选解释：任务是否开放到需要人自己筛选和改造 AI 的产出；AI 给的是成品还是反馈；结果是评分、真实行为还是自报；工具的代际。但必须说清楚：这些解释来自跨研究的对比，每项研究在人群、任务、工具、时期上同时不同，跨研究对比只能提出候选，不能证明某一个维度导致了效果翻转。"任务开放程度"尤其只是待检验的候选，本文也不据直觉给各项研究贴上开放或封闭的标签。四条里只有"成品还是反馈"这一条，在广告文案研究里得到了同一研究内的随机对照支持。

辅助下的表现，不是学会

还有一种翻转更隐蔽：AI 在场时的表现，和 AI 撤走后的表现。

前面提到的商业问题实验有一个无辅助模块。[7] 在 AI 辅助的部分，学历差距缩小了四分之三；但在无辅助模块里，用原作者的话说，"一个可观的学历差距重新出现"。也就是说，这项研究里辅助期的拉平主要发生在任务层面，不是人的能力层面，至少在紧接着的即时测验里是这样。

一项高中数学实验把这一点推到了更尖锐的位置。[12] 约一千名学生按班级随机分成三组：一组用标准版 GPT-4 做数学练习，一组用带护栏的"导师版"，它在设计上不直接给出答案，第三组不用 AI。练习阶段，两个 AI 组的成绩分别比对照组高 48% 和 127%。随后的无辅助考试里，标准版那组比对照组低了 17%；导师版那组和对照组没有检出明确差异。这个"没有检出差异"要读准：它既不证明导师版与对照等效或没有伤害，也不证明导师版带来了学习增益，它只是说这项研究没有检出差异。按学生事前的 GPA 等特征看异质性，没有得到明确的统计支持。

第三项研究更接近工程师的日常。[13] 52 名开发者学习一个他们都不熟悉的程序库（Trio）并完成任务，一半人有 GPT-4o 聊天侧栏可用。这些人并不是新手，超过一半有七年以上编码经验。AI 组完成任务的用时没有显著差别，但随后的即时测验成绩明显更低，效应量约 0.74 个标准差。按经验年限分层，每一层里对照组都高于 AI 组，不过这是描述性的分层，没有做交互检验。研究者还从对话记录里归纳出六种使用模式，其中一些与较好的测验成绩相关，但这是事后识别的，不能据此说哪种模式"已被证明"能保留学习。

三项研究测的都是撤除 AI 后的即时表现，不是几个月后的技能。它们也不能合并成一个结论。但它们共同指出一件事：一个团队用 AI 把任务完成得更好，不等于团队里的人变强了。对管理者来说，这是两个需要分开追踪的指标。

代写、反馈、执行，不是同一种协作

到这里，"协作方式"这个因素已经反复出现，值得单独说。

这 14 项研究里的 AI 至少有四种参与方式：补全（Copilot 在你打字时续写）；聊天（你问它答，它可以生成整段产出）；建议与反馈（AI 不执行，只给意见，比如客服的回复建议、肯尼亚的经营顾问、给写作者的故事创意）；以及执行型的 Agent（AI 直接在代码库里改动、提交）。一项研究"允许"哪种方式，和参与者实际怎么用，又是两回事，本文也没有逐项登记参与者的实际使用行为。

在同一研究内随机比较了协作安排的，只有两项：广告文案研究的代写对反馈，高中数学研究的标准版对导师版。两项的任务、人群和结果都不同，不能合成一个"成品有害、反馈有益"的普遍结论。广告研究里，代写对专家有害，反馈帮了非专家；数学研究里，标准版损害了无辅助考试成绩，导师版与对照没有检出明确差异。两个局部设计共同说明的只是：协作安排本身值得作为一个条件来比较，而不是附属于工具的细节。在本文的研究集里，这是关于协作安排仅有的两项同研究内比较。

执行型工具的证据最新，也最不成熟。除了前面的开源维护者研究，Microsoft 在 2026 年 1 月到 4 月观察了内部数万名工程师采用命令行 Agent（Claude Code 和 GitHub Copilot CLI）的情况。[14] 采用者的合并 PR 数量增加了 24%，置信区间大约从 14.5% 到 33.7%。按职级和年资看，增幅呈 C 形：更初级的个人贡献者和更资深的经理增幅更大，中间较小。但这是观察研究，采用是自愿的，作者自己明确说这是关联而不是因果；交互项分不清是工具更适合某些人，还是某些岗位的任务本来就更适合 Agent；年资不到一年的人可能还在上手期。而且 PR 数量不是价值，更多的 PR 可以是更小的 PR。另一项观察研究从另一个角度提醒了这一点：按编码活跃度分组，AI 工具带来的编码活动增益在最不活跃的那组最大，但增益沿着"写代码、推进项目、发布"的链条逐级衰减。[15] 活跃度不是能力，衰减也不是因果，但"写出更多代码"和"交付更多价值"之间的距离，是每个工程管理者都认得的。

在这组研究里，执行型工具下已有的随机证据是维护者研究的平均效应；按事前测得的人的特征做的随机或准随机交互检验，此次阅读尚未确认。Agent 条件下"谁更获益"，在这组研究里还没有可以依靠的异质性证据。

这些研究能证明什么，不能证明什么

读到这里，需要停下来说清楚一个方法问题，因为它决定了上面每一段的措辞。

当一项研究随机分配 AI，并且在恰当的分析下得到有统计支持的交互，它能识别的是：基线低的群体和基线高的群体之间，AI 的平均效应不同。这依赖有效的随机化和恰当的分析，仅有两个分组均值的差异还不够。而且它没有证明"基线低"这个特征本身导致了更大收益，因为基线不是随机分配的，基线低的人可能同时在别的方面也不同。它更没有告诉你任何一个具体的人会获益多少：两个群体的平均差异，不等于个体收益的分布。这就是为什么这篇文章一直说"不同群体的平均效应不同"，而不说"经验决定了收益"。

准实验要再退一步。客服研究依赖"分批上线的时点与结果趋势无关"这一假设，本文没有评估这一假设是否成立。Microsoft 的 Agent 研究是观察关联，采用者自己选择了采用，仅凭这项关联不能把 PR 的变化归因于工具。法学院研究没有同期的无 AI 对照组。这些研究都有信息，但信息的性质不同，不能排在同一个坐标轴上比大小，尤其是它们的效应单位各不相同：百分位、百分比、每小时解决量、标准差。顺带一提，一项预注册的元分析发现，编程生产率的合并效应在受控实验里比在企业和开源环境里大，但它针对的是平均效应，推不到谁更获益的问题上。[16]

能不能事前测出谁会获益

如果"人如何筛选、核对、改造 AI 的产出"真的是关键，而肯尼亚的高基线企业主、被代写锚定的广告专家、学新库时某些使用模式更好的开发者都在暗示这一点，那么一个自然的问题是：这种能力能不能在用 AI 之前就测出来？

先要把三样东西分开。一是原本的专业或任务能力：没有 AI 时你能把这件事做到什么程度，上面的研究用基线成绩、年资、学历、专家身份当它的粗略代理。二是一般的 AI 知识：你知不知道这类模型怎么工作、在哪里容易出错、该怎么用。三是实作验证能力：面对一段 AI 产出，你能不能真的辨出对错、核对并修正。三者在概念上可以区分，一位领域专家可以完全不懂 AI，一个懂 AI 的人可能在具体任务上辨不出错，而辨错本身又依赖领域知识。但它们在实证上是否真的分得开、各自能否独立预测收益，在此次阅读的文献里尚未见到检验。

一般 AI 知识这一项，已经有候选的测量工具。一项发表在《Computers and Education: Artificial Intelligence》上的研究开发了 GLAT（生成式 AI 素养测验）：20 道知识型选择题，在 355 人的样本中内部一致性良好。[17] 在一项 83 人的小型效标研究里，参与者先不用 AI 完成任务，再用一个基于 GPT-4o 和检索增强的聊天工具完成任务；控制领域素养和无 AI 基线后，GLAT 得分对辅助下的成绩有小幅但显著的预测力。这个结果有用，但要读准：它预测的是"用 AI 时表现如何"，不是"AI 给你带来了多少因果收益"。前后两次是固定顺序，差值里混着练习效应和任务差异；它也不是随机分配 AI 下的交互检验。此外，355 人样本的信度不能自动套到 83 人的样本上，施测时是否禁止使用 AI，现有已核资料不足以判断。

GLAT 已经有独立应用，但跨样本的证据还在积累。一项针对 531 名本科生的研究用它预测学生对假设情境中 AI 使用是否合乎学术伦理的判断，发现剔除 5 道伦理题后的 15 题得分与判断准确率有小幅正相关，Spearman 系数约 0.23。[18] 效标是假设情境的判断，不是真实行为，更不涉及 AI 收益。另一项面向 543 名毕业班学生的硕士论文，目前能看到的只有仓储摘要：它先筛除低质量题目，再评价剩余题目的分数，报告这一筛题后的分数为单维结构，但信度未达通常阈值。[19] 这一结果针对的是该研究筛题后的分数，不泛指 GLAT 的所有版本；全文细节未核，本文不据它否定 GLAT，也不引用它的任何系数。总之，GLAT 是"一般 AI 知识"的一个有正式发表、有独立应用的候选测量，不是公认标准，更不是实作验证能力的测量。

实作验证能力方面，一个相邻的范式来自人机协作研究里的"适当依赖"：人在 AI 对的时候采纳、错的时候拒绝的程度。一项针对预测型 AI（分类器）的研究提出了两个指标，分别看"人初判错、AI 对时转向 AI 的比例"和"人初判对、AI 错时坚持自己的比例"，两者都定义在人先有初判并且与 AI 不一致的那部分题目上，不是对所有题目的一般接受率。[20] 在生成式场景下，一项 2026 年的研究让 432 名本科生做 Python 题目，14 道题预设了 AI 的初始建议，8 道对、6 道错，再按最终答案是否与建议一致来判定接受或拒绝。[21] 结果之一是 AI 素养与适当依赖几乎没有相关。但更值得注意的是测量方式本身：按最终答案一致性判定的"接受"或"拒绝"，是一个可观察的选择结果，它不能证明人实际经历了辨别过程，答对可能是碰巧，拒绝也可能是没看。此次阅读的文献里，尚未确认有研究把实作辨错作为事前变量测量，并检验它与随机分配 AI 下质量收益的关系。

有效纠错：一个值得拆开的候选

于是回到那个直觉：一个人能不能对 AI 提出反对意见并纠正它，是不是"会不会用 AI"的核心指标？

我认为这是一个值得认真对待的候选方向，但前提是把它拆开。至少有五件事混在"纠错"这个词里。愿不愿意质疑，不管质疑得对不对。能不能辨出哪些输出是错的，这需要有标准答案的任务才能测，而且辨出来和采取行动是两回事，行动还受成本和目标影响。能不能把错误修好，并且不把原本正确的内容改坏，衡量的应该是净错误减少，不是改动次数。误改，也就是对正确内容的无根据改动，要作为负向指标单列。还有成本：达到同样的修正，花了多少时间、多少轮对话。一个爱反驳但辨别力差的人，会频繁引入新错误；一个辨别力强但改不对的人，能指出问题却交不出正确结果；在"有没有纠正 AI"这一个指标上，两人可能得分相同。

还有几条边界。纠错是双方的事：模型是否附和、是否坚持正确答案，影响最终结果，所以"AI 接受了我的异议"不等于我纠对了，成败要用任务的真值判定，不能用 AI 的态度判定。AI 正确的时候，人仍然可以核验，但不应该无根据地改动，验证行为和改动行为要分开记。开放任务里的"不同意见"常常是对目标和偏好的补充，不是对错的纠正，两者得分开。另外要说明，有效纠错不是实作验证能力的全部：对没有植入错误的真实输出做独立核验，同样属于实作验证能力，测量也不必都依赖植入错误。最后，也是最重要的：任务过程中观察到的核验行为，既可能是原因，也可能只是任务难度或已有能力的反映，不能倒推出一种稳定的事前能力。要把它变成事前变量，需要独立于任务的测量，以及稳定性、区分效度和增量预测的证据，一个内部一致性系数不够。目前，它是协作过程层面的候选变量，不是已被证实的"谁会获益"的预测器。

回到开头的问题

同一类工具，为什么有时拉平，有时放大？读完这 14 项研究，我的回答是：这组研究不支持任何一条统一的规律；但按人、任务、协作安排和结果四个维度去组织比较，表面上的矛盾可以变成一组可以分别核对的结论。

在写作、商业问题和短篇创意这几项随机研究里，首任务成绩、学历或创造力测验得分较低的人，即时的质量收益更大；在客服和代码补全的研究里，经验或技能较低者的速度收益更大，其中有的只是提示性的或不显著的。在肯尼亚的经营研究里，方向相反：高基线者的点估计为正，低基线者显著变差。协作安排有两项同研究内的局部比较，提示"给成品还是给反馈、是否带护栏"值得单独作为条件来看。撤除 AI 后的即时表现，在商业问题研究里学历差距重新出现，在数学研究的标准版组和学新库研究的 AI 组，无辅助成绩更低；这些是具体研究里的结果，不能笼统推成"撤走之后差距总会回来"。执行型工具下，已有的随机证据是维护者研究的平均效应，另有企业内的观察关联；按事前特征的随机异质性，此次阅读尚未确认。

对一个懂技术的管理者或研发负责人，这些结果可以转化成几个直接的问题。你测的是速度、质量，还是人的能力？你的工具是补全、代写、反馈，还是执行？你的任务有没有明确的对错标准，还是需要人自己筛选？你看到的"新人追上老手"，是评分追上了，还是真实结果追上了？这些问题没有通用答案，但每一个都有具体研究可以参照。

对研究者，最清楚的缺口是：在此次阅读的文献里，尚未确认有研究在事前、独立于任务地测量"谁能有效筛选和纠正 AI 的产出"，并检验它与随机分配 AI 下收益的关系。现有的局部发现值得保留；若要据此提前判断某个人将如何获益，仍需要更直接的测量和验证。

文献范围说明

这是一篇叙述性、非系统的综述。核心研究按以下标准选入：以真人为被试，测量人完成任务的表现，AI 为生成式语言模型工具，并报告了按事前测得的人的特征所做的分组或交互结果；另纳入一项只报告平均效应、但对执行型工具证据边界有定义意义的随机研究 [4]。14 项不代表全部文献，而且"报告了事前差异"这一筛选标准本身有偏。检索以英文文献为主，核心检索截止 2026 年 10 月 3 日，测量文献补核截止 2026 年 10 月 4 日。部分研究只核到摘要或工作论文版本，正文与参考文献中已注明；数字以可获取的最新版本为准。文中凡说"尚未确认"或"不足以判断"，均指这一范围内的已核资料，不是对原研究或整个领域的断言。