20 道逻辑题，用 AI 的那组实得 13.3 分、自评 17.1；不用 AI 的那组实得 9.7、自评 13.6，高估的幅度几乎分不出高下。这项 452 人的随机实验，用自带的对照组，把「AI 让人高估自己」这句流行话驳了回去。AI 改变的是另一件事。你猜，自己能估准到几道之内？

一道估分题

设想你面前有 20 道来自美国法学院入学考试 LSAT 的逻辑推理题。题目给出一段论证，再问「下面哪一项最能削弱它」。它不考法律知识，考的是你能否理清一段话的逻辑。

作答时可以全程使用 ChatGPT，每道题至少问它一次，也可以继续追问。20 道做完，还要答最后一问。你觉得自己对了几道？

这最后一问，才是芬兰阿尔托大学团队真正想测的。2026 年，论文刊在人机交互领域的老牌期刊《人类行为中的计算机》（Computers in Human Behavior）上，标题起得很不客气——《AI 让你更聪明，但没让你更明白》。

论文去年十月在线发表后，英文科技媒体多把它概括成一句话：AI 让人高估自己。

这个说法有毛病，毛病就写在论文里。论文的第二项研究并不支持这种概括。更少见的是，研究者发现第一项研究的设计不足以支撑因果判断之后，自己动手补上了更严格的检验。

两步实验

第一项研究通过付费实验招募网站 Prolific，招来 274 个住在美国、英语流利的人，剔除没通过注意力检查和答题快得不合常理的，剩下 246 人。屏幕左边显示题目，右边嵌一个 ChatGPT 对话框，用的是 2024 年 5 月版的 ChatGPT-4o，平均每人作答 42 分钟。

实验界面示意（自绘，非论文原图）。题目旁边有个按钮，一键把题干和选项复制进对话框。

这 246 人平均做对 12.98 道。作为参照，研究者让 ChatGPT-4o 独立把这套题答了 100 遍，平均答对 13.65 道；人带着 AI 作答，成绩反而略低于 AI 独立作答。可是当被问到「用了 AI，你觉得 20 道对了几道」时，参与者的平均回答是 16.50。实际约 13 道，自己以为对了 16 道半，高估约 4 道。

研究团队随后找来一份现成的参照数据。2021 年，普林斯顿的 Rachel Jansen、Anna Rafferty 和 Thomas Griffiths 在《自然·人类行为》发表过一项研究，3,543 个美国成年人做同一套题，没有任何辅助，平均 9.45 分，高估约 1 道。

如果只把两组结果并排看，不用 AI 的人高估约 1 道，用 AI 的人高估约 4 道，很容易得出「AI 把高估放大到 4 倍」的印象。

问题在于，这两批人不是在同一年、同一平台、同一种报酬下招来的。3,543 人那批采集于 ChatGPT 问世之前，平台是 MTurk；更要紧的是，没有人被随机分到「用 AI」或「不用 AI」组里。方法学上这叫准实验，「准」字是打折的意思，只能说明两组不一样，说不清差别来自哪里。也许是 AI，也许是这五年里人变了，也许是两个平台上的人本来就不同。

作者在论文里限定得很明白，这些是描述性关联，不是因果效应，研究一仅提供提示性证据。为了检验因果，他们做了第二项研究。

媒体漏掉的研究二

研究二重新招募 500 人，随机分成两组，一半用 AI，一半不用，同一套 20 道题。随机分组让两组除「用不用 AI」之外的差异在平均意义上相互抵消，结果的差别才能归到 AI 身上。为了让人认真估分，研究者还设了奖金，估得准的多拿 0.5 英镑，约占全部报酬的 8%。剔除不合格数据后剩 452 人，AI 组 245，无 AI 组 207。

实际成绩与研究一一致。AI 组平均 13.31 分，无 AI 组 9.71 分，用 AI 确实把成绩提高了三分半。AI 组里 59% 的人（245 人中的 145 人）超过了 ChatGPT-4o 独立作答的成绩；无 AI 组里只有 14% 做到。

真正的看点在自评。

研究二（随机分组）实测数据。高估 = 自评 − 实得。数据来自 Fernandes et al. (2026)。

两组高估的幅度几乎分不出高下。论文没有检测出清楚的组间差别；单看样本均值，不用 AI 的那组反而还略高了 0.09 道。作者原文也写明：在他们的样本里，高估的绝对幅度对无 AI 组还略大一些。

那 0.5 英镑的奖金也没让估分变准，两组照样高估，幅度与没设奖金的研究一相仿。至少在这项实验里，单靠提高动机并不够。

把两项研究放在一起看，「AI 让人高估自己」就立不住了：至少在这套题上，人不用 AI 也一样高估。无 AI 组的人平均错了约 10 道，却以为自己只错了约 6 道；AI 组高估的幅度与之相差无几。研究一那个 4 倍的落差，研究二没能复现，它更可能混着平台、年代、样本的差别，归不到 AI 身上。而媒体标题所依据的，恰恰多是那场没有随机分组的研究一。

推翻这个流行说法之后，这项研究剩下的部分，才真正值得看。

高估的规律

元认知，指人对自己认知状态的判断。在这里，「会不会做这道题」是能力，「知不知道自己会不会」是对能力的估计；这项研究从头到尾测的都是后者。

心理学对这种自我估计有个流传极广的概括：邓宁-克鲁格效应。1999 年，康奈尔的贾斯汀·克鲁格和大卫·邓宁发现，表现越差的人越容易高估自己，表现好的人反而略微低估——差生，不知道自己差。研究一借用的那份 3,543 人数据集，当年正是为验证它而采集的，效应清清楚楚。

（这个效应本身有争议。2020 年有研究者论证它「大体上是一个统计假象」，可能由数据处理方式造成；也有大样本研究一再复现它。目前尚无定论。）

研究二里，无 AI 组仍然呈现出经典规律。按成绩分四档，最差一档高估最多，最好一档反而略微低估，中间依次过渡。到了 AI 组，这条规律明显减弱，最差和最好两档之间仍有差距，但明显缩小；作者的计算模型给出同样结果，无 AI 组「表现越差、高估越多」的斜率清清楚楚，AI 组的斜率平缓得多。一条向下的陡坡，变成了缓坡。

示意图，非实测数据。左：不用 AI 时，成绩越差高估越多。右：用 AI 后，整体仍在高估，斜坡明显变缓。底部边界照作者原文：斜坡变缓，不等于人变清醒了。

一种可能的解释是，AI 缩小了参与者之间的成绩差异。无 AI 组的分数高低悬殊，AI 组则集中在 13、14 附近，毕竟大家问的是同一个 ChatGPT-4o；成绩彼此接近，「表现差的人特别高估」的规律也就随之减弱。这个中间环节研究没有直接检验过，只算合理推测。

作者提出的解释保留了同一条边界。邓宁-克鲁格效应表面上的消失，可能并不代表底层认知起了变化；AI 也许只是让参与者的能力彼此接近，而他们依然不知道自己表现如何。所以这一结果不能写成「AI 治好了邓宁-克鲁格效应」。成绩差距缩小与人变清醒是两种解释，这项研究分不开二者；作者明确提出的，是前一种。

研究者还记录了参与者答每道题时的信心分（0 到 100）。答对的题平均 82.49 分，答错的题 77.00 分；差距确实存在，统计上也成立，但拿它分辨自己哪题对哪题错并不可靠。论文专门检验过「凭信心能不能分辨对错」，结果只比抛硬币好一点。「我觉得这题稳了」这个念头，在答错时也照样会出现。

聊天记录说明了另一件事。246 人答 20 道题，一共发出 6,629 条提示语，平均每人每题一条多一点；只有 8% 的情况下，同一道题会问到三次以上。复制题目，粘贴，接受答案，交卷。团队负责人罗宾·韦尔施在新闻稿里管这叫认知卸载，就是把处理过程整个交给 AI，自己只经手结果：「我们查了他们是否真的和 AI 有来有回，发现多数人只交互一次，拿到答案就走，等于盲信。」

顺带一个容易误读的数字。AI 组平均花 52 分钟，无 AI 组 25 分钟。但 AI 组被要求每题至少问一次，耗时长是规则造成的，不能据此推断「用 AI 更慢」。

研究团队的来历

领衔这项研究的罗宾·韦尔施，是阿尔托大学工程心理学助理教授。他早年研究的题目离 AI 十万八千里，是人际距离，人和人站多近会不舒服，博士论文在德国美因茨大学拿了最高等级。转向人机交互后，他的团队有过一个广受关注的发现，AI 安慰剂效应：只要告诉参加实验的人「有 AI 在帮你」，哪怕那个 AI 是假的、什么也没做，人的期望和对自身表现的判断就会变化。

研究负责人 Robin Welsch。照片来自阿尔托大学官网新闻稿，摄影 Matti Ahlgren © Aalto University。

这项研究延续的正是同一个问题。既然假 AI 都能改变人的自我判断，真 AI 在场时，人还能不能准确判断自己？合作者托马斯·科施（柏林洪堡大学）就是当年假 AI 实验的作者之一；第一作者丹妮拉·费尔南德斯是韦尔施实验室的博士生，工程和机器学习出身，从葡萄牙科英布拉转到芬兰，研究方向是让心理学的元认知研究和计算机科学结合起来。

费尔南德斯在新闻稿里说：「现在的 AI 工具不培养元认知，我们没有从自己的错误里学到东西。」这句话比论文直接检验的结论更远。她提出的办法，是让 AI 先要求人说出自己的推理，再给答案。这属于研究者的设计设想，不是本项实验测出的结果。实验记下的只是行为，多数人问一次就停；多问几轮能不能帮人发现自己的错，作者把它列成了待检验的下一步。

这类研究也不止他们一家。认知科学从上世纪九十年代起就在研究人怎么把记忆和计算交给工具，我们此前报道过的「认知卸载」研究就在这条线索上。这篇论文 2025 年 10 月在线发表，十个月里已被引用 43 次；接续它的研究，有法学教育里的「学生知道 AI 什么时候错吗」，有护理学生 AI 依赖的追踪研究，还有更直接的一问。给人看 AI 的推理过程，能不能改善元认知？这一问已经有团队在检验了。

证据的边界

作者列了七条局限，这里挑出与读者最相关的四条，再补一条外部批评。

第一，研究一不能当因果证据引用。任何把「高估 4 倍」当结论转述的报道，都跳过了作者「描述性关联、不是因果效应」的明确限定。

第二，LSAT 真题在网上流传多年，可能早已进入 ChatGPT 的训练材料，研究没法排除模型见过这些题。有科技评论网站据此批评，机器做得好，也许只是在复述背过的答案。作者回应说，ChatGPT-4o 在这套题上正确率只有 68%，表现并不完美，结论应当仍有一定适用范围。但这个回应并没有排除训练材料被污染的可能。

第三，「AI 素养越高越自信」里的 AI 素养来自自评量表。研究一发现，在 SNAIL 问卷上自评 AI 素养越高的人，信心越足、自我评估越不准；但这不能改写成「越懂 AI 的人越判断不准」，因为量表测的是自认为有多懂。作者还提示，人对「自己懂不懂 AI」同样可能有错觉，两项自评一起偏高，相关就会被放大。韦尔施说：「我们本以为 AI 素养高的人不但更会用 AI，也更会判断自己用得怎么样。结果不是这样。」

第四，这场 42 分钟的标准化答题不等于你的日常工作。逻辑题有标准答案，能当场判对错；方案、代码、邮件多数没有标准答案，也未必有人及时打分。这项研究的结论能不能推广到日常工作，还没有人检验过。

你的答卷

这项研究直接支持的结论是：在这套题上，用 AI 交出的答卷确实更好了；但你对「答卷到底好不好」的判断没有跟着变好——而且它在 AI 出现之前，就不太准。

至于更长远的影响，这项研究没有检验过，以下只是我们的推测：AI 可能改变的不是你能不能估准自己，而是估不准的后果。没有 AI 的时候，你估不准自己，成绩差距迟早会把这一点暴露出来，你也因此有机会修正；用上强大的推理工具之后，不同人交出的结果可能都集中在 13 分上下，这种迫使你正视误差的差距，就不容易再出现了。长期会不会因此更难发现自己的判断偏差，只能等纵向研究回答。

信心分和奖金的结果指向同一个结论。答错时也会有「这份挺稳」的感觉，光凭主观信心当检查并不可靠；设了奖金让人认真估，判断也没有变准。

基于这些结果，给你两条做法，两条的证据强度并不相同。

一，别把「我感觉没问题」当成一次检查。在这项研究里，这种感觉在答错时同样出现，分辨对错只比抛硬币好一点。

二，在拿到 AI 答案之前，先写下你自己的答案，哪怕只有一句「我猜是 B，因为那段论证偷换了前提」，再对照两边不一致的地方。研究里多数人只交互一次就停，省掉的正是独立形成答案的那一步。这个做法没有在本项实验里接受过检验，它来自研究者的设计建议，加上我们的引申，不能当成已经证实有效的方法。

参考文献

Fernandes, D., Villa, S., Nicholls, S., Haavisto, O., Buschek, D., Schmidt, A., Kosch, T., Shen, C., & Welsch, R. (2026). AI makes you smarter but none the wiser: The disconnect between performance and metacognition. Computers in Human Behavior, 175, Article 108779. https://doi.org/10.1016/j.chb.2025.108779

Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, Article 101449. https://doi.org/10.1016/j.intell.2020.101449

Jansen, R. A., Rafferty, A. N., & Griffiths, T. L. (2021). A rational model of the Dunning–Kruger effect supports insensitivity to evidence in low performers. Nature Human Behaviour, 5(6), 756–763. https://doi.org/10.1038/s41562-021-01057-0

Kloft, A. M., Welsch, R., Kosch, T., & Villa, S. (2024). "AI enhances our performance, I have no doubt this one will do the same": The placebo effect is robust to negative descriptions of AI. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3613904.3642633

Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121–1134. https://doi.org/10.1037/0022-3514.77.6.1121

Laupichler, M. C., Aster, A., Haverkamp, N., & Raupach, T. (2023). Development of the "Scale for the assessment of non-experts' AI literacy" – An exploratory factor analysis. Computers in Human Behavior Reports, 12, Article 100338. https://doi.org/10.1016/j.chbr.2023.100338

本文来自微信公众号“开智学堂”（ID：openmindclub），作者：倡导元学教育的