真正的研究能力，是更快地发现自己错了

发表于 | 分类于

真正的研究能力，是更快地发现自己错了

我们用同一份代码、同一组要求，快速比较 GPT‑5.5 和 GPT‑5.6 Sol。第一轮给出了一个漂亮结论：Sol medium 又快又够用，Sol high 更稳，GPT‑5.5 明显落后。

第二轮复跑，两个关键结果翻转了。

于是最有价值的发现突然不再是“谁赢了”，而是：我们差一点把一次运行里的偶然，写成一条通用的模型使用原则。

这正是研究和“得到答案”的区别。答案可以在一轮实验后出现，研究却要追问：这个答案经得起重跑吗？换一种测试还成立吗？什么证据会迫使我改口？

Vivek（@itsreallyvivek）在 X 上发布的长文 《how to be good at research》，开头也在区分两件事：看起来像研究，和真的会研究。他的判断是，研究不是一种神秘天赋，而是一组可以训练的小能力。

有些二次整理把原文压成“七条研究原则”，但原文其实由 23 个短节组成，谈选题、预测、阅读、写作、工具、失败案例、探索、同伴和长期复利，并没有再给这 23 节加一个统一总纲。下面是我的二次提炼：我把它们看成同一套纠错回路——怎样让自己的头脑更快接受现实的改写。

这套纠错回路可以压缩成一句话：

研究的产物不是一个答案，而是一次可审计的信念更新。

真正优秀的研究者，不是比别人更少犯错，而是更早、更便宜、更诚实地发现自己错了，并且能把这次错误变成下一轮判断的材料。

在 AI 可以几分钟生成代码、综述、实验方案和漂亮结论的今天，这个区别比过去更重要。答案正在变得极其便宜，判断一个答案为什么可能错，反而成了最昂贵的能力。

一、先别急着解题：很多人拿到的是别人的结论，不是自己的问题

Vivek 在原文中转述了 Richard Hamming 的一个故事：Hamming 在贝尔实验室吃午饭时，喜欢问周围的人两个问题——你所在领域最重要的问题是什么？既然它重要，你为什么没有在做？据说这让一些人不太愿意和他同桌。

问题令人不舒服，是因为我们很少真正选择自己的研究问题，更多时候只是吸收问题：导师最近在做什么，大实验室上一季度宣布了什么，社交媒体这周在转什么，同行都在抢什么，我们就把什么当成“重要方向”。

吸收来的问题有一个隐蔽缺陷：你拿到了结论，却没有拿到生成结论的推理。

你知道某个著名实验室押注一个方向，却不知道他们为什么押注、预期看到什么结果、什么证据会让他们放弃。等他们转向时，你通常要晚很久才知道。更麻烦的是，热门问题意味着你正在和一群更早入场、资源更多的人比拼相同的局部优化。

所以原创性的第一步往往不是“想一个别人没想过的技巧”，而是把问题的所有权拿回来。

原文还援引 John Schulman 对两种研究方式的区分。一种从文献出发：看看别人做到了哪里，再找一个可以改进的缝隙。另一种从你真心希望存在的结果出发，再倒推需要哪些实验、工具和知识。前者容易制造增量，后者更容易把人拖到综述没有覆盖的地方。

这里并不是说热门问题都不值得做，也不是说兴趣天然高于社会价值。一个人真正关心的问题同样可能不重要、不可验证，甚至方向错误。关键区别在于：你能否说出自己为什么相信它值得做，以及什么事实会让你不再相信。

一个问题只有同时带着“为什么”和“何时放弃”，才真正属于你。

二、研究品味不是玄学，它是一个被反复校准的预测器

学术界很喜欢用“taste”来形容优秀研究者。有人似乎总能选中重要问题，避开注定无效的方向，在实验开始前就知道哪个结果值得追。久而久之，研究品味听起来像天生的嗅觉：有的人有，有的人没有。

Vivek 提供了一个更朴素、也更有用的解释：品味更像肌肉，也像一个不断训练的内部模型。

训练它的方法不是多看成功故事，而是不断留下可核对的预测。做实验以前，先写下你认为会发生什么；读一篇论文时，先遮住结果，只根据问题和方法猜它会得到什么；面对本月的新成果，记录哪些两年后仍会重要。然后等待现实揭晓，比较预测与结果，研究自己错在什么地方。

这件事的难点不在预测，而在留下记录。没有记录，人会悄悄修改记忆——结果出来以后，我们很容易产生“我早就觉得会这样”的错觉，把含混的预感重写成准确的判断。预测一旦落在纸上，头脑就失去了这个逃生通道。

所以，品味不是“我经常猜对”的自我感觉，而是预测误差长期留下的校准曲线。

这也解释了为什么只读别人的结论很难获得真正的品味。论文通常展示被保留下来的路径，很少展示作者曾相信过哪些错误路线；发布会只展示最终产品，不展示团队在哪里误判；社交媒体把复杂探索压缩成一句笃定判断。你看见的是答案，却看不见答案与现实碰撞的过程。

所谓研究品味，不是神秘地知道什么会成功，而是知道什么值得用一次便宜的失败去检验。

三、原创性首先是信息源的去同质化

如果一群聪明人每天阅读同一批热门论文、同一组群聊摘要和同一页排行榜，他们仍然可能产生高度相似的想法。

聪明并不能自动打破信息相关性。共同的阅读清单，往往制造共同的问题、共同的假设和共同的盲点。大家在同一时间得出同一结论，这个结论即使正确，边际价值也会迅速下降。

这就是为什么原文反复强调旧材料、基础材料、相邻领域和论文原文。

旧材料的价值不只是“前人已经想过”，更在于它保留了后来被潮流剪掉的分叉：当时的人为什么这样定义问题，还有哪些路线曾经存在，今天被视为理所当然的框架当初解决了什么。一个领域经常延迟重演自己的历史，新名词可能包裹着老结构，新争论也可能只是旧问题换了一组算力条件。

相邻领域则提供另一种不相关性。可解释性可以借神经科学的框架，评估设计可以借机制设计的视角，模型架构会被 GPU 的内存移动方式限制。很多真正有力量的洞察，并不是在一个领域内部继续读得更多，而是把另一个领域已经成熟的工具搬到这里。

读原文同样重要。摘要告诉你作者想让你记住什么，附录和限制部分才告诉你结果在哪些条件下可能不成立。二手解读为了传播，必然会把不确定性压平；研究者如果长期只摄入压平后的信息，会慢慢失去对证据强弱的感觉。

当然，追求“别人没读过”也可能变成另一种表演。冷门不等于重要，跨学科不等于深刻，读旧书也不自动产生新问题。去同质化输入的目的，不是建立一个更有品位的书单，而是让自己的预测不再只是群体共识的回声。

四、研究速度不是输出速度，而是纠错速度

原文有一句最值得记住的话：“research speed is mostly the speed at which you discover you’re wrong.”

研究速度，很大程度上取决于你多快发现自己错了。

这句话重新定义了效率。普通意义上的效率，是一天写了多少代码、跑了多少实验、读了多少论文；研究意义上的效率，是这些行动多久能迫使你放弃一个错误假设。

如果一次实验需要三周才能启动，失败后还无法判断是代码、数据还是理论出了问题，那么一年看起来很忙，真正的信念更新可能只有几次。相反，一个研究者如果能把问题缩成最小版本，让一次实验在半小时内明确排除一个解释，他的现实模型就能更快迭代。

Vivek 用 Claude Shannon 和 Karpathy 的例子说明这种缩小。前者把难题缩到近乎琐碎，先解决小版本，再一项项加回复杂性；后者在神经网络训练中建议先让模型过拟合一个 batch：如果连这一点都做不到，就不要急着花几天跑全量数据。

这里真正重要的不是“从小做起”这句常识，而是控制变量。复杂系统会同时把多种困难搅在一起：数据可能有错，代码可能有错，指标可能定义错，假设也可能错。把问题缩小，是为了让失败能够归因。

这也让工具和工程从辅助工作变成研究本身。一次实验应该可以由配置复现；启动、画图、比较两次运行不该需要半天考古；评估框架应该保留原始输出；失败应该能按类型聚类。工具降低的不是劳动成本，而是信念更新的交易成本。

AI 进一步压低了执行成本，代码、测试、数据转换、实验变体都可以更快生成。但这也带来一个危险：当行动变得便宜，人会把“做得更多”误认为“知道得更多”。如果系统没有明确假设、判定标准和停止条件，AI 只会让模糊的实验更高频地发生。

把错误重复得更快，不叫研究加速。

五、指标是地图，失败案例才是地面

一条下降的 loss 曲线、一张上升的准确率表、一个综合得分，都会给人一种安心感：系统在改善，一切似乎可以继续。

但指标只能告诉你某个被定义过的数字发生了变化。它不会自动告诉你，系统究竟学会了什么，失败集中在哪里，提升是否来自错误的数据泄漏，平均值是否掩盖了危险的尾部。

原始数据、具体交互、失败案例和异常样本，才是研究者真正接触现象的地方。

这也是为什么 Karpathy 的训练建议从写模型以前就开始：先花时间手工查看原始数据。数据问题经常静默发生，不会让程序崩溃，只会留下一个表现平庸的模型，以及一套听起来合理却完全错误的因果解释。研究者如果只盯最终曲线，可能花几周优化一个从输入端就已经坏掉的系统。

原文借 Andrew Ng 多年来反复推荐的一种朴素方法说明这一点：抽出一批失败案例，逐个阅读，分类，然后先处理最大的一堆。它的力量在于把“模型不够好”这个抽象判断，变成几个可操作的问题：是某类输入理解错了，是边界条件没有覆盖，是标签有噪声，还是评估器本身在误判？

同样，如果你从未看过一个基准的具体任务和模型轨迹，你其实并不了解那个基准。总分上涨一个百分点，可能来自真正的能力提升，也可能只是某种提示格式更匹配。一个奇怪失败所暴露的机制，有时比小数点后面的进步更重要。

看完失败，还要做一件不太讨喜的事：把基线调到足够强。很多“新方法”的提升，只在一个没有认真调优的旧方法面前存在。强基线不是为了否定创新，而是为了让创新承担举证责任。

消融实验承担的是另一半责任：把新系统里的组件一个个拿掉，看看究竟是谁带来结果。最后真正有效的可能只有一个不起眼的步骤，而且未必是论文标题里的那个。没有强基线和消融，我们测到的往往不是机制，只是一个复杂系统碰巧赢了一次。

定性观察也不能取代统计。看几个惊人案例，很容易把罕见现象误认为普遍规律。正确关系不是“指标或案例二选一”，而是让两者相互校验：指标告诉你规模，案例告诉你机制；案例提出新的分类，指标再检验这个分类是不是重要。

地图让你知道大概在哪里，踩到地面才知道脚下是什么。

六、写作不是汇报工具，而是一台认知测量仪

很多人把写作放在研究的末尾：实验做完了，结论有了，再把它整理成论文、报告或汇报材料。

但一个想法只存在于脑中时，可以长期保持一种虚假的完整。大脑会自动跨过没有证明的步骤，把相互冲突的主张放在不同角落，还会用“这个以后再处理”遮住关键缺口。一旦写下来，句子必须接着句子，前提必须通向结论，漏洞就开始显形。

所以写作首先是一种测量，而不是包装。

一份真正有用的研究日志，至少应留下五样东西：当时的假设、实验设置、事前预期、实际结果、更新后的信念。最后一项尤其重要——只记录“跑了什么”，没有记录“我因此改变了什么看法”，日志就只是流水账。

反证还应该被优先记录。Vivek 在原文中提到，达尔文会立刻写下反对自己理论的事实，因为他发现，不方便的证据比支持性的证据更容易被记忆遗忘。今天的实验日志也有同样问题：成功运行会进入周报，失败运行留在临时目录；支持路线的案例会被截图，不支持路线的案例被解释成噪声。写作给这种自我保护设置了一道机械障碍。

公开写作又增加了第二道障碍。把一个尚未完全成熟的想法说清楚，既能偿还领域里的“研究债务”，也会邀请外部纠错。清晰解释本身就是贡献，因为很多领域并不是缺少结果，而是缺少把零散结果压成可使用理解的人。

但公开并不总是越早越好。涉及隐私、安全、商业机密、尚未确认的高风险结论时，公开可能制造新的伤害。核心原则不是“凡事发出来”，而是为自己的想法找到一个无法轻易自欺的检查面：可以是公开文章，也可以是可信同伴、预注册文档或内部反方评审。

一个不会被反例改写的结论，不是研究结论，只是立场。

七、研究不是单机循环：同伴是外部传感器

如果只强调预测、日志和实验，研究很容易被说成一套关起门来的个人纠错术。但 Vivek 原文后半段还在提醒另一件事：现实并不只通过数据集进入研究，也通过别人的问题、批评和需要进入研究。

一个人的第一个子领域，往往只是入行时间、导师和机会共同造成的偶然。如果太早把这次偶然当成身份，就可能永远不知道自己的经验在哪个交叉点上更有价值。去几个相邻领域实际做事，相当于“交学费”：你不仅获得新的工具，也会发现自己那点与众不同的经历，在哪里能形成非对称优势。

广度因此不只是创造力来源，也是保险。子领域会饱和，热点会冷却，能在转折之后继续工作的人，通常已经认识附近的地形。

Vivek 还转述了 Hamming 对“开门”和“关门”的观察：关门的人一年里完成的事可能更多，开门的人却更容易接触真正重要的问题，因为打扰携带着世界需求的信息。今天的“门”可能是收件箱、公开写作、开源项目或一群敢说真话的同伴。

这不意味着研究者应该让所有通知随时打断深度工作。更准确的做法，是在纠错回路里保留外部传感器：定期公开复现结果，发布自己已经造出的工具，用普通语言解释困难概念，也让半成品在合适的边界内接受批评。

这些行为的回报往往不是立刻发生，它们可能几个月后变成一次合作、一条关键参考、一个你原本不会遇到的机会。更直接的回报，是有人在你投入三个月以前告诉你：这个想法不行。

一个愿意让你提前失望的合作者，通常比帮助你更快执行错误方向的算力更值钱。

八、一次 GPT‑5.6 验证，怎样把一个漂亮结论推翻

前面这些话很容易被写成另一篇正确但无痛的研究方法总结。真正有意思的是，它们如何改变一项具体研究。

为了快速理解 GPT‑5.6 Sol 的实际能力，我们设计了一个本地编码任务：修复一个网文章节路径校验器，任务包含 URL 解码、目录穿越、重复路径、命令行退出码等要求。三个模型设置拿到相同代码、相同提示、相同权限；我们准备了模型看不到的隐藏测试，并保留原始工具轨迹和 token 数据。

第一轮结果很整齐。GPT‑5.5 high 通过 8/9 个隐藏测试；Sol medium 和 Sol high 都是 9/9。第一轮结束后，我们又新增了两个探索性鲁棒性探针；它们不属于最初冻结的测试，直到复跑前才被固定下来。在这两个探针里，Sol high 两个都通过，medium 通过一个，GPT‑5.5 一个都没通过。一个非常诱人的结论随之出现：medium 又快又够用，high 更适合安全敏感任务，GPT‑5.5 明显落后。

这结论听起来合理，数据也支持，甚至可以立刻写进“最佳实践”。

问题在于，每个条件都只跑了一次。

于是我们在复跑前写下停止规则：三个条件各再跑一次；如果关键结果出现任何翻转，就把相关结论标记为轨迹敏感，不再为了凑多数票继续烧样本。

第二轮，故事变了。GPT‑5.5 high 从 8/9 变成 9/9；Sol medium 从 9/9 变成 8/9，第一次失败的 NUL 输入这次反而正确处理；只有 Sol high 再次得到 9/9，并通过两个鲁棒性探针。

如果我们停在第一轮，会得到一个非常清楚、非常实用、也过度自信的结论。第二轮没有给出一个更漂亮的排名，却给出了更重要的信息：GPT‑5.5 和 Sol medium 的表现具有轨迹波动；目前只能说 Sol high 在这一个任务的两次运行中最稳定，不能把它外推成一般规律。

接着，我们又比较了 max 和 ultra 在一个由 15 份合成文档构成的封闭、结构化证据综合微基准上的表现。它不是开放研究任务，只要求模型按照既定证据层级完成事实提取和决策。Max 在大约 104 秒内答对所有预先计分的结构化字段；摘要和冲突解释文字并不计分，而且同一任务没有运行 high 或 medium，因此不能说 max 是满分的原因，或者 max 必不可少。

Ultra 启动后二十多分钟没有返回任何可见产物，于是我们将它手动停止。它的答案质量没有被观测，不能记成“质量零分”；能确认的只有这次产品体验发生了运营超时。看起来仍然很容易得出一个过宽结论：Ultra 不可用。

但一个最小诊断随后只花 11 秒就让 Ultra 完成了结构化输出和一次工具调用。这说明问题不是“Ultra 普遍不能工作”，而可能与那次请求、任务复杂度、输出 schema、服务状态或内部等待有关。现有证据无法继续区分。

研究在这里最重要的动作，不是替这个空白编一个最可能的故事，而是保留空白。

还有一个更尴尬的细节。我们一度在进度说明里把二十分钟称为“预注册上限”。随后，一个没有参与实验执行的 AI 审阅代理交叉检查原始文件，发现预注册文档只写了“超时算失败”，并没有写具体的二十分钟。于是报告必须再次修改：Ultra 的答案质量不是零分，而是没有观测；二十分钟只是运行开始后确定的运营停止点，相关时间结论属于探索性证据。

这几次修正比最初的模型排名更能说明研究是什么。

研究不是把第一份数据组织成一个故事，而是搭一套能让后续证据推翻这个故事的制度。

九、AI 让答案贬值，让证伪升值

过去，研究工作中相当大一部分成本来自执行：搜集资料、写代码、整理数据、生成图表、比较文献、起草报告。AI 正在快速压低这些成本。

这当然是好事。但当执行成本下降，瓶颈会移动。

一个模型可以迅速给出十个假设，却不会自动告诉你哪一个值得投入；可以写出一套测试，却可能让测试只覆盖它已经想到的情况；可以生成一份结构严密的报告，却可能在没有证据时补齐叙事；可以宣布“全部完成”，却没有真的运行关键验证。

答案越便宜，人越容易把流畅当成理解，把完整当成正确，把一次成功当成稳定能力。

所以 AI 时代的人机分工，不应只是“人提问，AI 回答”。更可靠的分工是：AI 扩大假设和执行的供给，人负责定义什么证据能改变结论。

人在研究中的核心责任会越来越集中到几个位置：问题为什么值得研究；成功和失败如何定义；哪一个实验最便宜但信息量最大；基线是否足够强；什么情况必须停止；哪些结论可以外推；还有哪些不确定性必须原样保留。

这不是把人浪漫化成永远正确的裁判。人同样会确认偏误、沉没成本和追逐热点，区别只在于，我们可以把这些弱点外置成程序：事前预测、隐藏测试、重复运行、反方审计、版本记录、停止规则。

AI 让生成答案的能力普及，研究能力的稀缺性因此从“能不能想出答案”，转向“能不能设计一个答案无法轻易蒙混过关的环境”。

十、每个人都需要一套研究操作系统

如果把原文的 23 个短节看成整体，它们描述的并不是一份好习惯清单，而是一套让纠错能够持续发生的个人研究系统。

去同质化的信息源负责产生不同假设；事前预测让判断留下痕迹；便宜实验和工具缩短接触现实的距离；原始失败、强基线和消融提供选择压力；写作与同伴审阅阻止故事过早闭合；日志和公开解释则把这一轮的错误变成下一轮可以继承的记忆。

可以把这台机器压成一个循环：

选择问题 → 留下预测 → 设计最小实验 → 接触原始结果 → 寻找反证 → 更新信念 → 接受外部纠错 → 进入下一轮。

这套系统最值得观察的，不是论文数、实验数，甚至不是单次命中率，而是“从错误发生到信念被修正，需要多长时间”。工具、知识和合作者都会在这个距离上复利。今天多保存一个失败配置、多写下一次错误预测、多认识一个愿意直说的人，看起来都只是小事。几年以后，别人会把累积起来的判断速度称为“天赋”或“运气”。

十一、快反馈也有陷阱：不是所有重要问题都适合被做成短循环

把研究理解成高速纠错系统很有力量，但它也可能制造新的偏见。

最明显的风险，是我们会偏爱容易测量、反馈快的问题。机器学习实验可以缩小数据集、重跑模型、比较指标，于是“更快实验”显得普遍正确。但临床研究、田野调查、长期社会变化、基础理论和许多硬件问题，反馈周期无法被任意压缩。一个问题重要，不代表它愿意迅速给出答案。

如果把纠错速度当成唯一目标，研究者可能系统性忽略那些验证缓慢却真正重要的问题。短循环适合排除低级错误、检验局部机制，不一定能替代长期观察。

广度与深度之间也有张力。跨领域探索可以找到独特交叉点，也可能让人永远停留在新鲜感里；关门专注能提高局部产量，开门交流才可能知道世界真正需要什么；公开半成品可以换来早期批评，也可能泄露隐私、放大未经证实的观点。

因此，研究操作系统不能只追求转得更快，还要保留对“什么值得慢下来”的判断。

有时最好的研究动作是做一个十分钟探针；有时是花三个月把基线调到不能再调；有时则是承认当前证据无法回答问题，等待新的测量条件出现。

速度服务于认识，不是认识服务于速度。

十二、研究者的最高能力，是允许现实重写自己

Vivek 的文章最后谈到长期复利：你读什么，记录什么，反馈循环有多快，和谁争论，是否愿意公开工具和解释，单独看都微不足道。几年后，这些小优势会长成一种从外部看起来像运气的职业轨迹。

但复利成立有一个前提：系统真的在更新。

如果一个人只积累支持自己的材料，错误也会复利；如果一套评估只奖励容易测量的指标，偏差也会复利；如果 AI 每轮都依据同一套未经检查的标准生成更多内容，自动化只会把自我欺骗扩大。

所以研究者真正需要保护的，不是某个观点、某条路线或某次漂亮结果，而是自己被现实改写的能力。

这也是 AI 时代最值得训练的能力。模型会越来越擅长回答，工具会越来越擅长执行，报告会越来越完整。人的价值不会来自与机器比赛谁更快给出结论，而来自建立一套制度，让结论必须经过现实、反例、复跑和他人的检验。

优秀的研究者当然希望自己猜对。但他更在乎的是：如果猜错，系统能不能尽快告诉他；告诉他以后，他是否真的会改。

研究者不是那个从不犯错的人，而是那个把工作设计成可以被现实纠正的人。

当答案变得廉价，这种能力会越来越贵。

资料说明

本文不是对 Vivek 原文的逐节翻译，而是基于原文和一次 GPT‑5.6 验证所做的方法论发展。文中 Hamming、Schulman、Shannon、Karpathy、Andrew Ng、Darwin 等例子均是沿用 Vivek 原文的援引；本文未分别对这些轶事完成独立史料核验。