算法黑箱：机器看见了我们看不见的，然后呢？

算法黑箱，通常被当作一个需要被解决的缺陷来谈。但过去十年最重要的几项进展恰恰来自黑箱内部：机器在一些领域找到了人类想不到、看不懂、甚至描述不出来的东西，而且它们是对的。这篇文章想把两件经常被混在一起的事分开 —— 机器「算得准」和机器「理解了」不是一回事；然后讨论一个更有用的问题：既然机器能看见我们看不见的东西，能不能反过来，让它告诉我们自己漏看了什么。

算法黑箱：先把「理解」拆成三层

「人工智能理解了人类无法理解的事物」这句话之所以容易引起争论，是因为「理解」至少有三个彼此独立的含义：

• 能预测 – 给定输入，说出会发生什么。
• 能解释 – 说出为什么会这样。
• 能被检验 – 把结论交给另一个人，他能独立判断对错。

这三层是递进的，后两层比第一层难得多。今天绝大多数被称作「AI 理解了人类理解不了的东西」的案例，说的只是第一层。这不是贬低 —— 第一层已经足够改变世界。但把第一层说成第三层，就是在制造误会。

所以真正值得问的是：在那些机器已经远远超过我们的领域，第二层和第三层发生了什么？

三类「看不懂」，程度递增

不是聪明程度的差别，是带宽的差别

人的工作记忆能同时把握的独立变量，大致在四到七个之间。我们发展出的全部智力工具 —— 符号、公式、图表、分而治之、抽象 —— 本质上都在做同一件事：把高维问题压缩成人脑装得下的低维表示。

数学之所以有效，很大程度上因为它是一套压缩技术。牛顿定律之所以被认为美，是因为它把无数现象压进了几个符号。

这个视角有一个值得留意的推论：人类至今没攻克的问题里，可能有相当一部分并不是「难」，只是维度太高、压不下来。对我们难，未必对别的处理方式难。这也解释了为什么突破往往出现在那些变量极多、又有大量数据可学的领域，而不是那些真正需要新概念的地方。

开普勒写下来了，模型不会写

开普勒盯着第谷留下的观测数据看了很多年，最后写出三条行星运动定律。那三条定律极其精确，但开普勒不知道为什么，他甚至一度用行星的「灵魂」来解释。八十年后牛顿给出万有引力，开普勒定律才从经验规律变成可推导的结论。

今天绝大多数模型停在开普勒这一步。**不同的是：开普勒把定律写了下来，而模型不会写。**它把规律留在权重里 —— 规律确实在，也用得上，但没有那个可以被后人拿去推导、去证伪、去在其上继续构建的符号形式。

所以真正的问题不是「机器是否理解」，而是：如果规律永远不被写下来，知识还能不能累积？科学的力量从来不在某个人算得准，而在于每一代人能站在上一代写下的东西上面。一个只给答案不给理由的神谕，给不了这个。

算法黑箱，什么时候可以接受

黑箱既不是天然的罪，也不是可以随便用的。分界线其实只有两个条件，两个都满足才成立：

1. 结论能被廉价地独立验证。蛋白质结构做个实验就知道对不对；围棋下完就知道输赢。验证成本低，黑箱就可控。
2. 错了的代价有限且可承受。一次失败的实验、一局棋，损失是有边界的。

反过来，当结论本身就是要向别人证明的东西时，黑箱就不可接受了 —— 不是因为不够准，是因为它交付的根本不是那样东西。审计意见、风控拒贷、监管报送、司法证据、重大投资决策，这些场景里「算得准」不是目标，「能向第三方证明算得对」才是。一个准确率极高但说不出理由的模型，在这些场景里的价值接近于零。

算法黑箱，因此不是一个需要一刀切支持或反对的东西，而是一个需要按场景判断的条件。分析工具的选择也是同理，参见数据科学工具选型里关于可解释性与准确率取舍的讨论。

反过来用：让机器指出你没看的地方

前面几节讲的都是机器看见了人看不见的东西。但同一件事有个反向的用法，而且它可能比正向用法更实用。

人做分析时的真实困境，往往不是算不出来，而是只算了自己想到的那几刀。手上有十几个维度，你按其中两个分了组，看到符合预期的结果，就停了。这不是能力问题，是注意力有限加上确认偏误 —— 人天然会先去验证自己相信的东西，而且一旦验证成功就倾向于停下。

机器在这件事上恰好有对称的优势：它不累，没有偏好，也不在乎结论是不是符合谁的预期。所以可以让它做人不愿意做的那部分工作 —— 把你没走的路都走一遍，只报告那些会改变结论的。

三类可以被计算出来的盲区

• 没切的那一刀。数据里有十个维度，你按两个分了组。把剩下的组合都跑一遍，只挑出那些会让结论反转的切法。辛普森悖论就是这样被抓出来的：整体看 A 优于 B，分渠道看每个渠道都是 B 优于 A。
• 丢掉的那部分数据。每个过滤条件都在扔数据。对比扔掉的和留下的，如果被扔掉的那部分在某个维度上高度集中，这就是一条必须回答的提示。很多错误结论的根源在这里，而且几乎没人会主动去看。
• 翻盘点。哪一个假设只要动一点点，结论就反过来。这个数比结论本身更重要，因为它说明这个判断有多经得起推敲。

值得注意的是，这三类都是确定性计算，不需要大模型参与，也不该交给大模型 —— 交出去反而不可信。大模型适合做的是另一件事：提出候选的对立解释（这个增长会不会来自季节性、基数、口径变更），然后仍然由确定性的计算去逐一验证。

这件事有一个技术前提

要指出一个人「没看什么」，前提是机器能读懂他「看了什么」。

一段脚本，程序能看到的只是一串文本；而一条显式的分析流程是一张结构化的图 —— 用了哪些字段、按什么分的组、哪一步筛掉了多少行、在哪里停下的，全都是可被程序读取的事实。所以盲区检测能不能做，取决于分析过程有没有被显式地记录下来。这也是可视化工作流这类形式除了可复核之外，一个不太被提起的价值。我们公司的产品方向与此相关，具体不在本文展开。

那么人还剩下什么

三件事，按重要性排：

1. 提出问题。机器在给定的搜索空间里找最优解，但那个空间是人划的。AlphaFold 之所以存在，是因为几十年前有人认定蛋白质折叠值得死磕。判断什么值得算，这件事至今没有交出去。
2. 承担后果。结论用不用、错了谁负责，这不是认知问题，是责任归属问题。而责任的前提是可解释 —— 说不出理由的结论，法律和制度都接不住。
3. 把机器找到的东西翻译回来。机制可解释性本质上是在做「逆向开普勒」：从权重里把规律读出来，写成人能用的形式。这条路走得通，黑箱就只是暂时的；走不通，人类知识会第一次出现一个长期的、只能用不能懂的部分。

关键事实

常见问题