以下为汪军教授在机器之心 AI 科技年会上的演讲内容，机器之心进行了不改变原意的编辑、整理。
谢谢机器之心的邀请，我今天的演讲主题是《机器意识人工智能终极问题 “最后一公里”》，它只是一个抛砖引玉。我希望大家能够围绕该话题展开广泛的讨论，包括一些深入的技术探讨。我认为这个问题本身非常宏大，同时也非常有意思，涵盖了不同领域的融合。我希望 2023 年自己的团队以及其他团队有更多人投入到这个方向上来，有更多的思考。这是一个长期的发展方向。
之所以在标题中使用「最后一公里」，是因为我觉得虽然当前看到很多 GPT 系列的 AI 出现很大进步。但是，对于现在的神经网络，我希望包括自己团队在内的更多人去思考它的局限性。那么局限性是什么呢？我们或许有一些新的方法论（包括新方法），能够对 AI 实现一些质的突破。
演讲内容主要包括如下几个方面。首先是讲当前深度学习为基础的 AI 有哪些短处？当然大家都在讲它的好处，包括大模型等，但我想从当前存在问题的角度来阐述。接着是如何解决这些根本性问题？我在思考从脑科学以及人的意识、对人脑的研究这些方面会不会给我们带来不一样的东西。最后介绍一些当前机器意识的研究，包括目前的进展和未来的方向等。
以深度学习为基础的 AI 存在哪些局限？
大家都知道，人工智能和机器学习不可分割。所谓人工智能，就是能不能让机器像人一样，有人的智慧，甚至未来比人的智慧更加强大。现在一个核心的方法或者关注的问题就是机器学习，即如何让计算机程序通过过去的经验（包括人为标记或未标记的数据、与环境的过去交互或从模拟器收集的数据）来提升性能。
我们看到 ChatGPT、Transformer 等系列，通过大模型将人类历史上产生的所有数据，比如文本和图像，甚至拓展到了整个互联网层面。我们可以想象把人类五千年经验的积攒都放在网上，本质上可以将它们作为人类收集的经验，用一个基础模型来包括，并用它来学习，目的是提高各种各样的性能。
简而言之，我们可以把所有这些问题都包括成所谓的预测问题，就是我有一大堆数据，然后预测标签，通过神经网络在中间作为一个拟合或者函数映射。从数据到标签，当然也有其他的形式，比如各种各样的预测方法，包括语言模型、计算机视觉。同时我们在强化学习中也可以用到映射。真正的表现形式可以是多样的，但本质上就是一个映射。
如何去做呢？当然我们都知道是用深度学习，它是根植于生物或对大脑的研究，比如神经元，让它计算机化出不是蛋白质或者生物系统，而是在硅的系统下做成计算机形式的神经元。通过多层的形式能够达到并学习更复杂的表征，然后解决各种各样的机器学习任务。
变化也很多。有了神经网络以及 X 到 Y 的映射，我们可以处理各种各样的问题，比如监督学习和无监督学习、分类问题、生成式模型和强化学习。既然深度学习或者神经网络能够实现从 X 到 Y 的映射，大家对它展开了一些理论研究，比如它的能力边界在哪？之前有理论分析它是一个通用近似理论（universal approximation theorem），即在一定约束的情况下可以映射从任意的 X 到 Y 的拟合。
机器学习中有个「No free lunch」理论，我们在用神经网络或其他功能进行学习时，它对有些任务拟合得非常好。但是在有先验知识的情况下，如果拟合符合当前的先验知识，你必然能找到一类或一个任务无法学习。也就是说，虽然神经网络具有普适性且逼近如何拟合，但它并不适合所有任务。在有些任务上成功必然会在另一些任务上失败。
既然这样，我们如何让智能体拥有一个很好的学习方法？它能够非常适应周围环境，尤其是不断变化的环境。这点对人和机器学习都非常重要。由于机器学习讲究的是泛化性，如果无法泛化到一个以前没有见过的环境，它的学习能力显然也是有限制的。
回过头看，对于复杂的任务，现在的机器学习方法还未能达到解决的地步。比如自动驾驶，你可以将它归结为当前 AI 系统还不能像人一样观察环境、根据当前情况进行判断、做决策和执行。
如下图所示，英国的 Magic Roundabout，它有好几圈的十字路口。这时候作为人去开车的话，要经过非常深入的观察、判断以及决策。如果从生物或者认知学角度来讲，它是通过所谓的 System 2 的方式来执行。在这种情况下，如果你问人（即驾驶者）当时是如何去执行的？他会非常清楚地告诉你看到了哪些车子以及怎样做出的判断等。
人其实是有意识的，可以主观感受到并报告给你当时发生的情况。当然人在驾驶的时候也有另一种模式，即 System 1。在这种模式下，你可以打电话，将自己的注意力或意识放在别的地方，同时你也可以开车。但是你在开车的情况下，只能适应一些简单的、你熟悉的路况。当你被问到是否碰到红绿灯或者其他情况，你完全不知道，这时你的意识集中在打电话这件事上。
所以从人的角度看，你会发现，当人要适应一个变化多样的环境时，它不是所谓的 System 1，肌肉记忆要从 X 预测到 Y，在当前状态下要干什么。它要经过思考、判断来决策。那么如何让机器思考或者现在的机器甚至最大的大模型有没有思考呢？按照当前的神经网络架构来看，它是没有思考的。它就是 X 到 Y 的映射，在一个状态下应该怎样做出行为。所以在新的环境下，它是没有办法实现非常有效的适应。
神经科学与意识
人类智能的两个系统
如果事情是这个样子，我们可以走到生物体里面，不一定非得到人。我们可以观察其他的哺乳动物，看看它们做出什么决策，或者它们作为生命体如何做决策。你会发现，它们从最原始的如下图右所示的条件反射，可以对不同刺激建立起一些关联性。这是通过过去的经验经历来展开关联，也可以把原来有关联的去掉。它可以随着环境的改变而变化。同时如下图左所示，人有非常强大的意识，在执行决策的时候主观上报告给大家，用语言来描述当时经历了什么情况。
你会发现，在做决策的时候有两个阶段都可以包括在内。所以，一些神经科学家包括研究深度学习的科学家提出了 System 1 和 System 2 的概念。我们有慢思考（slowthinking）和快思考（fastthinking），慢思考是比较有主观意识的，可以进行规划、推理等。System 1 是应激性的、非常快的，同时是没有主观意识的。虽然可以解决一些问题，但无法解决所有问题。
在这种情况下，我们去看大脑。它在人进行 System 1、System 2 或无意识、有意识做决策时，是不是用到了同一种机制呢？它在大脑里反映的东西是不是在同一个区域呢？答案是否定的。
从下图可以看到，它的机制是不一样的，在不需要调动所有大脑功能的时候，其实你只能做一些东西，也即是所谓的无意识控制（Unconscious Control），你还可以做一些应激性反应。
比如刚才所讲，打电话的同时在开车，开车这个动作只激活了大脑的一部分。当你要有主观意识的时候，就变成了全局性的，即大脑的所有地方都被激活了。这时我们可以用现在的一些手段，比如 EEG、核磁共振大脑切片等，观察大脑哪个地方被激活以及哪个地方没有被激活。我们可以明显地观察到差别。
意识的定义
那么意识到底是什么？当然它有各种各样的定义，也没有一个非常严谨和直接的定义。但是大部分人接受的一种定义是，意识就是主观感受。我们又如何判断它是主观感受呢？作为一个人，如果你可以感觉到并主要通过语言等方式描述给其他人，就认为它是一个主观感受。
比如人在开车时调用了 System 2，则有主观感受，可以描述当时开车的主观经验。这时就认为当时你的大脑中的确产生了意识，甚至可以审视你的神经、大脑的某些部位。在你产生意识的时候，我们可以用 EEG、核磁共振去测量你的脑电波以及大脑切片。当你产生主观经验时，我们可以定格到你的神经网络的某些阶段甚至是特定的神经元。
每个人的体验是不一样的，比如我们在欣赏艺术作品、看电影、读书时，根据自己的经验和判断得出不一样的感受。所以，主观性是非常重要的。
回到人工智能，现在计算机科学是实现人工智能的一种主要手段，一种机器学习手段。我们为什么要研究主观经验和意识呢？它们对人工智能有什么帮助呢？在我看来，主观感受或主观经验是我们观察到的一个现象，与智能水平有关联。
从刚才讲的很多例子发现，在人的情况下要去解决并必须产生主观感受。也就是说，在高级智能水平的情况下就会产生意识。因此我们必须研究它的机制、它对人工智能以及智能的影响。更高级的智能中可能就需要这样的机制。
如果任何智能没法产生意识，我们不能说它没有产生智能，而是不能产生最高级的智能。那么意识是不是必要或充要条件呢？它可能是其中的一个路径，但不一定是必要条件。这个方向指导我们实现更高级的智能，走到第二个阶段来跨越刚才讲的 No Free Lunch 和适应性问题。
这里还有个话题 —— 自由意志（Freewill）。作为人这种生物体而言，最后都会归结到细胞、蛋白质等物理的东西。那么又如何会有主观的东西在里面呢？又怎么会自由地决定这些事情呢？
按道理，如果我们遵循物理的原则，任何东西都是确定性的。如果这样，则在分析细胞以及物理东西的情况下，从第一原则出发，可以完全预测出它最后的结论和行为。为什么会有自由意志在里面呢？哲学家以及大脑研究相关人员都在努力搞清楚。
那么，是不是就可以从决定论的角度，根据每个神经元的分析来弄清楚宏观的东西。答案是否定的。因为大脑作为一个整体，当你把所有信息结合在一起的时候，它就变得不可分割了。所以你的分析必须要在整个大脑或整个 AI 作为一个单独系统的情况下，导出一些东西。并且任何个体都是有自由意志的，可以进行判断、决策，最后达到想要的。从第一原则即最低级的原则来判断，这是不冲突的。
为什么呢？在整个大脑作为一个整体来讲时，我要把信息集成在一起。这个量是大于各个元素以及各个个体（component）的。如果这样，你必须要对整个大脑作为一个单元来分析。如果破解开来，显然就丢失掉了额外信息。其中一套理论是如果信息集成充分，就会产生意识。同时从刚才所讲的测量脑电波和大脑图像看出，当有主观意识时，人的大脑中的信息全部都被调动。
不同的意识理论和模型
现在针对意识有一些理论和模型，其中一个比较流行的是 Global neuronal workspace。关于刚才所讲核心的适应性问题，当做决策要适应各种各样的环境和任务时，作为一个神经网络或者结构来判断是否整体上解决了所有问题，还是解决各个功能模块然后整合起来以不变应变。如果可以涵盖各种各样的个体，则神经网络可以做到 compositional。
我们必须要把所有的信息合在一起，这时一个简单的方法就是 global workspace，其他地方都是与它连接。因此在做判断、决策时，我们可以将所有信息整合在一起，通过 global workspace 再发回到各个地方。同时信息整合之后，我们就可以做决策了。
这里是对意识的产生进行数学建模的其中一种方式，也不一定是数学模型。具体地，当信息在整合过程中，从 global 传递到各个地方并进行激活的情况下，就会产生意识以及主观感受。
此外，如果我们对数据中的信息进行分析，你会发现在看现在的人工神经网络时，它是不是达到了我们刚才讲的情况，是不是把信息都整合了？答案当然是否定的。
再来看 Integrated information hypothesis，当信息整个集合的时候，整合起来的信息量大于单个个体。如果有系统可以产生这样的信息量以及信息的集成，也就是刚才所讲在整个大脑里面信息量得到了整合。同时也就摒弃了一切争论。确定的一点是，只有在信息整合充分的情况下大脑单元中才有主观意识。
如果这样，我们用信息集成度来测量现在的神经网络、深度学习、Transformer，你会发现它们的信息整合度是零，也就是说在这种情况下不可能涌现出意识。现在使用的这些传统的feed forward神经网络方式是不可能的，但是如果用到一点点信息集成度，就需要产生一些东西比如回路（loop），也即当从各个个体到整个的 global workspace，再从 global workspace 把信息传回其他地方，出现了两者之间的反馈回路。先从 global workspace 反馈到各个单独的模块，同时各个模块再把它整合的信息返回到系统中。当出现回路时，信息就有集成了。
所以，你在测量比如 recurrent neural nets，即有一定信息回路和内存时，就会产生意识。有了一定的信息整合度，就会有一定的意识。所以这里用「整合信息理论」来解释意识。但是，这与我们常见或者感知到的意识并不是完全一样。这是因为这个测量是对的，你会发现家里的温度控制器其实也有意识。
所以这里定义的意识概念大于我们感受到的意识，比如人类意识。它只是作为一个必要条件。这意味着，如果我们想要有非常强的智慧，可能还需要其他一些东西（比如机器学习相关的）或者其他方法、特点。
刚才所讲的集成信息理论（Integrated information theory），我没有太多时间深入探讨。但这里很有意思，其实它是从信息论推导出来。信息论探讨的是两个系统，它们之间有一些通讯，那么系统之间传递信息的时候符合什么样的理论和条件呢？
集成信息介于它，考虑的是一个系统比如大脑系统，把外界全部关闭。当我再去回想和做思考，以及将过去信息进行集成的时候会有什么规律呢？这是非常有意思的一套理论。我觉得从中可以推导出非常有意思的事情，也是自己目前比较看好且看得见摸得着的，非常符合计算机科学家去利用和发扬，甚至可以跟 AI 结合。
其他概念
接下来，我会快速过一遍其他概念，比如自我意识（self-consciousness），即「我是什么」。这个问题当然也比较大，包括我们在进行强化学习研究的时候，你会发现这个概念是缺失的，没有“我”的概念。又比如我们让强化学习玩 Atari 时，它完全不知道是在控制图像像素上的几个小点，它自身与环境完全没有分开。
所以你会发现，我们其实达到了什么阶段呢？所谓的强化学习以及相关方法，只是到了婴儿的早期阶段，它没有达到能够分开妈妈和小朋友的情况，所以还是没有成熟。我们发现在让强化学习做决策的时候，会有好多有意思的事情可以重新展开，重新用数学来表达。
机器意识及其不同阶段
刚才所讲的是人大脑的相关意识，那么机器能不能产生意识呢？这也是个问题。我觉得在计算层级和数学表述层级，这两个问题是相通的。因为你可以将人类大脑想象成为一个所有的神经网络的连接，它也是一个信息系统。
如果你同意这个观点，那么在建模、数学表达和理论模型表达方面其实是一致的，只是实现和表现形式不同。它们可能产生不同的特征，在实现的时候可能一个用硅、一个用蛋白质。所以如果大脑产生的这些东西使用硅的方式，必然能够产生相通的东西，只要遵循相同的数学原则。所以机器意识肯定会产生，只是时间问题。
既然这样，我们作为研究人员是不是马上就能达到这个阶段呢？答案可能是 No。就像自动驾驶一样，我们能够达到完全自主、让车开得跟人一样好或者比人好吗？这是有阶段性的，至于什么时候能够达到，可能需要很长时间。但这并不代表我们现在不去做研究，不去做一些中间的事情。
比如特斯拉自动驾驶，它还没有达到 L5，可能需要五年、十年甚至二十年才能实现。这并不意味着特斯拉车不能上路，它正在一步步地逼近我们的最终目标。同样的道理，我们在研究机器意识的时候，也需要一个「沿途下蛋」的概念，分成不同的层次。所以我们基本上将机器意识的阶段分为了 C0 到 C5。
先来看最开始的阶段，完全没有机器意识，就是刚才所讲的函数映射、CNN 甚至 Transformer。一部分 Transformer 可能存在一些记忆，来记一些东西，甚至存在一些回路。
再往上它有对具身和对手的建模，比如多智能体学习、单智能体学习。目前爆火的 AIGC 大部分都在 C0 阶段，只是有机器在模仿有意识的人类产生的数据，在拟合数据，因而只能达到表象的意识。现在神经网络的拟合效果非常好，可以达到极致。所以它们是在 MC1 或 C0 阶段。
我们不能只在这个层次研究，必须要去研究意识产生的机制，并对这些机制进行建模和了解。在这个层次上，我们通过创新会产生不一样的东西，包括整个机制中有无反馈、有无记忆。在这种情况下才能最终达到 C2、C3，甚至是心智、情感，产生真正的具有自主交流甚至最后可以自主进行科学和有意识创作的机器人。
我觉得任重道远，但其实是一步步来的，每个阶段都有各自的主要短期目标。
那么，是不是在计算机或人工智能领域完全没有这样的工作呢？回答是否定的。其实在研究人工智能的过程中已经有一些工作展开了，比如 global workspace，它甚至都谈不上一个数学模型，而只是一个对人产生意识的框架或理论。我们作为计算机科学家的主要任务是假设模型是对的，但如何去将它计算机化？这是主要矛盾。
你可以使用什么手段呢？比如人工神经网络，你可以在它的机制上尝试实现。如果不能实现，则要考虑是不是修改计算单元。如果能实现，则要考虑如何去建立新的神经网络架构和学习方法。我觉得这些是计算机科学家的活动空间。
其实已经有一些工作，比如把 global workspace 变成可计算。结果发现在这些情况下，我们能够做一些跟现有深度学习不一样的东西。所以这里做了一些尝试，一些方向上的东西。
同样地，在强化学习中，我们可以有对具身的建模。但这些其实并不足够，我们可能需要发明一个新的框架，比如反馈回路、自具身世界建模、对手建模和 Meta-recognition。所谓 Meta-recognition，即强化学习知道它自己在做强化，自己反思这些行为，并在 Meta 层次看能不能识别。这些到最后是不是就能产生自我参照（Self-reference），并产生自我的概念呢？我们在这一方面做了很多尝试。
还有一个最关键的方面，我们可能需要把环境和个体分开。只有把环境与个体分开，才能达到刚才讲的那些。因为如果没有界限，你就不存在什么东西或个体去适应。在没有个体的情况下，可能就没法达到我将来想要实现的这些目标。
在这个基础上，我们也做了一些尝试，比如在多智能体中如何对自己和对手进行建模。我们通过前几年的工作发现，能够通过一些方法进行数学表达，非常自然地得到对手的结果。再比如心智的问题，即我在思考别人、别人在思考我，在多智能体场景下我要怎样建模。
这里我想讲的是，我们其实可以通过计算机的手段逐步向前推进，最终产生机器意识，并达成产生更强人工智能的目标。
结语
我今天所讲既没有很深也没有很广，正如开头所说抛砖引玉而已。我想抛出自己的问题，即「当前的深度学习存在什么问题」。我们看到 ChatGPT 的效果，但它其实非常受限，它只是被给予了有意识的人类5000年来产生的所有这么多数据，然后拟合这些数据。
现在的神经网络可以处理数据、并拟合得很好，但它是不是真正能够产生跟人一样的智慧呢？答案可能是否定的。它只是对这类数据的拟合，并完全没有达到对整个智能本质的理解。
所以我们必须要解决非拟合的机制上的根本性问题，如何办到呢？我们可能要从神经科学和意识理解层面，考虑怎样对人类大脑做适应、怎样通过个体的分化和各个功能模块、怎样高效地将这些模块整合起来。在更多了解这样的机制的情况下，可能会对 AI 再往前走起到一个质的变化。
快抢沙发！
