【数字智能是否会取代生物智能】Geoffrey Hinton教授在牛津的Romanes讲座观后感
牛津罗曼尼斯讲座（Oxford Romanes Lecture）是在牛津大学举行的一项声望很高的年度讲座活动。这个讲座系列以19世纪著名的生物学家、达尔文的支持者乔治·罗曼尼斯（George Romanes）的名字命名，由他的遗赠建立。讲座内容涵盖广泛的领域，包括文学、科学和公共政策等，由各领域的杰出人物担任演讲者。过去的演讲者包括温斯顿·丘吉尔、T.S.艾略特和艾丽丝·默多克等著名人物，使得这个系列讲座成为深入洞察和智识交流的平台。罗曼尼斯讲座吸引了包括学者、学生和普通公众在内的广泛听众，他们热衷于与领先思想者共同探讨当代问题和观点。这是Geoffrey Hinton教授在牛津的Romanes讲座。人类和机器的学习方式不同，人类的学习需要有先验的认知结构，康德的纯粹理性批判就是在分析认识如何可能的问题。即使在日常的学习中，也可以感受到人是通过抽象和逻辑来进行学习，以便能够更好的记忆和触类旁通。但机器则不同，只有知识就够了，不需要任何先验的框架和逻辑，仅通过对数据的学习就能够涌现出等效于逻辑的理解能力。此外，机器训练出来的模型可以大量拷贝并运行无数个副本，副本之间可以通过高效的梯度和权重共享来同步信息，就好比超时空要塞F里面的宇宙生物Vajra，而人类的知识传递则要低效得多。
这是翻译视频的源地址：数字智能是否会取代生物智能 (qq.com)
本次讲座Geoffrey Hinton教授解释了什么是神经网络，什么是语言模型，并且为什么它们有理解的能力，最后谈论了人工智能会带来的一些威胁。
首先谈论了数字神经网络和模拟神经网络之间的区别。
逻辑启发方法认为智能的本质是推理。也就是通过符号规则来操作符号表达式。这种方法认为学习可以等待（Learning can wait）。
生物启发方法认为智能的本质是学习联系之间的强度关系。这种方法认为推理可以等待（Reasoning can wait），且当下无需担心推理。
接下去解释了什么是人工神经网络。
也就是我们在李宏毅教授的课程中学习到的内容。一个神经网络分为输入和输出的神经元，这两个神经元的中间就是隐藏的神经元。然后是特征检测，也就是类似CNN的思想，只关注输入中特征部分，每个神经元负责检测不同的元素即可。
然后是连接两个神经元之间箭头上的点代表权重。问题是谁设定这些权重？
一种简单的方法，就是随机设定初始权重，这种方法会起作用，但需要很长时间。开始先随机设定一个权重参数，然后稍微改变一下，就能发现神经网络是否工作得更好，在一大堆结果中来回试，去真正评估它是否效果更好。而在这个过程中，我们需要做的就是来回调整参数。
这就是变异（mutation）的方法，它是一种进化的运作方式，即遗传算法。
还有一种反向传播机制。通过网络从输出层向输入层的方向发回信息，这些信息是关于你得到的和你想要的之间的差异，然后同时计算出网络中的每个权重。可以使用链式法则中的微积分来做到这一点。
反向传播法显然比变异更加有效。我们神经网络中的权重越多，反向传播法的优势就越明显。
这也就是神经网络如何作用到图像中的物体识别方面。
那关于语言呢？
存在这样一个想法，一个大的神经网络，它没有天生的知识能够理解语言的语法和语义，它仅仅通过查看数据就可以学会语言。
有两种截然不同的意义理论。
结构主义理论认为一个词的含义取决于它与其它词的关系。这来自索绪尔（Saussure）和符号学（symbolic）。所以你会有一个关系图，其中有单词的节点和关系弧，你可以捕捉到这样的意义。
还有一个理论，这是心理学存在的现象。一个词的含义是一大堆特征的集合体，比如狗是一个生物，是一个掠食者等等。但没有确切地说明一个词究竟有哪些特征。
这两种意义理论听起来完全不同，我们如何去统一这两种理论。
Geoffrey Hinton教授在1985年用一个简单的模型做到了这一点，里面仅有一千多个参数，所以特别适合拿来做讲解。
我们的想法是要学习一组单词中每一个单词的语义特征，然后我们将学习各个单词的特征是如何相互作用的，从而预测下一个单词的特征。如果你想要每个单词的关系图，你可以从你的特征中生成它们。所以这是一个生成式模型。知识存在于你给的符号的特征以及这些特征的交互方式中。
所以这里教授采用的是简单的关系信息，两个家族树。它们是故意同构的。
从中可以推断出一个简单的关系：
问题是，如果只有一些三元组，如何理解这些规则？
符号性的人工智能想要的是从形式中的推导出规则。现在对于非常离散的规则来说，要永远不会违反规则，则它可能并不是最好的方法。但一旦你得到的规则有点不稳定而且不总是适用，那么神经网络会更好。所以问题是，神经网络是否能捕获符号性的知识？人们会通过反向传播来得到规则吗？
所以神经网络看上去像是这样：
一个符号代表这个人，一个符号代表关系。那么输出符号通过一些连接到达这些特征向量，并且这些特征是由神经网络学习得来的。因此，从第一个人的特征和其关系的特征，然后特征相互作用并预测出人的特征。从中可以得到要预测的输出人员的最接近的匹配。
这个网络的特点是它学习到了有意义的东西，它学习到了特征。
所以它了解了该领域的所有这些明显特征，并且它学会了如何使这些功能交互以便生成输出。这些特征之间的相互作用可以生成符号字符串，但它不存储任何符号字符串，它将单词全部转化为权重，然后可以从中重新生成序列。
今天我们的大语言模型就相当于这个的进化版，像GPT等等这些模型，它们拥有更多的单词作为输入，它们使用更多层的神经元，它们使用更加复杂的交互方式，不只是一个特征影响另一个特征，而是特征向量之间的匹配。但是它们的整体思路是差不多的，就是把简单的字符串变成特征，用于单词片段和这些向量之间的交互。
其实很多人认为这并不是真正的智能，它们只是一种美化的自动完成的形式，使用统计规律将文本片段拼接在一起，这是认为创造的而已。
但是教授在这里澄清的是，这数百万个特征以及特征之间数十亿次的交互，就是机器学习理解的过程。这些大型语言模型，它们正在将模型拟合到数据。
大模型是一种很奇怪的模型。它很大，它有大量的参数，但它试图理解这些离散的符号，通过特征以及特征之间的交互方式。
我们所拥有的最好的关于大脑如何运作的知识，是通过为单词分配特征并具有特征和交互。
接下去是教授的另外一个论点：GPT-4会产生幻觉，当它由语言模型完成时，它实际上应该被称为虚构。也就是这种模型只是编造一些东西，还可以进行一些推理。
这是GTP-4的回答：
这里教授对回答的内容用的是，“它完全锚住（nailed）了它“。
所以通过看上面GPT4的回答，我们可以说它是能够理解的。
然后教授谈论了关于这个的风险。
强大的AI可以让虚假图像、声音和视频存在。比如说可以影响一些选举，也就是AI帮助破坏民主。
这也伴随着失业的问题，我们对此并不了解。因为过去技术在代替一些行业的同时也会带来新的就业，但是我们现在面对的技术比以往的任何技术都要强大。
我们人类曾是动物当作最强的生物，当我们进行工业革命时，我们拥有了更强大的机器，使得体力劳动消失了。因此，相当于体力劳动的工作将会消失。
但在智能领域，我们得到的东西比我们聪明得多，这又是否需要我们担忧？
我们要区分两种失业。
有些工作，它可以让你扩展无限期完成的工作量，比如医疗保健领域，每个人都想要有一个私人医生可以一直与他们交谈，所以医学领域的工作还有巨大扩展的空间，那里不会有失业。
但在其他方面，也许会出现大量失业。
另外一个方面就是，它可能会产生致命的自主武器，并且它们真的会是自治的。美国人说，到2030年，一半的士兵都会是机器人。
还有的危害就是网络犯罪和故意的网络病毒会变得更加容易。
再来的危害还有歧视和偏见，这里应该说的是机器人对于人的歧视和偏见。不过相比于上面的问题，这可能是最容易解决的问题了。
最后，也是最大的威胁（教授这里也说了这是造成他离开谷歌的原因之一）就是，这些东西可能消灭人类。它们可以通过很多种方式消灭我们，比如它们会被一些有权势的坏人（这里举例的坏人在讲座的原文中提到，这里不太适合写出来）利用，它们想利用他来操纵选民和发动战争，他们会让它做非常坏的事情，并且他们可能会走得太远，以至于最终被AI接管。
不过还有一个教授最最担心的是，如果你想要一个可以完成任务的智能代理，你需要赋予它创建目标的能力。比如你想去吃饭，你的子目标就是去食堂，这样子你就只需考虑怎么去食堂，暂时不用担心其它事情。所以，如果我们让超级智能接管，让它们被允许创建子目标，一旦允许它们这样做，它们就会很快意识到有一个几乎通用的子目标，那就是获得更多的控制权，这样是否意味着它们可以操纵大众呢？
另外还有一件令人担心的事情，如果超级智能相互竞争会发生什么呢？
你会看到进化。谁获得了更多的资料，谁就会变得更加聪明。一旦它们有了自我保护的意识，然后进化就会发生，可能和我们人类的进化历程一样伴随着侵略和竞争。
尽管我们距离超级智能还有很长的一段路要走。尽管这个问题暂时还无需担心。
但是教授依然认为，大脑比我们拥有的人工智能要好得多。大脑处理短期权重会更加擅长。
我们现在拥有的数字模型已经非常接近和大脑一样好了，并且将会比大脑好得多。
所以数字计算很棒！你可以在不同的计算机、不同的硬件上运行相同的程序。
数字计算需要做的就是保存权重，这意味着它是不朽的，不论硬件坏了，只要我们保存了权重，我们依旧可以制造更多的硬件并运行相同的神经网络。但是要做到这点，我们需要非常高的功率运行晶体管，因此这样的行为是数字化的，我们必须拥有完全按照要求执行任务的硬件。
我们训练一个大模型，训练消耗的可能是兆瓦级的能量。但是我们的大脑可能只需要30瓦。
不过我们现在有了让计算机做事的另一种方式：模拟硬件。
现在我们知道了如何去训练模型，也许我们可以使用模拟硬件，利用每一部分独特的特性去训练它，让它做我们想的事情。
如果这么做了，也许我们可以放弃将软件和硬件必须分开的这个想法。
我们可以拥有只适用于该硬件的权重，然后我们就可以更加节能，也就是我们使用非常低功耗的模拟计算在它们之间进行连接，就可以并行化数万亿个以电导形式储存的权重。我们可以拥有自己调教的硬件，让它做正确的事。也许能更加便宜地使用硬件，甚至对神经元进行一些基因工程，回收神经元去制造它。
在神经网络中一直在做的事情就是获取一个神经元活动的向量，并将其乘以权重矩阵，得到下一个神经元活动的向量，再传到下一层去。因此，我们需要提高向量矩阵乘法的效率。在现在数字计算机上的做法是，我们有驱动这些非常高功率的晶体管来表示32位数中的位，之后如果需要将两个32位数字相乘，大约可能需要计算1000次的1位数字运算这个样子。
有一种更加简单的方法，就是使用电压表示神经网络活动。
将权重设置为电导乘以电压，电导是每单位时间的电荷，电量会自行增加，所以之前做向量矩阵乘法的操作只需要通过一些电导和一些电压相乘即可。它的能源效率大大提高！
类人计算有几大问题：
一个是很难使用反向传播，因为如果你正在使用特点硬件的特殊模拟属性，但是特定的硬件本身不知道自己的特性，所以现在很难实现反向传播。
另外一个问题是，如果硬件和软件密不可分，一旦学习了一个网络或者硬件坏了，你就丢失了所有的知识。如何把知识从一个类人系统继承到另一个类人系统中呢？尝试让一个学生模型来模仿教师模型的输出。但是会带来一个问题，就像大学中的学习一样，这样子做的效率并不高，将教授的知识全部不变地传授给学生是非常困难的。
但是这些问题又都可以被数字计算解决，反向传播不用说，第二个问题又可以通过权重共享等等方法去解决。
这也是为什么GPT4比人类知道的多得多，这不是一个模型能做到的，这是通过在不同的硬件上运行同一模型的一大堆副本得到的。
所以，最后的结论就是：数字计算需要大量的能量，这个问题拥有不会解决，我们只能利用硬件的特性来发展，使其能耗非常低。但是数字计算可以很容易地分享信息。生物计算需要很少的能量。但是总结来看，数字计算就是更好的，这一点相当清楚。
在未来100年只能很有可能出现超级智能比人类更加聪明的情况。除了婴儿控制母亲这样极少的例子之外，目前我们很难找到聪明的事物被不太聪明的事物控制的例子。所以如何让超级智能仁慈而不是互相竞争就是我们需要考虑的事情。
最后我用GPT结合上我自己的语言去总结一下这篇演讲。
Geoffrey Hinton教授首先解释了神经网络和语言模型的概念，以及它们如何具有理解能力。然后讨论了人工智能可能带来的一些威胁。
在讲解中，教授详细介绍了数字神经网络与模拟神经网络的区别，以及两种不同的智能本质理论：逻辑启发方法和生物启发方法。
逻辑启发方法认为智能的本质是推理。也就是通过符号规则来操作符号表达式。
生物启发方法认为智能的本质是学习联系之间的强度关系。
他还阐述了神经网络的基本原理，包括权重设置、反向传播机制以及神经网络在图像和语言识别方面的应用。
教授还提到了大型语言模型（如GPT-4）的发展和其对人工智能发展的潜在影响。同时，他谈到了强大的人工智能可能带来的风险，包括虚假信息的传播、失业问题、自主武器的出现、网络犯罪和歧视等。他强调了超级智能可能带来的最大威胁，即超级智能可能会取代人类并导致人类的灭亡。
最后，教授探讨了数字计算和类人计算的优劣势，并指出了数字计算的优越性。他强调了超级智能可能比人类更聪明，并呼吁对于超级智能如何发展的问题进行深入思考。
总的来说，这篇演讲涵盖了从神经网络、语言模型到人工智能可能带来的各种风险，以及数字计算和类人计算的未来发展方向。
个人觉得，既然让超级智能更加智能的方法是让它们被允许创建子目标，并且一旦允许它们这样做，它们就会很快意识到有一个几乎通用的子目标，那就是获得更多的控制权。因此我觉得防止超级智能过度发展而伤害到人类的最好方法就是：牺牲一部分的智能以防止它们互相竞争而不断进化得更加强大。
