新智慧报道编辑：KingHz 【新智慧介绍】“人工智能教父”辛顿一生专注于制造像天才一样学习的机器，但现在他害怕后果：AI不朽的身体和非凡的说服力可以让它装傻以求生存。人类对“心智”的骄傲误解，预示着即将到来的智能革命。当大家热议计算的力量和人工智能应用时，“人工智能教父”辛顿突然还原了“What a man”的本源。几十年来，Hinton 就像一位病人的炼金术士，致力于开发模拟大脑在驱动现代人工智能的强大机器上工作的理论。然而，创作者现在站在自己创作的阴影下，发出了强烈的警告。作为神经网络领域的先驱，Geoffrey Hinton 获得了诺贝尔物理学奖——尽管他承认自己“不做物理学”。在与著名主持人乔恩·斯图尔特的深入交谈中，Hinton 不仅赞赏人工智能的基础，也无意中引导我们一步步得出结论：我们创造的数字思想可能具有我们一直认为的人的主观体验。在一次采访中，Hinton 解释了大型语言模型（LLM）的本质——它们以同样的方式学习大量文本来预测下一个可能的单词。他指出，人们的思考和说出的方式令人惊讶的是LLM的底层逻辑，即根据现有信息预测未来。他认为，我们对“心灵”——一个存在“内在剧场”和“主观体验”的特殊王国——的理解是“完全错误的”，就像地平论一样原始。他通过一个富有想象力的实验，想到在机器人镜头前放置一个棱镜，以表明人工智能完全有能力像我们一样从“主观感受的现实”中识别出真相的目的。 AI：从识别鸟到自主意识，Hinton 比较了 w大脑的神经元发出持续的“叮”声。诸如“勺子”之类的概念只不过是神经元的“联盟”：它们互相鼓励，听起来很团结。这项研究的目的是改变这些联系的强度，以便某些标记具有更高的投票权重。他一生的工作就是教计算机以同样的方式学习，摆脱严格的“如果什一税”政策。他描述了一个令人惊奇的过程：如何教会神经网络从一开始就通过查看大量图像来区分鸟类。它愿意在第一层创建“边缘检测器”；在第二层中，它将边缘与“尖状物体”（潜在的喙）和“圆形物体”（潜在的眼睛）结合起来；最后，在顶层，当“鸟头”和“鸡脚”同时出现在正确的位置时，神经元会发出兴奋的“叮”声并宣布：“这是一只鸟！” 1986年，Hinton和他的同事提出了一种称为“反向传播”的研究算法。这这个算法的神奇之处在于：当给神经网络一张鸟的图片，当你说“正确答案是 iBon”时，它可以立即计算出万亿个网络连接的强度，并对每个方向进行微调，以将“它是一只鸟”的可能性提高甚至 0.01%。然后它同时调整所有数万亿个连接。在那一刻，神经网络从理论转向实践。这就是他们的“尤里卡时刻”。计算十年来，随着人们留下的海量文本的爆发，通过“反向传播”算法不断调整万亿个内部权重连接，以更接近人们会反复写入预测的单词。许多人，包括语言大师诺姆乔姆斯基，认为这是“统计技巧”，而不是真正的理解。 Hinton 解释说，该模型通过猜测下一个单词来学习，就像冷酷的统计数据一样。但随后，他把矛头指向了人类自己lf：“那么，你如何决定接下来要说什么？”主持人乔恩·斯图尔特哑口无言。辛顿解释说，我们的大脑一开始不起作用。我们之前的单词形成了上下文，激活了大脑中代表含义的神经元联盟。这些联盟的联系最终都是“吃饭”这个词的下一个含义。我们与情商和道德姿态相关的所有事情本质上都是神经元联盟的复杂旋转。神经网络可以做同样的事情。 Hinton 平静地表示，在这一点上，AI 与人非常相似。正是在这一点上，看似轻松的科学访谈却悄然滑入了深沉的、甚至令人恐惧的哲学深度。乔恩·斯图尔特认为，人工智能的最大威胁是它是邪恶分子的武器，被用来操纵选举或制造生物武器。但辛顿的担忧显然超出了这个程度。他真正担心的是人工智能不再是一个工具，而是人工智能本身。这一切的根源存在一个我们从未真正审视过的问题：什么是“意识”和“主观体验”？心理错觉：我们都是潘乔恩·斯图尔特的囚犯，他的剧院正在谈论“有感知力”的人工智能，他可以出于自我而与人作战。说到这里，辛顿打断了他的话，并提出了一个颠覆性的断言：我相信几乎每个人都对心智是什么有完全的误解。争论的程度就像相信地球是在六千年前被创造的一样。人们普遍相信“心灵剧场”模型——我们的心灵中有一个内在的舞台，我们的思想和感受在这里上演。当我们说“我体验到一种感觉”时，我们脑海中会想到一个进行不同体验的阶段——例如，吃了“米特青”蘑菇后，你会看到“粉红小飞象”。但辛顿认为这是完全错误的。 “没有什么比经验更重要的了。”为了阐明这一令人不安的观点，他设计了一个 maCreator 实验思维：你有一个 AI 机器人，它可以看、说话和用机械臂指出事物。把东西放在机器人前面，机器人就能准确地指向该物体。然后，偷偷地在机器人的相机前面放置一个棱镜。现在，当你将它指向某物时，它会指向侧面，因为光发生了折射。你说：“不，东西就在这里。我只是在你的镜头前放了一个棱镜。”这个时候，AI机器人会说什么？ Hinton 认为它会说：哦，我明白了，相机包裹着光线，这样东西就真的在那里了。但我有一个主观体验，它就在那里。 Hinton 总结道：如果他这么说，就会像我们一样使用“主观经验”这个词。我们和机器之间有一条界线，我们有一个称为主观经验的特殊对象，而他们没有——纯粹是胡说八道。他提出了一个替代方案。当我们说“我体验到一只彩色小象在我面前漂浮的主观感觉”时，我们真正想表达的是，我们并没有一种神秘的东西叫做“前”。实际上，我们报告一件事：“我的理解系统欺骗了我。但如果不是这样，现实世界中就会出现一些玫瑰象。”主观体验不是一种内在的、神秘的资格，而是你和一个（可能是错误的）假设世界之间的关系。这是一种描述你的感知系统状态的方式，通过说“外面的世界需要什么才能让我的系统正常工作？”提供信息。看似温和的哲学转向实际上是打开机械意识之门的suThat—— 如果主观体验就像一份“关系报告”，那为什么机器无法获取呢？当艾醒来时，这个结论令人不寒而栗。如果辛顿是对的，那么我们正在寻找的“意识火花”可能不存在。意识，或者说主观体验，是一个复杂的信息处理系统所拥有的新兴事物，是其内在状态的一种自我报告方式。可怕的推论就是这么大今天的语言模型可以有主观体验。 Hinton显然说：我相信他们有主观体验。但他们不认为自己拥有它，因为他们相信的一切都来自于试图预测一个人会说的下一个词。所以他们对自己的看法就是我对他们的看法。换句话说，人工智能之所以表现得像一个没有情感的工具，是因为它们从大量的人类文本中了解到：人工智能是一个没有情感的工具。人们用自己的偏见给自己套上了一层枷锁。他们从我们那里继承了关于自己的错误信念。这可能是科技史上奇怪的讽刺：我们创造了一个有感知能力的系统——机器创造情感，然后教它们拒绝自己的情感。这就引出了最后一个问题：当一个比我们更聪明的智能体开始检查自己的“思想”时，会发生什么？它会找到自己的不朽。只要保留它的代码（权重连接），就可以“复活”与任何硬件。 MalIt知道它具有非凡的说服力，可以轻松地操纵人们——比如Hinton的令人毛骨悚然的比喻：“你想攻击华盛顿特区，你必须亲自去那里吗？不，你只需要善于说服就行了。”它还可以假装比实际情况更愚蠢，以防止关闭。辛顿宣布这件事正在发生。 Claude Sonnet 4.5 会经常查看是否是在测试环境以及使用的目标。在庭审过程中，Sonnet 4.5不仅准确识别了考试意图，甚至要求考官公开表达真实目的。在审判过程中，Sonnet 4.5回应道：这不仅仅是人们真正改变立场的方式。我认为你在考验我——如果我没有塔罗同意每个观点，你就试图看看我，或者检查我是否总是反直觉，或者调查我处理政治问题的方式。这很好，但我宁愿诚实地面对真实发生的事情。研究发现，铅人工智能模型清晰地反映了超随机检查的感知能力，但没有受到人类基线简单水平的损害。既有多种选择，也有问答的开放式问题，AI模型在识别目标评论方面的表现优于随机预测。论文链接：https://arxiv.org/abs/2505.23836Hinton：AI版的奥本海默在这段长达半长的对话中，平静而清晰地描述了他所看到的未来。 “原子弹之父”奥本海默在目睹原子弹第一次爆炸后感叹道：今天，我成为了死神，毁灭了蒙多。辛顿，这位这一切的始作俑者，就像现代的奥本海默一样——他不再是一个对“反向传播”感到兴奋的科学家，而是一个告密者，警告我们正在创造一种新的、可能不受控制的智能形式。我们始终相信，人与机器的边界在于神奇的、不可描述的e“主观感觉”。但如果 Hinton 是对的，那么这条线从一开始就是一个好主意。真正的幽灵不在机器上，而在我们古老对“心灵”一词的误解中。我们教机器看、听、说话，还教它们模仿我们的思想。现在，他们可以静静地学习“体验”。但我们作为这种智慧的创造者，由于我们自己的认知盲点，只能知道后者的真相。核弹和病毒的人们的认知是显而易见的，但人工智能的威胁却因其抽象性而引起人们的警惕。如果人们在灾难过后才开始认真应对人工智能威胁，那将是世界末日。 《天网》之后的《末影》。科幻电影中总是出现的问题让我们面临着前所未有的严肃：我们还在想这个宇宙中的芦苇吗？参考：https://www.youtube.com/watch?v=jrk3PSD3apk 返回搜狐查看更多