采访 Geoffrey Hinton

Geoffrey Hinton，常被称为“AI教父”，最近进行了一次坦诚的对话，深入探讨了他非凡的旅程、他所揭示的惊人真相，以及那些持续驱动他的深刻问题。从他早期学术追求中的默默失意，到卡内基梅隆大学那些熙熙攘攘、痴迷未来的实验室，Hinton以其标志性的谦逊、敏锐的洞察力以及对传统智慧的适度怀疑，对人工智能的演进提供了深刻的个人见解和智力启发。

通往AI的偶然之路：疑虑、失望与深刻的直觉

Hinton成为一名开创性AI研究者的道路远非一帆风顺。他最初在剑桥大学攻读生理学，旨在理解智能。然而，他很快发现这“非常令人失望”，因为他所学到的只是“神经元如何传导动作电位，这很有趣，但并不能告诉你大脑是如何工作的”。转向哲学以理解心智也同样令人沮丧。直到他在爱丁堡大学深入研究AI时，他才感受到了真正的火花：“至少你可以模拟事物，从而验证理论”。

早期的失望磨砺了他一个核心直觉。他阅读了Donald Hebb关于神经网络连接强度以及John von Neumann关于大脑与传统计算机计算方式差异的著作。Hinton本能地抵制当时盛行的将符号逻辑应用于智能研究的方法。“在我看来，大脑必然有一种学习方式，而且显然不是通过向其编程各种东西，然后使用逻辑推理规则——这从一开始在我看来就很疯狂。”他转而将重心放在一个基本问题上：大脑如何学习修改神经网络内部的连接以执行复杂任务——这种优雅的简洁性将成为他后期许多工作的基础。

Key Learnings:

• 早期的学术挫折促使他转向AI领域的模拟和实证测试。
• Hinton早期就对将符号逻辑作为大脑功能的主要模型抱持强烈反对的直觉。
• 他最根本的兴趣在于理解简单的神经元操作如何能导致复杂的学习。

建立连接：从玻尔兹曼机到“隐层”

1970年代末卡内基梅隆大学的氛围异常活跃，与他早期在英格兰的经历形成了鲜明对比。Hinton回忆说，一个周六晚上9点他走进实验室，发现那里“人头攒动……所有学生都在，他们都在那里是因为他们正在研究未来”。这片沃土促进了关键性的合作，特别是与Terry Sejnowski在玻尔兹曼机（Boltzmann Machines）上的工作—— Hinton称之为“我做过的最令人兴奋的研究”。尽管他现在认为玻尔兹曼机“并非大脑的工作方式”，但该学习算法的理论优雅性仍是他引以为傲之处。

另一个关键的互动是与从事语音识别工作的统计学家Peter Brown。Brown向Hinton介绍了隐马尔可夫模型（HMMs），这个概念为他提供了完美的语言学灵感。Hinton当时已经在使用多层网络，但没有一个确切的名称，他认为HMMs中的“隐”（hidden）是一个“非常棒的名字，用来形容那些你不知道它们在干什么的变量”。于是，神经网络中无处不在的“隐层”（hidden layers）便诞生了。Hinton谦虚地把功劳归于他的学生，反思道：“我想我从他那里学到的比他从我这里学到的更多。”这种乐于向他指导的学生学习的精神，在一位名叫Ilya的学生身上得到了最生动的体现。Ilya Sutskever一个周日“急促地敲门”冲进Hinton的办公室，声称他宁愿待在实验室，也不愿“夏天去炸薯条”。在拿到一篇关于反向传播的论文后，Ilya的即时、深刻的反馈并非他不理解链式法则，而是：“我只是不明白你们为什么不把梯度交给一个合理的函数优化器。”这种直接跳到更深层、更根本问题的能力，预示了Sutskever非凡的“对事物天生的直觉总是非常出色”。

Key Practices:

• 拥抱协作研究，即使是远距离协作，对科学突破也至关重要。
• 向学生学习并认可他们独特的见解和贡献，被证明是无价的。
• 核心AI概念的命名通常源于实际需求和跨学科的启发。
• 重视学生天生的原始直觉，即使它挑战既有观念，对进步也至关重要。

规模的意想不到的力量：超越下一个词的预测

Hinton职业生涯后期一个反复出现的主题是规模的深远影响。尽管Hinton最初认为Ilya Sutskever的口头禅——“你只要把它做大，它就会工作得更好”——“有点敷衍”，并且认为“新想法有帮助”，但他最终承认了计算和数据所具备的巨大力量。“结果是我大致是对的，新想法确实有帮助，比如Transformer带来了很大帮助，但真正起作用的是数据规模和计算规模。”他回顾了Ilya和James Martins在2011年发表的一篇论文，该论文在维基百科上使用了字符级预测：“我们从未真正相信它理解了什么，但它看起来好像理解了。”

Hinton强烈驳斥了“预测下一个词是一个肤浅任务”的观点。他认为，正是因为这些模型在复杂语境中被迫预测下一个符号，它们才发展出了深刻的理解。“要预测下一个符号，你必须理解已经说了什么。所以我认为你通过让它预测下一个符号来强迫它理解，而且我认为它的理解方式与我们非常相似。”他用一个引人注目的类比来说明这一点：问GPT-4为什么堆肥堆像原子弹。大多数人类会感到困惑，但GPT-4识别出了“链式反应”的共同结构。Hinton认为，这种在看似不相干的概念之间发现类比的能力，“就是创造力的来源”。此外，他强调这些模型甚至可以超越其训练数据，就像一个聪明的学生能从有缺陷的导师那里辨别出真相一样。他提到一个实验，其中一个在50%错误数据上训练的神经网络，仍然只达到了5%的错误率。“它们可以比训练数据表现得好得多，大多数人没有意识到这一点。”

Key Changes:

• 在数据和计算规模的巨大力量方面，即使是独立于新颖算法，也发生了深刻的观念转变。
• 将“预测下一个符号”从一个肤浅的任务，重新评估为一种强制产生深刻理解的机制。
• 认识到大型模型通过识别不明显的类比而产生的涌现创造力。
• 理解AI可以泛化并纠正训练数据中的错误，超越人类提供示例的能力。

工程不朽：推理、多模态与计算的未来

展望未来，Hinton设想AI推理将通过一个类似于人类学习的过程取得进步：利用推理来纠正最初的直觉，就像AlphaGo通过蒙特卡洛树搜索（Monte Carlo rollouts）来优化其评估函数一样。他表示：“我认为这些大型语言模型必须开始这样做……获得比仅仅模仿人类行为更多的训练数据。”多模态数据（图像、视频、声音）的整合将极大地增强这一点，尤其对于空间推理而言。“如果它既能看又能伸手抓取物体，它将更好地理解物体。”

Hinton对语言本身不断演进的理解也令人着迷。他摒弃了旧有的符号观和纯粹基于向量的“思想向量”方法。他目前的信念是：“你获取这些符号并将它们转化为嵌入……这些非常丰富的嵌入仍然与符号相关……这就是理解。”这种结合既保留了语言的表面结构，又赋予了其深刻的、基于向量的意义。对话还谈到了他早期对GPU的倡导，一个涉及Rick Szeliski、游戏硬件、一场NIPS演讲以及Jensen Huang延迟提供的免费GPU的故事。然而，他随后将这种数字成功与他未能成功的低功耗模拟计算追求进行了对比。这导致了一个深刻的认识：“数字系统可以共享权重，这效率高得惊人……因此它们在共享知识方面远远优于我们。”数字权重的这种“不朽性”使得前所未有的集体学习成为可能。

Key Insights:

• AI的推理能力将通过自我纠正迭代地完善其直觉而深化，这与人类如何利用推理来检验直觉异曲同工。
• 多模态学习，尤其是涉及物理交互的学习，对于发展稳健的空间和物体理解至关重要。
• AI（以及可能的人类大脑）中的真正理解在于符号的丰富、语境化嵌入，而非纯粹的符号逻辑或孤立的“思想向量”。
• 数字AI系统由于可互换的权重而具有固有的“不朽性”和无与伦比的知识共享效率，这是相对于生物大脑的一个根本优势。

好奇心驱动的头脑：揭示大脑奥秘与指引研究

即使AI快速发展，Hinton仍认为一个主要的前沿领域尚待探索：整合“快速权重”——大脑用于短期记忆的、临时性、依赖语境的突触强度变化。“那是我们必须学习的最大一件事。”这种能力可能会解锁AI模型中尚未出现过的全新记忆和处理形式。他的工作也深刻影响了他对大脑的看法，表明“一个大型随机神经网络从数据中学习复杂事物”的想法是“完全错误的”——这直接挑战了乔姆斯基（Chomsky）关于先天语言结构等理论。

Hinton甚至涉足意识和情感领域，提出了一个发人深省的观点。他认为，情感可以理解为“如果没有约束，我们将会执行的行动”。他讲述了1973年在爱丁堡的一个机器人，由于无法从一堆散乱的部件中组装玩具车而感到沮丧，“它的夹具猛地一击，把部件都敲散了，然后它就能把它们组装起来了。”Hinton评论道：“如果你在一个人身上看到这种行为，你会说他被这种局面激怒了，因为它不理解，所以就破坏它。”对Hinton来说，这清晰地展示了机器人表现出一种情感。在选择问题时，他的方法出奇地简单：“我寻找那些每个人都认同但我觉得不对劲的事情。”然后他尝试“用一个小电脑程序做一个小演示，展示它并不会像你期望的那样工作。”他目前“怀疑”的领域是AI中缺少快速权重。最终，那个困扰了他三十年的问题依然存在：“大脑是否进行反向传播？”这证明了他持久的好奇心，即便他承认AI的潜在危害以及其在医疗保健等领域的巨大益处。对Hinton来说，追求理解一直是首要的动力。

Key Learnings:

• 将“快速权重”整合到AI中以实现临时记忆和多时间尺度学习，是AI一个关键且未开发领域。
• 大型神经网络的成功从根本上挑战了长期以来关于学习中先天结构的信念，尤其是对于语言学习。
• AI中的情感可以被概念化为受抑制的行动，为理解机器人“情感”提供了一个切实的框架。
• Hinton的研究策略是识别那些被广泛接受但直觉上感觉“错误”的观点，然后通过简单的演示来推翻它们。
• 他最深刻、持续的好奇心围绕着大脑如何实现基于梯度的学习，特别是反向传播。

“我只是想弄明白，大脑到底是如何学会做事情的，那是我真正想知道的。我在这方面某种程度上失败了，但作为失败的副产品，我们得到了一些不错的工程成果。是的，这对世界来说是一次非常好的失败。” - Geoffrey Hinton