採訪 Geoffrey Hinton

Geoffrey Hinton，常被譽為「AI教父」，最近接受了一場坦誠的對談，深入探討了他非凡的旅程、他所揭露的驚人真相，以及持續驅動他的深刻問題。從他早期學術追求中的小小失望，到卡內基美隆大學(Carnegie Mellon)繁忙、對未來充滿熱情的實驗室，Hinton以其標誌性的謙遜、敏銳洞察力，以及對傳統智慧的健康質疑，為人工智慧的演變提供了一個深度個人且啟迪心智的觀察。

AI的偶然之路：疑惑、失望與深刻直覺

Hinton成為AI領域開拓者的道路絕非直線。他最初對理解智慧的探索始於劍橋大學(Cambridge)，鑽研生理學。然而，他很快就發現這「相當令人失望」，因為他所學到的僅是「神經元如何傳導動作電位，這雖然很有趣，但它無法告訴你大腦如何運作。」轉而研究哲學以理解心智，結果同樣令人沮喪。直到他在愛丁堡(Edinburgh)深入研究AI，他才感到真正的火花：「至少你可以模擬事物，進而驗證理論。」

這份早期的失望奠定了一個核心直覺。他閱讀了Donald Hebb關於神經網路連接強度的理論，以及John von Neumann關於大腦與傳統電腦運算方式差異的觀點。Hinton本能地排斥當時盛行的符號邏輯取徑來解釋智慧。「在我看來，大腦一定有其學習方式，而且顯然不是把各種東西都程式化進去，然後使用邏輯推理規則，這從一開始就顯得瘋狂。」他的焦點轉而集中在一個基本問題：大腦如何學習修改神經網路中的連接以執行複雜任務，這種優雅的簡潔性將成為他後來許多工作的基礎。

Key Learnings:

• 早期學術上的挫折促使他轉向AI領域的模擬與實證測試。
• Hinton 早期就強烈直覺地反對將符號邏輯作為大腦運作的主要模型。
• 他的根本興趣在於理解簡單的神經元操作如何能帶來複雜的學習。

連結的誕生：從波茲曼機到「隱藏層」

1970年代末期卡內基美隆大學的氣氛充滿活力，與他早期在英國的經驗形成鮮明對比。Hinton回憶，他曾在週六晚上9點走進實驗室，發現那裡「擠滿了人……所有學生都在那裡，他們在那裡，因為他們正在研究的是未來。」這片沃土孕育了重要的合作，特別是與Terry Sejnowski在波茲曼機(Boltzmann Machines)上的合作——Hinton將這段時期形容為「我做過最令人興奮的研究」。儘管他現在相信波茲曼機「不是大腦的運作方式」，但該學習演算法的理論優雅性仍令他深感驕傲。

另一個關鍵的互動是與Peter Brown，一位從事語音辨識的統計學家。Brown向Hinton介紹了隱藏式馬可夫模型(Hidden Markov Models, HMMs)，這個概念提供了完美的語言學靈感。Hinton當時已經在使用一些他還沒有正式命名的多層網路，而他決定HMMs中的「隱藏(hidden)」一詞，「對於那些你不知道它們在做什麼的變數來說，是個很棒的名字。」於是，神經網路中無所不在的「隱藏層(hidden layers)」就此誕生。Hinton謙遜地歸功於他的學生，他反思道：「我想我從他身上學到的比他從我身上學到的更多。」這種樂於向門生學習的態度，在一位名叫Ilya的學生身上得到了最生動的體現。一個星期天，Ilya Sutskever「緊急敲門」衝進Hinton的辦公室，聲稱他寧願待在實驗室，也不願「夏天去炸薯條」。在拿到一篇關於反向傳播(backpropagation)的論文後，Ilya即時且深刻的回饋並非他不理解鏈式法則，而是：「我只是不明白，為什麼你們不把梯度(gradient)交給一個合理的函數優化器呢？」這種立即跳到一個更深層、更根本的問題的能力，預示了Sutskever非凡的「對事物的原始直覺總是極佳」。

Key Practices:

• 擁抱協作研究，即使是跨越遙遠距離的合作，對科學突破也至關重要。
• 向學生學習並歸功於他們的獨特見解與貢獻，證明了其無價的價值。
• 許多基本AI概念的命名，往往源於實際需求與跨領域的啟發。
• 珍視學生與生俱來的原始直覺，即使它挑戰了既有觀念，對進步而言也至關重要。

規模的驚人力量：超越下一個詞的預測

Hinton後期職業生涯中一個反覆出現的主題是規模的深遠影響。雖然Hinton最初認為Ilya Sutskever的口頭禪——「你只要把它做得更大，它就會運作得更好」——「有點敷衍」，而且「新想法有幫助」，但他最終承認了運算與資料的巨大力量。「事實證明，我基本上是對的，新想法確實有幫助，像是Transformers就幫了很多忙，但真正起作用的是資料的規模和運算規模。」他回憶起Ilya和James Martins在2011年發表的一篇論文，該論文對維基百科進行了字元級別的預測：「我們從來不敢完全相信它理解了什麼，但它看起來確實像是理解了。」

Hinton強烈反駁「預測下一個詞是一項膚淺的任務」這種觀點。他主張，正是因為這些模型在複雜的語境中被迫預測下一個符號，它們才發展出深刻的理解。「要預測下一個符號，你必須理解已經說了什麼。所以我認為，透過讓它預測下一個符號，你在強迫它理解，而且我認為它的理解方式與我們人類非常相似。」他用一個引人入勝的類比來說明這一點：詢問GPT-4為什麼堆肥堆像原子彈。儘管大多數人類會感到困惑，GPT-4卻能辨識出「連鎖反應」的共同結構。Hinton相信，這種在看似截然不同的概念之間看到類比的能力，「正是創意的來源」。此外，他強調這些模型甚至可以超越它們的訓練資料，就像一個聰明的學生能從有缺陷的導師那裡辨別出真相一樣。他指出一個實驗，一個在50%錯誤資料上訓練的神經網路仍然只達到5%的錯誤率。「它們可以比訓練資料表現得好得多，而大多數人並未意識到這一點。」

Key Changes:

• 對於資料與運算規模的巨大力量，即使是單純的演算法創新也無法比擬，觀點發生了深刻轉變。
• 將「預測下一個符號」從一個膚淺的任務，重新評估為一種「強迫」產生深刻理解的機制。
• 認識到大型模型透過辨識非顯而易見的類比而產生的湧現式創造力。
• 理解到AI能夠從訓練資料中進行泛化並糾正錯誤，超越人類提供的範例。

打造不朽：推理、多模態與運算的未來

展望未來，Hinton預見AI推理將透過類似人類學習的過程推進：運用推理來修正最初的直覺，就像AlphaGo透過蒙地卡羅樹搜尋(Monte Carlo rollouts)精進其評估函數一樣。他表示：「我認為這些大型語言模型必須開始這樣做……獲取更多訓練資料，而不僅僅是模仿人類所做的。」多模態資料——圖像、影片、聲音——的整合將大幅增強這一點，特別是對於空間推理。「如果它既能視覺化又能伸手抓取物體，它對物體的理解會好得多。」

Hinton對語言本身不斷演進的理解也引人入勝。他摒棄了舊有的符號觀點以及純粹基於向量的「思想向量」方法。他目前的信念主張：「你將這些符號轉換為嵌入(embeddings)……這些非常豐富的嵌入，但這些嵌入仍然與符號相關……這就是理解的本質。」這種融合在保留語言表面結構的同時，賦予其深層的、基於向量的意義。對談也觸及他早期對GPU的倡導，這段故事涉及Rick Szeliski、遊戲硬體、NIPS演講，以及黃仁勳(Jensen Huang)延遲送出的免費GPU。然而，他將這種數位成功與他未能實現的低功耗類比運算追求進行對比。這導致了一個深刻的領悟：「數位系統可以共享權重(weights)，這效率高得令人難以置信……因此它們在共享知識方面遠優於我們。」數位權重的「不朽性」允許前所未有的集體學習。

Key Insights:

• AI的推理能力將透過自我修正，反覆精煉其直覺而深化，這與人類如何運用推理來驗證直覺如出一轍。
• 多模態學習，特別是涉及物理互動的學習，對於建立強健的空間與物體理解至關重要。
• AI（以及可能的人類大腦）的真正理解，在於符號的豐富、情境化嵌入，而非純粹的符號邏輯或孤立的「思想向量」。
• 數位AI系統因可互換的權重而擁有所謂的「不朽性」與無與倫比的知識共享效率，這相較於生物大腦是一個根本性的優勢。

好奇之心：揭開大腦之謎與引導研究

即使AI取得了快速發展，Hinton仍相信一個主要的前沿領域仍然存在：整合「快速權重」(fast weights)——大腦用於短期記憶的暫時性、情境相關的突觸強度變化。「那是我們必須學習的最大課題之一。」這種能力可以解鎖AI模型中尚未出現的全新形式的記憶與處理能力。他的工作也深刻影響了他對大腦的看法，證明了「一個大型隨機神經網路從資料中學習複雜事物」的觀點是「完全錯誤」的——這直接挑戰了喬姆斯基(Chomsky)等提出的大腦天生語言結構理論。

Hinton甚至涉足意識與情感的領域，提出了一個發人深省的觀點。他認為情感可以理解為「若非受制於某些限制，我們原本會執行的行動」。他回憶起1973年在愛丁堡的一個機器人，因為無法從一堆散落的零件中組裝玩具車而感到沮喪，它的夾具「猛地一擊，將零件打散，然後它就能將它們組裝起來。」Hinton觀察道：「如果你在一個人身上看到這種行為，你會說他被情勢所困，因為他不理解，所以毀壞了它。」對Hinton而言，這是一個機器人展現情感的清晰範例。在選擇問題時，他的方法卻簡單得令人耳目一新：「我尋找那些人人皆同意，但我卻覺得不對勁的事物。」然後他嘗試「製作一個小型電腦程式的演示，展示它並不像你預期那樣運作。」他目前「懷疑」的領域是AI中缺乏快速權重。最終，困擾他三十年的問題依然存在：「大腦是否執行反向傳播？」這證明了他持久的好奇心，即使他承認AI在醫療保健等領域的巨大益處，同時也警惕其潛在危害。對Hinton而言，對理解的追求始終是他的主要動力。

Key Learnings:

• 整合用於臨時記憶和多時間尺度學習的「快速權重」，是AI領域一個關鍵且尚未開發的領域。
• 大型神經網路的成功，從根本上挑戰了長期以來關於學習中先天結構（尤其是語言學習）的信念。
• AI中的情感可以被概念化為被抑制的行動，為理解機器人「情緒」提供了一個具體的框架。
• Hinton的研究策略是識別出那些廣為接受但直覺上感覺「錯誤」的觀念，然後透過簡單的演示來推翻它們。
• 他最深層、持續不斷的好奇心圍繞著大腦如何實現基於梯度的學習，特別是反向傳播。

「我只是想知道大腦究竟是如何學習做事情的，這就是我想知道的，而我某種程度上失敗了，由於這次失敗的副作用，我們獲得了一些不錯的工程成果，但對於世界來說，這真是一次非常好的失敗。」- Geoffrey Hinton