とのインタビュー Geoffrey Hinton

Geoffrey Hintonは、「AIのゴッドファーザー」と称される人物であり、先日、率直な対談に応じました。その中で、彼の並外れた道のり、彼が発見した驚くべき真実、そして彼を駆り立て続ける深遠な問いが、その深層に迫る形で語られました。初期の学術研究における静かなる失望から、カーネギーメロン大学の活気に満ちた、未来志向の研究室での日々まで、ヒントンは人工知能の進化を、個人的かつ知的に刺激的な視点から振り返ります。その語り口は、彼のトレードマークである謙虚さ、鋭い洞察力、そして世間の常識に対する健全な懐疑心が絶妙に混じり合ったものです。

AIへの偶然の道：疑念、失望、そして深い直感

ヒントンがAI研究の先駆者となるまでの道のりは、決して一直線ではありませんでした。彼の知能を理解しようとする最初の探求は、ケンブリッジ大学で生理学を学ぶことから始まりました。しかし、「ニューロンがどのように活動電位を伝えるか」しか学べなかったとき、彼はすぐに「非常に失望した」と言います。それは「非常に興味深いが、脳がどのように機能するかは教えてくれない」と感じたからです。心を理解するために哲学に転向したものの、それも同様に不満の残るものでした。真のひらめきを感じたのは、エディンバラでAIに没頭するようになった時でした。「少なくとも物事をシミュレーションして、理論を検証できるようになった」と彼は語ります。

この初期の失望が、彼の核心的な直感を形成しました。彼はドナルド・ヘッブのニューラルネットワークの結合強度に関する研究や、ジョン・フォン・ノイマンの脳が従来のコンピューターとは異なる計算方法をとるという研究を読みました。ヒントンは、当時主流だった知能への記号論理的アプローチに本能的に反発しました。「脳が学習する方法は、必ず存在するはずだ。そして、あらゆるものがプログラムされていて、論理的な推論規則を使うというやり方では、どう考えてもおかしいと最初から思っていた。」彼の関心は、代わりに、脳がニューラルネット内の結合をどのように修正して複雑なタスクを実行するのかという、根本的な問いに絞られました。この洗練されたシンプルさが、彼の後の研究の多くを支えることになります。

Key Learnings:

• 初期の学術的な失望が、AIにおけるシミュレーションと実証実験への転換を促した。
• ヒントンは、脳機能の主要なモデルとしての記号論理に対して、早期から強い直感的な反発を抱いていた。
• 彼の根源的な興味は、単純なニューラルな操作がどのように複雑な学習につながるかを理解することにあった。

結合を築く：ボルツマンマシンから「隠れ層」へ

1970年代後半のカーネギーメロン大学の雰囲気は熱気に満ちており、イングランドでの初期の経験とは対照的でした。ヒントンは、土曜日の夜9時に研究室に行くと、「学生たちがごった返していて…全員がそこにいた。彼らが取り組んでいたのは未来だったからだ」と当時を回想します。この肥沃な環境は、重要な共同研究を育みました。特に、テリー・セジノフスキーとのボルツマンマシンに関する研究は、ヒントンが「これまでで最もエキサイティングな研究だった」と語る時期です。現在、彼はボルツマンマシンが「脳の働き方ではない」と考えていますが、その学習アルゴリズムの理論的な洗練さは、今も彼の深い誇りとなっています。

もう一つの極めて重要な交流は、音声認識に取り組んでいた統計学者ピーター・ブラウンとのものでした。ブラウンはヒントンに隠れマルコフモデル（HMMs）を紹介し、これが言語学的な完璧なインスピレーションとなりました。ヒントンはすでに多層ネットワークを使っていましたが、まだ適切な名前がありませんでした。そこで、HMMsの「隠れ」という言葉が、「何をしているのか分からない変数には素晴らしい名前だ」とひらめき、採用しました。こうして、ニューラルネットワークにおける遍在する「隠れ層（hidden layers）」が誕生しました。ヒントンは謙虚に自身の学生たちに敬意を表し、「彼が私から学んだことよりも、私が彼から学んだことの方が多いと思う」と述べています。彼が指導した人々から学ぶというこの姿勢は、イリヤという名の学生との間で最も鮮明に示されました。ある日曜日、イリヤ・サツケヴァーは「緊急のノック」とともにヒントンのオフィスに飛び込んできて、「夏の間フライドポテトを揚げるよりも、研究室にいたい」と宣言しました。バックプロパゲーションに関する論文を渡されたイリヤの、即座かつ深遠なフィードバックは、彼が連鎖律を理解していないということではなく、「なぜ勾配をまともな関数最適化器に与えないのか、ただそれが理解できない」というものでした。この、より深く根本的な問題への即座の飛躍は、サツケヴァーの並外れた「物事に対する生の直感が常に優れていた」ことを予感させるものでした。

Key Practices:

• たとえ距離が離れていても、共同研究を受け入れることは、科学的ブレークスルーにとって極めて重要だった。
• 学生たちの独自の洞察や貢献から学び、彼らを評価することは、かけがえのない価値をもたらした。
• AIの基本的な概念の命名は、実用的なニーズや異分野からのインスピレーションから生まれることが多かった。
• 確立された考え方に異を唱える場合でも、学生の生来の直感を尊重することは、進歩のために不可欠である。

規模の予期せぬ力：次の単語予測を超えて

ヒントンの後半のキャリアで繰り返されるテーマは、スケール（規模）がもたらす深遠な影響でした。ヒントンは当初、イリヤ・サツケヴァーの「大きくすればするほど、よりうまくいく」というマントラを「少し言い訳じみている」と感じ、「新しいアイデアが助けになる」と考えていました。しかし、最終的には、計算とデータの途方もない力を認めざるを得ませんでした。「新しいアイデア、例えばTransformerのようなものが大いに役立ったという点では、私は基本的に正しかった。しかし、本当に重要だったのはデータの規模と計算の規模だった。」彼は、イリヤとジェームズ・マーティンズによる2011年の論文を回想します。その論文では、ウィキペディアで文字レベルの予測を行いましたが、「それが何かを理解しているとは到底信じられなかったが、まるで理解しているかのように見えた」と述べました。

ヒントンは、次の単語を予測することが浅薄なタスクであるという考え方を強く否定します。彼は、これらのモデルが複雑な文脈の中で次の記号を予測することを強制されるからこそ、深い理解を育むのだと主張します。「次の記号を予測するには、何が言われたかを理解しなければならない。だから、次の記号を予測させることで、理解することを強制しているのだと思うし、それは私たちが理解するのと非常に似た方法で理解しているのだと思う。」彼はこれを説得力のある類推で説明します。GPT-4に「堆肥の山が原子爆弾に似ているのはなぜか」と尋ねる例です。ほとんどの人間が苦労する中、GPT-4は「連鎖反応」という共通の構造を特定します。ヒントンは、一見かけ離れた概念の間に類似性を見出すこの能力こそが「創造性の源泉」であると考えています。さらに彼は、これらのモデルが、欠陥のあるアドバイザーから真実を見抜く賢い学生のように、訓練データを凌駕することさえできると強調します。彼は、50%の誤りを含むデータで訓練されたニューラルネットが、それでもわずか5%の誤りしか示さなかった実験を指摘します。「彼らは訓練データよりもはるかにうまくやれる。ほとんどの人はそのことに気づいていない。」

Key Changes:

• データと計算規模の絶大な力に対する深い視点の転換。これは、斬新なアルゴリズム単体よりも重要だと認識された。
• 「次の記号を予測する」というタスクを、表層的なものから、深い理解を強制するメカニズムへと再評価した。
• 大規模モデルが、一見明らかでない類推を特定する能力を通じて、創発的な創造性を持つことを認識した。
• AIが訓練データ中のエラーを一般化し、修正することで、人間が提供した例を凌駕できるという理解。

不死性の工学：推論、マルチモーダリティ、そして計算の未来

未来を見据え、ヒントンはAIの推論が人間が学ぶ過程に似たプロセス、つまり、初期の直感を推論によって修正する形で進化すると予測します。これは、AlphaGoがモンテカルロ・ロールアウトを通じて評価関数を洗練させるのとよく似ています。彼は、「これらの大規模言語モデルは、人々が行ったことを単に模倣するだけでなく、より多くの訓練データを得て、そうしたことを始めなければならないと思う」と述べています。画像、動画、音声といったマルチモーダルデータの統合は、特に空間推論において、これを劇的に強化するでしょう。「視覚と、物を掴むといった行動の両方を行わせれば、物体をはるかによく理解するようになるだろう。」

ヒントンの言語そのものに対する理解の進化もまた魅力的です。彼は古い記号論的な見方や、純粋にベクトルに基づいた「思考ベクトル」のアプローチを退けます。彼の現在の信念は、「これらの記号を取り上げ、その記号を埋め込み（embeddings）に変換する…非常に豊かな埋め込みだが、その埋め込みはまだ記号に基づいている…それこそが理解である」というものです。この融合により、言語の表層構造を保ちつつ、深遠なベクトルベースの意味が与えられます。対談では、彼の初期のGPU推進についても触れられました。それは、リック・シェリスキ、ゲーミングハードウェア、NIPSでの講演、そしてジェンセン・ファンからの遅れて届けられた無料GPUに関わる話です。しかし、彼はこのデジタルの成功と、低電力アナログ計算を追求して成功しなかった経験とを対比させます。これにより、彼は深い気づきに至りました。「デジタルシステムは重みを共有でき、それが信じられないほど効率的である…したがって、知識を共有する能力において、彼らは私たちよりもはるかに優れている。」デジタルな重みのこの「不死性」は、前例のない集合的学習を可能にします。

Key Insights:

• AIの推論能力は、人間が推論を用いて直感を検証する方法を反映し、自己修正を通じて直感を反復的に洗練させることで深化する。
• マルチモーダル学習、特に物理的な相互作用を伴うものは、堅牢な空間理解と物体理解を開発するために不可欠である。
• AI（そしておそらく人間の脳）における真の理解は、純粋な記号論理や孤立した「思考ベクトル」ではなく、記号の豊かで文脈的な埋め込みに存在する。
• デジタルAIシステムは、交換可能な重みのおかげで、本質的な「不死性」と比類のない知識共有の効率性を備えており、生物学的脳に対する根本的な利点となっている。

好奇心旺盛な心：脳の謎を解き明かし、研究を導く

AIの急速な進歩にもかかわらず、ヒントンは主要なフロンティアがまだ残っていると考えています。それは、脳が短期記憶に利用する、一時的で文脈依存的なシナプス結合強度（"fast weights"）の変化を取り入れることです。「それが私たちが学ばなければならない最も大きなことの一つだ。」この能力は、AIモデルではまだ見られない、全く新しい形式の記憶と処理を解き放つ可能性があります。彼の研究はまた、脳に対する彼の見方に深く影響を与えました。「大きなランダムなニューラルネット」がデータから複雑なことを学ぶという考えが「完全に間違っている」ことを示し、チョムスキーの生得的言語構造のような理論に直接異議を唱えました。

ヒントンは意識や感情の領域にまで踏み込み、挑発的な見解を提示します。彼は、感情とは「制約がなければ実行するであろう行動」として理解できると示唆します。彼は、1973年にエディンバラにいたロボットの話をします。そのロボットは、散らばった部品からおもちゃの車を組み立てることができず、苛立ち、「グリッパーを強く叩きつけ、部品を散らかした後、ようやく組み立てることができた」と。ヒントンは、「もし人がそれをするのを見たら、『状況を理解できなかったから、それを破壊したのだろう』と言うだろう」と述べました。ヒントンにとって、これはロボットが感情を示した明確な例でした。問題を選ぶ際、彼の方法は実にシンプルで爽快です。「みんなが何かについて同意しているのに、それが間違っていると感じるもの」を探すのです。そして、「それが期待通りに機能しないことを示す小さなコンピュータープログラムでデモを作成する」と彼は語ります。彼の現在の「疑わしい」領域は、AIにおける高速重み（fast weights）の欠如です。結局のところ、彼を30年間も魅了し続けてきた問いは、「脳はバックプロパゲーションを行っているのか？」というものです。AIがヘルスケアのような分野で計り知れない利益をもたらす一方で、潜在的な害も認識しているにもかかわらず、彼のこの絶え間ない好奇心は健在です。ヒントンにとって、理解を追求することが常に主要な原動力でした。

Key Learnings:

• 一時的な記憶と多時間スケール学習のための「高速重み（fast weights）」の統合は、AIにとって未開発の重要な分野である。
• 大規模ニューラルネットワークの成功は、特に言語学習における生得的構造に関する長年の信念に根本的な異議を唱えた。
• AIにおける感情は、抑制された行動として概念化でき、ロボットの「感情」を理解するための具体的な枠組みを提供する。
• ヒントンの研究戦略は、広く受け入れられているにもかかわらず直感的に「間違っている」と感じるアイデアを特定し、簡単なデモンストレーションでそれを反証することを含んでいる。
• 彼の最も深く、継続的な好奇心は、脳がどのように勾配ベースの学習、特にバックプロパゲーションを実装しているかという点にある。

「一体どうすれば脳が物事を学習できるようになるのか、それが知りたかったんだ。そして、ある意味で私は失敗した。その失敗の副産物として、素晴らしい工学が生まれた。だが、ああ、それは世界にとって良い、良い、良い失敗だったんだ。」 - Geoffrey Hinton