Interview mit Geoffrey Hinton

Geoffrey Hinton, oft als der „Pate der KI“ gefeiert, saß kürzlich für ein offenes Gespräch zusammen, das Schicht für Schicht seine außergewöhnliche Reise, die überraschenden Wahrheiten, die er aufgedeckt hat, und die tiefgründigen Fragen, die ihn weiterhin antreiben, enthüllte. Von den stillen Enttäuschungen seiner frühen akademischen Bestrebungen bis hin zu den geschäftigen, zukunftsorientierten Laboren der Carnegie Mellon bietet Hinton einen zutiefst persönlichen und intellektuell anregenden Einblick in die Entwicklung der künstlichen Intelligenz, untermauert von seiner charakteristischen Mischung aus Bescheidenheit, scharfsinnigen Erkenntnissen und einer gesunden Skepsis gegenüber etablierten Lehrmeinungen.

Der unerwartete Weg zur KI: Zweifel, Enttäuschungen und tiefe Intuitionen

Hintons Weg, ein wegweisender KI-Forscher zu werden, war alles andere als geradlinig. Seine ursprüngliche Suche nach dem Verständnis von Intelligenz begann in Cambridge, wo er Physiologie studierte. Doch er empfand es schnell als „sehr enttäuschend“, als er nur lernte, „wie Neuronen Aktionspotenziale leiten, was sehr interessant ist, aber es sagt einem nicht, wie das Gehirn funktioniert.“ Ein Wechsel zur Philosophie, um den Geist zu verstehen, erwies sich als ebenso frustrierend. Erst als er sich in Edinburgh mit KI beschäftigte, spürte er einen wahren Funken: „Man konnte zumindest Dinge simulieren, sodass man Theorien testen konnte.“

Diese frühe Enttäuschung entwickelte eine grundlegende Intuition. Er las Donald Hebb über die Verbindungsstärken neuronaler Netze und John von Neumann darüber, wie das Gehirn anders rechnet als traditionelle Computer. Hinton wich instinktiv vom vorherrschenden Ansatz der symbolischen Logik zur Intelligenz ab. „Es schien mir, dass es einen Weg geben muss, wie das Gehirn lernt, und das geschieht eindeutig nicht, indem ihm alle möglichen Dinge einprogrammiert werden und dann logische Schlussregeln verwendet werden; das erschien mir von vornherein unsinnig.“ Sein Fokus verengte sich stattdessen auf die grundlegende Frage, wie Gehirne lernen, Verbindungen innerhalb eines neuronalen Netzes zu modifizieren, um komplexe Aufgaben auszuführen – eine elegante Einfachheit, die einen Großteil seiner späteren Arbeit prägen sollte.

Wichtige Erkenntnisse:

• Frühe akademische Enttäuschungen katalysierten eine Verlagerung hin zu Simulation und empirischen Tests in der KI.
• Hinton entwickelte früh eine starke Intuition gegen die symbolische Logik als primäres Modell für die Gehirnfunktion.
• Sein grundlegendes Interesse lag im Verständnis, wie einfache neuronale Operationen zu komplexem Lernen führen können.

Verbindungen knüpfen: Von Boltzmann Machines zu „Hidden Layers“

Die Atmosphäre an der Carnegie Mellon Ende der 1970er Jahre war elektrisierend, ein starker Kontrast zu seinen früheren Erfahrungen in England. Hinton erinnert sich, wie er an einem Samstagabend um 21 Uhr ins Labor ging und es „wimmelte… alle Studenten waren da und sie waren alle da, weil das, woran sie arbeiteten, die Zukunft war.“ Dieser fruchtbare Boden förderte entscheidende Kollaborationen, insbesondere mit Terry Sejnowski an Boltzmann Machines – eine Zeit, die Hinton als „die aufregendste Forschung, die ich je gemacht habe“ beschreibt. Obwohl er heute glaubt, dass Boltzmann Machines „nicht so funktionieren, wie das Gehirn funktioniert“, bleibt die theoretische Eleganz des Lernalgorithmus ein Punkt tiefen Stolzes.

Eine weitere entscheidende Interaktion war die mit Peter Brown, einem Statistiker, der an Spracherkennung arbeitete. Brown führte Hinton in Hidden Markov Models (HMMs) ein, ein Konzept, das die perfekte sprachliche Inspiration lieferte. Hinton verwendete bereits mehrschichtige Netze, für die er noch keinen Namen hatte, und er entschied, dass das „Hidden“ in HMMs „ein großartiger Name für Variablen war, von denen man nicht weiß, was sie tun.“ So wurden die allgegenwärtigen „Hidden Layers“ in neuronalen Netzen geboren. Hinton schreibt dies bescheiden seinen Studenten zu und reflektiert: „Ich glaube, ich habe mehr von ihm gelernt als er von mir.“ Diese Bereitschaft, von denen zu lernen, die er betreute, zeigte sich am anschaulichsten bei einem bestimmten Studenten namens Ilya. Ilya Sutskever stürmte eines Sonntags mit einem „dringenden Klopfen“ in Hintons Büro und erklärte, er würde lieber im Labor sein, als „den Sommer über Pommes zu braten.“ Nachdem er einen Artikel über Backpropagation erhalten hatte, war Ilyas sofortiges, tiefgreifendes Feedback nicht, dass er die Kettenregel nicht verstand, sondern: „Ich verstehe einfach nicht, warum Sie den Gradienten nicht einem vernünftigen Funktionsoptimierer geben.“ Dieser unmittelbare Sprung zu einem tieferen, grundlegenderen Problem nahm Sutskever's außergewöhnliche „rohe Intuitionen, die immer sehr gut waren“ vorweg.

Wichtige Praktiken:

• Die Zusammenarbeit in der Forschung, selbst über große Entfernungen hinweg, war entscheidend für wissenschaftliche Durchbrüche.
• Das Lernen von und die Würdigung von Studenten für ihre einzigartigen Einsichten und Beiträge erwies sich als unschätzbar wertvoll.
• Die Benennung grundlegender KI-Konzepte entstand oft aus praktischen Bedürfnissen und interdisziplinärer Inspiration.
• Die Wertschätzung der angeborenen, rohen Intuition eines Studenten, auch wenn sie etablierte Ideen in Frage stellt, ist für den Fortschritt unerlässlich.

Die unvorhergesehene Kraft der Skalierung: Jenseits der Vorhersage des nächsten Wortes

Ein wiederkehrendes Thema in Hintons späterer Karriere war der tiefgreifende Einfluss der Skalierung. Während Hinton anfangs Ilya Sutskever's Mantra – „Man macht es einfach größer und es funktioniert besser“ – als „ein bisschen eine Ausflucht“ und dass „neue Ideen helfen“ ansah, räumte er schließlich die monumentale Kraft von Berechnung und Daten ein. „Es stellte sich heraus, dass ich im Grunde richtig lag – neue Ideen helfen, Dinge wie Transformers halfen sehr, aber es war wirklich die Skala der Daten und die Skala der Berechnung.“ Er berichtet von einem Artikel aus dem Jahr 2011 von Ilya und James Martins, der die Vorhersage auf Zeichenebene auf Wikipedia nutzte: „Wir konnten nie ganz glauben, dass es etwas verstand, aber es sah so aus, als ob es verstand.“

Hinton widerlegt vehement die Vorstellung, dass die Vorhersage des nächsten Wortes eine oberflächliche Aufgabe ist. Er argumentiert, dass diese Modelle gerade deshalb ein tiefes Verständnis entwickeln, weil sie gezwungen sind, das nächste Symbol in einem komplexen Kontext vorherzusagen. „Um das nächste Symbol vorherzusagen, muss man verstehen, was gesagt wurde. Ich denke also, man zwingt es zum Verständnis, indem man es das nächste Symbol vorhersagen lässt, und ich denke, es versteht auf vielerlei Hinsicht genauso wie wir.“ Er veranschaulicht dies mit einer überzeugenden Analogie: GPT-4 zu fragen, warum ein Komposthaufen wie eine Atombombe ist. Während die meisten Menschen Schwierigkeiten haben, identifiziert GPT-4 die gemeinsame Struktur einer „Kettenreaktion.“ Diese Fähigkeit, Analogien zwischen scheinbar disparaten Konzepten zu erkennen, ist laut Hinton „der Ursprung der Kreativität.“ Darüber hinaus hebt er hervor, dass diese Modelle sogar ihre Trainingsdaten übertreffen können, ähnlich wie ein kluger Student die Wahrheit von einem fehlerhaften Berater unterscheidet. Er verweist auf ein Experiment, bei dem ein neuronales Netz, das mit 50 % fehlerhaften Daten trainiert wurde, dennoch nur 5 % Fehler aufwies. „Sie können viel besser sein als ihre Trainingsdaten, und die meisten Leute wissen das nicht.“

Wichtige Veränderungen:

• Ein tiefgreifender Perspektivwechsel hinsichtlich der monumentalen Kraft von Daten und Rechenleistung, selbst gegenüber neuartigen Algorithmen allein.
• Die Neubewertung der „Vorhersage des nächsten Symbols“ von einer oberflächlichen Aufgabe zu einem Mechanismus, der ein tiefes Verständnis erzwingt.
• Das Erkennen der emergenten Kreativität großer Modelle durch ihre Fähigkeit, nicht offensichtliche Analogien zu identifizieren.
• Das Verständnis, dass KI generalisieren und Fehler in ihren Trainingsdaten korrigieren kann, indem sie von menschengemachten Beispielen übertroffen wird.

Unsterblichkeit der Technik: Die Zukunft des Denkens, der Multimodalität und der Berechnung

Mit Blick auf die Zukunft stellt sich Hinton vor, dass KI-Argumentation durch einen Prozess voranschreitet, der dem menschlichen Lernen ähnelt: die Nutzung von Argumentation zur Korrektur anfänglicher Intuitionen, so wie AlphaGo seine Bewertungsfunktion durch Monte-Carlo-Rollouts verfeinert. Er erklärt: „Ich denke, diese großen Sprachmodelle müssen damit anfangen… mehr Trainingsdaten zu erhalten, als nur nachzuahmen, was Menschen getan haben.“ Die Integration multimodaler Daten – Bilder, Videos, Töne – wird dies dramatisch verbessern, insbesondere für das räumliche Denken. „Wenn es sowohl sieht als auch nach Dingen greift, wird es Objekte viel besser verstehen.“

Hintons sich entwickelndes Verständnis von Sprache selbst ist ebenfalls faszinierend. Er verwirft die alte symbolische Ansicht und den rein vektorbasierten „Gedankenvektor“-Ansatz. Seine aktuelle Überzeugung besagt, dass „man diese Symbole nimmt und die Symbole in Embeddings umwandelt… diese sehr reichhaltigen Embeddings, aber die Embeddings beziehen sich immer noch auf die Symbole… das ist es, was Verständnis ist.“ Diese Mischung bewahrt die Oberflächenstruktur der Sprache, erfüllt sie aber gleichzeitig mit tiefgründiger, vektorbasierten Bedeutung. Das Gespräch berührt auch sein frühes Eintreten für GPUs, eine Geschichte, die Rick Szeliski, Gaming-Hardware, einen NIPS-Vortrag und eine verspätete kostenlose GPU von Jensen Huang umfasst. Er kontrastiert diesen digitalen Erfolg jedoch mit seinem erfolglosen Streben nach stromsparender analoger Berechnung. Dies führte zu einer tiefgreifenden Erkenntnis: „Digitale Systeme können Gewichte teilen, und das ist unglaublich viel effizienter… sie sind uns also weit überlegen, wenn es darum geht, Wissen zu teilen.“ Die „Unsterblichkeit“ digitaler Gewichte ermöglicht ein beispielloses kollektives Lernen.

Wichtige Einblicke:

• Die Denkfähigkeiten der KI werden sich vertiefen, indem sie ihre Intuitionen durch Selbstkorrektur iterativ verfeinert, was widerspiegelt, wie Menschen Argumentation nutzen, um Intuitionen zu überprüfen.
• Multimodales Lernen, insbesondere mit physischer Interaktion, ist entscheidend für die Entwicklung eines robusten räumlichen und objektiven Verständnisses.
• Wirkliches Verständnis in der KI (und möglicherweise im menschlichen Gehirn) liegt in reichhaltigen, kontextuellen Embeddings von Symbolen, anstatt in reiner symbolischer Logik oder isolierten „Gedankenvektoren“.
• Digitale KI-Systeme besitzen eine inhärente „Unsterblichkeit“ und beispiellose Effizienz beim Wissensaustausch aufgrund austauschbarer Gewichte, ein fundamentaler Vorteil gegenüber biologischen Gehirnen.

Der neugierige Geist: Die Geheimnisse des Gehirns enträtseln und Forschung leiten

Selbst mit den schnellen Fortschritten der KI glaubt Hinton, dass eine wichtige Grenze bleibt: die Integration von „Fast Weights“ – temporären, kontextabhängigen Änderungen der synaptischen Stärken, die das Gehirn für das Kurzzeitgedächtnis verwendet. „Das ist eines der größten Dinge, die wir noch lernen müssen.“ Diese Fähigkeit könnte völlig neue Formen des Gedächtnisses und der Verarbeitung ermöglichen, die in KI-Modellen noch nicht zu sehen sind. Seine Arbeit hat auch seine Sichtweise auf das Gehirn tiefgreifend beeinflusst und gezeigt, dass die Idee eines „großen zufälligen neuronalen Netzes“, das komplexe Dinge aus Daten lernt, „völlig falsch“ ist – eine direkte Herausforderung für Theorien wie Chomskys angeborene Sprachstruktur.

Hinton wagt sich sogar in den Bereich des Bewusstseins und der Gefühle vor und bietet eine provokante Perspektive. Er schlägt vor, dass Gefühle als „Aktionen verstanden werden können, die wir ausführen würden, wenn es keine Einschränkungen gäbe.“ Er erzählt von einem Roboter aus dem Jahr 1973 in Edinburgh, der, frustriert von seiner Unfähigkeit, ein Spielzeugauto aus einem verstreuten Haufen zusammenzusetzen, „mit seinem Greifer zuschlug und sie so auseinanderwarf, wonach er sie zusammensetzen konnte.“ Hinton bemerkte: „Würde man das bei einem Menschen sehen, würde man sagen, er war von der Situation überfordert, weil er sie nicht verstand, also zerstörte er sie.“ Für Hinton war dies eine klare Demonstration eines Roboters, der eine Emotion zeigte. Wenn es um die Auswahl von Problemen geht, ist seine Methode erfrischend einfach: „Ich suche nach etwas, worüber sich alle einig sind und es sich falsch anfühlt.“ Dann versucht er, „eine kleine Demo mit einem kleinen Computerprogramm zu erstellen, die zeigt, dass es nicht so funktioniert, wie man es erwarten würde.“ Sein aktueller „verdächtiger“ Bereich ist das Fehlen schneller Gewichte in der KI. Letztendlich bleibt die Frage, die ihn seit drei Jahrzehnten beschäftigt: „Macht das Gehirn Backpropagation?“ Es ist ein Beweis für seine anhaltende Neugier, auch wenn er die potenziellen Gefahren der KI neben ihrem immensen Nutzen in Bereichen wie der Gesundheitsversorgung anerkennt. Für Hinton war das Streben nach Verständnis schon immer seine Hauptmotivation.

Wichtige Erkenntnisse:

• Die Integration von „Fast Weights“ für das temporäre Gedächtnis und das Lernen über mehrere Zeitskalen ist ein entscheidender, noch unentwickelter Bereich für die KI.
• Der Erfolg großer neuronaler Netze hat lange gehegte Überzeugungen über angeborene Strukturen beim Lernen, insbesondere für Sprache, grundlegend in Frage gestellt.
• Gefühle in der KI können als gehemmte Aktionen konzeptualisiert werden und bieten einen greifbaren Rahmen zum Verständnis von Roboter-"Emotionen".
• Hintons Forschungsstrategie beinhaltet die Identifizierung weit verbreiteter Ideen, die sich instinktiv „falsch“ anfühlen, und deren Widerlegung mit einfachen Demonstrationen.
• Seine tiefste, anhaltende Neugier dreht sich darum, wie das Gehirn gradientenbasiertes Lernen, insbesondere Backpropagation, implementiert.

„Ich wollte einfach verstehen, wie zum Teufel das Gehirn lernen kann, Dinge zu tun – das wollte ich wissen. Und ich bin in gewisser Weise gescheitert. Als Nebeneffekt dieses Scheiterns haben wir gute technische Entwicklungen bekommen, aber ja, es war ein sehr, sehr guter Fehlschlag für die Welt.“ – Geoffrey Hinton