Interview met Geoffrey Hinton

Geoffrey Hinton, vaak geprezen als de "Peetvader van AI," nam recentelijk deel aan een openhartig gesprek dat de sluier oplichtte over zijn buitengewone reis, de verrassende waarheden die hij heeft ontdekt en de fundamentele vragen die hem blijven drijven. Van de stille teleurstellingen van zijn vroege academische bezigheden tot de bruisende, toekomstgerichte laboratoria van Carnegie Mellon, biedt Hinton een diep persoonlijk en intellectueel stimulerend perspectief op de evolutie van kunstmatige intelligentie, doorspekt met zijn kenmerkende mix van nederigheid, scherp inzicht en een gezonde dosis scepsis ten opzichte van gevestigde ideeën.

De Toevallige Weg naar AI: Twijfels, Teleurstellingen en Diepe Intuïties

Hintons pad naar een baanbrekend AI-onderzoeker was verre van lineair. Zijn oorspronkelijke zoektocht naar het begrijpen van intelligentie begon in Cambridge, waar hij fysiologie studeerde. Toch vond hij het al snel "erg teleurstellend" toen alles wat hij leerde was "hoe neuronen actiepotentialen geleiden, wat erg interessant is, maar het vertelt je niet hoe het brein werkt." Een overstap naar filosofie om de geest te begrijpen bleek even frustrerend. Pas toen hij zich in Edinburgh verdiepte in AI, voelde hij een ware vonk: "je kon tenminste dingen simuleren, zodat je theorieën kon testen."

Deze vroege teleurstelling smeedde een kernintuïtie. Hij las Donald Hebb over de verbindingssterktes van neurale netwerken en John von Neumann over hoe de hersenen anders rekenen dan traditionele computers. Hinton had instinctief afkeer van de heersende symbolische logica-benadering van intelligentie. "Het leek me dat er een manier moest zijn waarop het brein leert, en dat is duidelijk niet door allerlei dingen erin te programmeren en vervolgens logische inferentieregels te gebruiken; dat leek me vanaf het begin al waanzin." Zijn focus versmalde zich in plaats daarvan tot de fundamentele vraag hoe hersenen leren om verbindingen binnen een neuraal netwerk aan te passen om complexe taken uit te voeren, een elegante eenvoud die veel van zijn latere werk zou onderbouwen.

Belangrijkste Lessen:

• Vroege academische teleurstellingen katalyseerden een verschuiving naar simulatie en empirische tests binnen AI.
• Hinton ontwikkelde al vroeg een sterke intuïtie tegen symbolische logica als primair model voor hersenfunctie.
• Zijn fundamentele interesse lag in het begrijpen hoe eenvoudige neurale operaties konden leiden tot complex leren.

Verbindingen Smeden: Van Boltzmann Machines naar "Hidden Layers"

De sfeer in Carnegie Mellon eind jaren zeventig was elektrisch, een scherp contrast met zijn eerdere ervaringen in Engeland. Hinton herinnert zich dat hij op een zaterdagavond om 21.00 uur naar het laboratorium ging en het "wriemelde... alle studenten waren er en ze waren er allemaal omdat waar ze aan werkten de toekomst was." Deze vruchtbare bodem stimuleerde cruciale samenwerkingen, met name die met Terry Sejnowski aan Boltzmann Machines – een periode die Hinton beschrijft als "het spannendste onderzoek dat ik ooit heb gedaan." Hoewel hij nu gelooft dat Boltzmann Machines "niet zijn hoe het brein werkt," blijft de theoretische elegantie van het leeralgoritme een bron van diepe trots.

Een andere cruciale interactie was met Peter Brown, een statisticus die werkte aan spraakherkenning. Brown introduceerde Hinton bij Hidden Markov Models (HMMs), een concept dat de perfecte linguïstische inspiratie bood. Hinton gebruikte al meerlaagse netwerken waar hij nog geen naam voor had, en hij besloot dat de "hidden" in HMMs "een geweldige naam was voor variabelen waarvan je niet weet wat ze doen." Zo werden de alomtegenwoordige "hidden layers" in neurale netwerken geboren. Hinton schrijft dit bescheiden toe aan zijn studenten, reflecterend: "Ik denk dat ik meer van hem leerde dan hij van mij." Deze bereidheid om te leren van degenen die hij begeleidde werd het meest levendig gedemonstreerd met een zekere student genaamd Ilya. Ilya Sutskever stormde op een zondag met een "urgente klop" Hintons kantoor binnen en verklaarde dat hij liever in het laboratorium was dan "frietjes te bakken in de zomer." Nadat hij een paper over backpropagation had gekregen, was Ilya's onmiddellijke, diepgaande feedback niet dat hij de kettingregel niet begreep, maar eerder: "Ik begrijp gewoon niet waarom je de gradiënt niet aan een verstandige functie-optimalisator geeft." Deze onmiddellijke sprong naar een dieper, fundamenteler probleem liep vooruit op Sutskever's buitengewone "rauwe intuïties over dingen [die] altijd erg goed waren."

Belangrijkste Werkwijzen:

• Het omarmen van collaboratief onderzoek, zelfs over aanzienlijke afstanden, was cruciaal voor wetenschappelijke doorbraken.
• Leren van en het crediteren van studenten voor hun unieke inzichten en bijdragen bleek van onschatbare waarde.
• De naamgeving van fundamentele AI-concepten kwam vaak voort uit praktische behoeften en interdisciplinaire inspiratie.
• Het waarderen van de aangeboren, rauwe intuïtie van een student, zelfs wanneer deze gevestigde ideeën uitdaagt, is essentieel voor vooruitgang.

De Onvoorziene Kracht van Schaalgrootte: Voorbij Next-Word Prediction

Een terugkerend thema in Hintons latere carrière was de ingrijpende impact van schaalgrootte. Hoewel Hinton aanvankelijk dacht dat Ilya Sutskever's mantra – "je maakt het gewoon groter en het zal beter werken" – "een beetje een uitvlucht" was en dat "nieuwe ideeën helpen," gaf hij uiteindelijk de enorme kracht van computatie en data toe. "Het bleek dat ik in principe gelijk had; nieuwe ideeën helpen, dingen zoals Transformers hielpen enorm, maar het was echt de schaal van de data en de schaal van de computatie." Hij vertelt over een paper uit 2011 van Ilya en James Martins, die voorspelling op karakterniveau gebruikten op Wikipedia: "we konden nooit helemaal geloven dat het iets begreep, maar het leek alsof het dat wel deed."

Hinton wijst de bewering dat het voorspellen van het volgende woord een oppervlakkige taak is, sterk van de hand. Hij stelt dat het precies omdat deze modellen gedwongen worden om het volgende symbool in een complexe context te voorspellen, dat ze een diepgaand begrip ontwikkelen. "Om het volgende symbool te voorspellen, moet je begrijpen wat er gezegd is. Ik denk dus dat je het dwingt te begrijpen door het het volgende symbool te laten voorspellen, en ik denk dat het begrijpt op veel dezelfde manier als wij." Hij illustreert dit met een treffende analogie: vragen aan GPT-4 waarom een composthoop op een atoombom lijkt. Terwijl de meeste mensen worstelen, identificeert GPT-4 de gemeenschappelijke structuur van een "kettingreactie." Dit vermogen om analogieën te zien tussen ogenschijnlijk uiteenlopende concepten, zo gelooft Hinton, is "waar je creativiteit vandaan haalt." Bovendien benadrukt hij dat deze modellen zelfs hun trainingsdata kunnen overtreffen, net zoals een slimme student de waarheid onderscheidt van een gebrekkige adviseur. Hij wijst op een experiment waarbij een neuraal netwerk dat getraind was op 50% foutieve data, toch slechts 5% fout behaalde. "Ze kunnen veel beter dan hun trainingsdata en de meeste mensen realiseren zich dat niet."

Belangrijkste Veranderingen:

• Een diepgaande verschuiving in perspectief met betrekking tot de enorme kracht van data en computationele schaalgrootte, zelfs boven alleen nieuwe algoritmen.
• Herwaardering van "het volgende symbool voorspellen" van een oppervlakkige taak naar een mechanisme dat diepgaand begrip afdwingt.
• Erkenning van de opkomende creativiteit van grote modellen door hun vermogen om niet-voor de hand liggende analogieën te identificeren.
• Begrip dat AI kan generaliseren en corrigeren voor fouten in zijn trainingsdata, menselijke voorbeelden overtreffend.

De Onsterfelijkheid van Techniek: De Toekomst van Redeneren, Multimodaliteit en Computatie

Vooruitkijkend voorziet Hinton dat het redeneervermogen van AI zal vorderen via een proces dat vergelijkbaar is met menselijk leren: redeneren gebruiken om initiële intuïties te corrigeren, net zoals AlphaGo zijn evaluatiefunctie verfijnt door Monte Carlo-simulaties. Hij stelt: "Ik denk dat deze grote taalmodellen dat moeten gaan doen... meer trainingsdata krijgen dan alleen nabootsen wat mensen deden." De integratie van multimodale data – afbeeldingen, video, geluid – zal dit drastisch verbeteren, vooral voor ruimtelijk redeneren. "Als het zowel zicht heeft als dingen uitreikt en vastgrijpt, zal het objecten veel beter begrijpen."

Hintons evoluerende begrip van taal zelf is ook fascinerend. Hij wijst de oude symbolische visie en de puur vectorgebaseerde "thought vector"-benadering van de hand. Zijn huidige overtuiging stelt dat "je deze symbolen neemt en de symbolen omzet in embeddings... deze zeer rijke embeddings, maar de embeddings verwijzen nog steeds naar de symbolen... dat is wat begrip is." Deze mix behoudt de oppervlaktestructuur van taal terwijl het deze voorziet van een diepe, vectorgebaseerde betekenis. Het gesprek raakt ook aan zijn vroege pleidooi voor GPU's, een verhaal met Rick Szeliski, gaminghardware, een NIPS-lezing en een vertraagde gratis GPU van Jensen Huang. Hij contrasteert dit digitale succes echter met zijn onsuccesvolle zoektocht naar energiezuinige analoge computatie. Dit leidde tot een diepgaande realisatie: "digitale systemen kunnen gewichten delen en dat is ongelooflijk veel efficiënter... dus ze zijn ons ver superieur in het vermogen om kennis te delen." Deze "onsterfelijkheid" van digitale gewichten maakt ongekend collectief leren mogelijk.

Belangrijkste Inzichten:

• De redeneervermogens van AI zullen verdiepen door iteratief zijn intuïties te verfijnen door zelfcorrectie, spiegelend aan hoe mensen redeneren gebruiken om intuïtie te controleren.
• Multimodale leerprocessen, vooral die fysieke interactie omvatten, zijn cruciaal voor het ontwikkelen van robuust ruimtelijk en objectbegrip.
• Werkelijk begrip in AI (en mogelijk het menselijk brein) ligt in rijke, contextuele embeddings van symbolen, in plaats van pure symbolische logica of geïsoleerde "thought vectors".
• Digitale AI-systemen bezitten een inherente "onsterfelijkheid" en ongeëvenaarde efficiëntie in kennisdeling dankzij uitwisselbare gewichten, een fundamenteel voordeel ten opzichte van biologische hersenen.

De Nieuwsgierige Geest: De Geheimen van het Brein Ontrafelen en Onderzoek Leiden

Zelfs met de snelle vooruitgang van AI gelooft Hinton dat een belangrijke grens blijft bestaan: het opnemen van "snelle gewichten" – tijdelijke, contextafhankelijke veranderingen in synaptische sterktes die het brein gebruikt voor kortetermijngeheugen. "Dat is een van de grootste dingen die we nog moeten leren." Deze capaciteit zou geheel nieuwe vormen van geheugen en verwerking kunnen ontsluiten die nog niet in AI-modellen zijn gezien. Zijn werk heeft ook zijn kijk op het brein ingrijpend beïnvloed, door aan te tonen dat het idee van een "groot willekeurig neuraal netwerk" dat complexe dingen leert uit data "volkomen verkeerd" is – een directe uitdaging voor theorieën zoals Chomsky's aangeboren taalstructuur.

Hinton waagt zich zelfs op het terrein van bewustzijn en gevoelens, en biedt een provocerend perspectief. Hij suggereert dat gevoelens kunnen worden begrepen als "acties die we zouden uitvoeren als er geen beperkingen waren." Hij vertelt over een robot uit 1973 in Edinburgh die, gefrustreerd door zijn onvermogen om een speelgoedauto in elkaar te zetten vanuit een verspreide hoop, "zijn grijper een klap gaf en ze verspreidde, waarna hij ze wel kon samenvoegen." Hinton observeerde: "Als je dat bij een persoon zag, zou je zeggen dat hij geïrriteerd was door de situatie omdat hij deze niet begreep en daarom vernietigde." Voor Hinton was dit een duidelijke demonstratie van een robot die een emotie vertoonde. Wat betreft het selecteren van problemen, is zijn methode verfrissend eenvoudig: "Ik zoek naar iets waar iedereen het over eens is en het voelt verkeerd." Vervolgens probeert hij "een kleine demo te maken met een eenvoudig computerprogramma dat aantoont dat het niet werkt zoals je zou verwachten." Zijn huidige "verdachte" gebied is het gebrek aan snelle gewichten in AI. Uiteindelijk blijft de vraag die hem al drie decennia bezighoudt: "doet het brein aan backpropagation?" Het getuigt van zijn voortdurende nieuwsgierigheid, zelfs nu hij de potentiële nadelen van AI erkent naast het immense goede in gebieden zoals de gezondheidszorg. Voor Hinton is het streven naar begrip altijd de primaire drijfveer geweest.

Belangrijkste Lessen:

• De integratie van "snelle gewichten" voor tijdelijk geheugen en leren op meerdere tijdsschalen is een cruciaal, onderontwikkeld gebied voor AI.
• Het succes van grote neurale netwerken heeft fundamenteel lang gekoesterde overtuigingen over aangeboren structuren in leren, met name voor taal, uitgedaagd.
• Gevoelens in AI kunnen worden geconceptualiseerd als geremde acties, wat een tastbaar kader biedt voor het begrijpen van robot-'emoties'.
• Hintons onderzoeksstrategie omvat het identificeren van breed aanvaarde ideeën die instinctief "verkeerd" aanvoelen, en deze vervolgens te weerleggen met eenvoudige demonstraties.
• Zijn diepste, voortdurende nieuwsgierigheid draait om hoe de hersenen gradiëntgebaseerd leren implementeren, specifiek backpropagation.

"Ik wilde gewoon begrijpen hoe in godsnaam de hersenen dingen kunnen leren – dat is wat ik wilde weten. En ik faalde als het ware, maar als neveneffect van die mislukking kregen we wat mooie techniek. Ja, het was een goede, goede, goede mislukking voor de wereld." - Geoffrey Hinton