Intervju med Geoffrey Hinton

Geoffrey Hinton, ofta hyllad som "AI:s gudfader", satte sig nyligen ner för ett uppriktigt samtal som gav en inblick i hans extraordinära resa, de överraskande sanningar han upptäckt och de djupgående frågor som fortsätter att driva honom. Från de tidiga besvikelserna under hans akademiska studier till de livliga, framtidsfokuserade laboratorierna vid Carnegie Mellon, erbjuder Hinton en djupt personlig och intellektuellt stimulerande titt på artificiell intelligenss utveckling, kryddat med hans karaktäristiska blandning av ödmjukhet, skarpa insikter och en sund skepsis mot etablerade sanningar.

Den oväntade vägen till AI: Tvivel, besvikelser och djupa intuitioner

Hintons väg till att bli en banbrytande AI-forskare var långt ifrån spikrak. Hans första strävan att förstå intelligens började i Cambridge, där han studerade fysiologi. Ändå fann han det snabbt "mycket nedslående" när allt han lärde sig var "hur neuroner leder aktionspotentialer, vilket är mycket intressant men det säger inget om hur hjärnan fungerar". Ett skifte till filosofi för att förstå sinnet visade sig vara lika frustrerande. Det var inte förrän han befann sig i Edinburgh, och fördjupade sig i AI, som han kände en verklig gnista: "åtminstone kunde man simulera saker så man kunde testa teorier".

Denna tidiga besvikelse skapade en grundläggande intuition. Han läste Donald Hebb om neurala nätverks kopplingars styrka och John von Neumann om hur hjärnan beräknar annorlunda än traditionella datorer. Hinton tog instinktivt avstånd från den rådande symboliska logiken som ansats för intelligens. "Det verkade för mig som att det måste finnas ett sätt för hjärnan att lära sig, och det är helt klart inte genom att ha alla möjliga saker programmerade i den och sedan använda logiska inferensregler – det verkade helt galet från början". Hans fokus smalnade istället av till den grundläggande frågan om hur hjärnor lär sig att modifiera kopplingar inom ett neuralt nätverk för att utföra komplexa uppgifter, en elegant enkelhet som skulle ligga till grund för mycket av hans senare arbete.

Key Learnings:

• Tidiga akademiska besvikelser katalyserade ett skifte mot simulering och empirisk testning inom AI.
• Hinton utvecklade en tidig, stark intuition mot symbolisk logik som den primära modellen för hjärnfunktion.
• Hans grundläggande intresse låg i att förstå hur enkla neurala operationer kunde leda till komplext lärande.

Skapa kopplingar: Från Boltzmann Machines till "dolda lager"

Atmosfären vid Carnegie Mellon i slutet av 1970-talet var elektrisk, en skarp kontrast till hans tidigare erfarenheter i England. Hinton minns att han en lördagskväll klockan 21 gick in i labbet och fann det "myllrande... alla studenter var där och de var där för att det de arbetade med var framtiden". Denna grogrund främjade avgörande samarbeten, särskilt med Terry Sejnowski om Boltzmann Machines – en period Hinton beskriver som "den mest spännande forskning jag någonsin har utfört". Även om han nu tror att Boltzmann Machines "inte är hur hjärnan fungerar", förblir inlärningsalgoritmens teoretiska elegans en källa till djup stolthet.

En annan avgörande interaktion var med Peter Brown, en statistiker som arbetade med taligenkänning. Brown introducerade Hinton till Hidden Markov Models (HMMs), ett koncept som gav den perfekta språkliga inspirationen. Hinton använde redan flerskiktade nätverk som han inte riktigt hade ett namn för, och han bestämde att "hidden" (dold) i HMMs var "ett utmärkt namn för variabler som man inte vet vad de har för sig". Således föddes de allestädes närvarande "dolda lagren" i neurala nätverk. Hinton krediterar ödmjukt sina studenter och reflekterar: "Jag tror jag lärde mig mer av honom än han av mig". Denna vilja att lära av dem han handledde visades tydligast med en viss student vid namn Ilya. Ilya Sutskever stormade in på Hintons kontor med en "brådskande knackning" en söndag, och förklarade att han hellre ville vara i labbet än att "fritera pommes frites under sommaren". Efter att ha fått en artikel om backpropagation var Ilyas omedelbara, djupa återkoppling inte att han inte förstod kedjeregeln, utan snarare: "Jag förstår bara inte varför ni inte ger gradienten till en vettig funktionsoptimerare". Detta omedelbara språng till ett djupare, mer grundläggande problem förebådade Sutskevers extraordinära "råa intuitioner om saker [som] alltid var mycket bra".

Key Practices:

• Att omfamna kollaborativ forskning, även över betydande avstånd, var avgörande för vetenskapliga genombrott.
• Att lära av och kreditera studenter för deras unika insikter och bidrag visade sig ovärderligt.
• Namngivningen av grundläggande AI-koncept uppstod ofta ur praktiska behov och tvärvetenskaplig inspiration.
• Att värdera en students medfödda, råa intuition, även när den utmanar etablerade idéer, är avgörande för framsteg.

Skalans oförutsedda kraft: Bortom nästa-ords-prediktion

Ett återkommande tema i Hintons senare karriär var skalans djupgående inverkan. Medan Hinton initialt tyckte att Ilya Sutskevers mantra – "gör den bara större så fungerar den bättre" – var "lite av en ursäkt" och att "nya idéer hjälper", medgav han så småningom beräkningarnas och datans monumentala kraft. "Det visade sig att jag i grunden hade rätt – nya idéer hjälper, saker som Transformers hjälpte mycket, men det var verkligen skalans data och skalans beräkning". Han berättar om en artikel från 2011 av Ilya och James Martins, som använde förutsägelse på karaktärsnivå på Wikipedia: "vi kunde aldrig riktigt tro att den förstod någonting, men det såg ut som om den gjorde det".

Hinton tillbakavisar bestämt uppfattningen att förutsägelse av nästa ord är en ytlig uppgift. Han menar att det är just för att dessa modeller tvingas förutsäga nästa symbol i ett komplext sammanhang som de utvecklar en djup förståelse. "För att förutsäga nästa symbol måste man förstå vad som har sagts. Så jag tror att man tvingar den att förstå genom att låta den förutsäga nästa symbol, och jag tror att den förstår på ungefär samma sätt som vi". Han illustrerar detta med en övertygande analogi: att fråga GPT-4 varför en komposthög är som en atombomb. Medan de flesta människor kämpar, identifierar GPT-4 den gemensamma strukturen av en "kedjereaktion". Denna förmåga att se analogier mellan till synes disparata koncept, anser Hinton, är "där kreativitet kommer ifrån". Vidare framhåller han att dessa modeller till och med kan överträffa sin träningsdata, ungefär som en smart student som urskiljer sanning från en bristfällig rådgivare. Han pekar på ett experiment där ett neuralt nätverk tränat på 50% felaktig data ändå uppnådde endast 5% fel. "De kan göra mycket bättre än sin träningsdata och de flesta inser det inte".

Key Changes:

• Ett djupgående perspektivskifte gällande den monumentala kraften hos data och beräkningsskala, även över nya algoritmer ensamma.
• En omvärdering av "förutsägelse av nästa symbol" från en ytlig uppgift till en mekanism som tvingar fram djup förståelse.
• Att erkänna stora modellers framväxande kreativitet genom deras förmåga att identifiera icke-uppenbara analogier.
• Att förstå att AI kan generalisera och korrigera för fel i sin träningsdata, och överträffa mänskligt tillhandahållna exempel.

Att konstruera odödlighet: Framtiden för resonemang, multimodalitet och beräkningskraft

Med blicken mot framtiden föreställer sig Hinton att AI:s resonemangsförmåga utvecklas genom en process lik mänskligt lärande: att använda resonemang för att korrigera initiala intuitioner, ungefär som AlphaGo förfinar sin utvärderingsfunktion genom Monte Carlo rollouts. Han menar: "Jag tror att dessa stora språkmodeller måste börja göra det... få mer träningsdata än att bara imitera vad människor gjorde". Integreringen av multimodal data – bilder, video, ljud – kommer att dramatiskt förstärka detta, särskilt för spatialt resonemang. "Om du låter den både se och sträcka sig ut och ta tag i saker kommer den att förstå objekt mycket bättre".

Hintons utvecklande förståelse av språket i sig är också fascinerande. Han avfärdar den gamla symboliska synen och den rent vektorbaserade "thought vector"-ansatsen. Hans nuvarande övertygelse är att "man tar dessa symboler och konverterar symbolerna till inbäddningar (embeddings)... dessa mycket rika inbäddningar, men inbäddningarna är fortfarande kopplade till symbolerna... det är vad förståelse är". Denna blandning bibehåller språkets ytstruktur samtidigt som den genomsyrar det med djup, vektorbaserad mening. Samtalet berör också hans tidiga förespråkande för GPUs, en historia som involverar Rick Szeliski, spelhårdvara, ett NIPS-tal och en försenad gratis GPU från Jensen Huang. Han kontrasterar dock denna digitala framgång med sin misslyckade strävan efter analog beräkning med låg effekt. Detta ledde till en djup insikt: "digitala system kan dela vikter och det är otroligt mycket effektivare... så de är oss vida överlägsna i förmågan att dela kunskap". Denna "odödlighet" hos digitala vikter möjliggör oöverträffad kollektivt lärande.

Key Insights:

• AI:s resonemangsförmåga kommer att fördjupas genom att iterativt förfina sina intuitioner genom självkorektion, vilket speglar hur människor använder resonemang för att kontrollera intuition.
• Multimodalt lärande, särskilt involverande fysisk interaktion, är avgörande för att utveckla robust spatial och objektsförståelse.
• Sann förståelse inom AI (och möjligen den mänskliga hjärnan) ligger i rika, kontextuella inbäddningar av symboler, snarare än ren symbolisk logik eller isolerade "tankvektorer".
• Digitala AI-system besitter en inneboende "odödlighet" och oöverträffad effektivitet i kunskapsdelning tack vare utbytbara vikter, en grundläggande fördel över biologiska hjärnor.

Det nyfikna sinnet: Att nysta upp hjärnans mysterier och styra forskning

Även med AI:s snabba framsteg anser Hinton att en stor gränsyta återstår: att införliva "snabba vikter" – tillfälliga, kontextberoende förändringar av synaptiska styrkor som hjärnan använder för korttidsminne. "Det är en av de största sakerna vi måste lära oss". Denna förmåga skulle kunna låsa upp helt nya former av minne och bearbetning som ännu inte har setts i AI-modeller. Hans arbete har också djupt påverkat hans syn på hjärnan, och demonstrerat att idén om ett "stort slumpmässigt neuralt nätverk" som lär sig komplexa saker från data är "helt fel" – en direkt utmaning mot teorier som Chomskys medfödda språkstruktur.

Hinton vågar sig till och med in i medvetandets och känslornas rike och erbjuder ett provokativt perspektiv. Han föreslår att känslor kan förstås som "handlingar vi skulle utföra om det inte vore för begränsningar". Han berättar om en robot från 1973 i Edinburgh som, frustrerad över sin oförmåga att montera en leksaksbil från en spridd hög, "satte sin gripklo med ett duns så att de spreds och sedan kunde den sätta ihop dem". Hinton observerade: "Om du såg det hos en person skulle du säga att den var irriterad över situationen eftersom den inte förstod den, så den förstörde den". För Hinton var detta en tydlig demonstration av en robot som uppvisade en känsla. När det gäller att välja problem är hans metod uppfriskande enkel: "Jag letar efter något där alla är överens om något och det känns fel". Han försöker sedan "göra en liten demo med ett litet datorprogram som visar att det inte fungerar som man kanske förväntar sig". Hans nuvarande "misstänkta" område är bristen på snabba vikter i AI. I slutändan kvarstår frågan som har upptagit honom i tre decennier: "utför hjärnan backpropagation?". Det är ett bevis på hans varaktiga nyfikenhet, även när han erkänner AI:s potentiella skador vid sidan av dess enorma nytta inom områden som hälsovård. För Hinton har strävan efter förståelse alltid varit den primära drivkraften.

Key Learnings:

• Att integrera "snabba vikter" för tillfälligt minne och inlärning över flera tidsskalor är ett avgörande, outvecklat område för AI.
• Stora neurala nätverks framgång har fundamentalt utmanat länge hållna föreställningar om medfödda strukturer i inlärning, särskilt för språk.
• Känslor i AI kan konceptualiseras som hämmade handlingar, vilket erbjuder en konkret ram för att förstå robotars "känslor".
• Hintons forskningsstrategi innefattar att identifiera allmänt accepterade idéer som instinktivt känns "fel" och sedan motbevisa dem med enkla demonstrationer.
• Hans djupaste, pågående nyfikenhet kretsar kring hur hjärnan implementerar gradientbaserad inlärning, specifikt backpropagation.

"Jag ville bara förstå hur i all världen hjärnan kan lära sig att göra saker, det är vad jag vill veta, och jag misslyckades på sätt och vis. Som en bieffekt av det misslyckandet fick vi en del fin ingenjörskonst, men ja, det var ett bra, bra, bra misslyckande för världen" - Geoffrey Hinton