Intervista con Geoffrey Hinton

Geoffrey Hinton, spesso acclamato come il "Padrino dell'IA", si è recentemente seduto per una conversazione sincera che ha svelato i retroscena del suo straordinario percorso, le sorprendenti verità che ha scoperto e le profonde domande che continuano a spingerlo. Dai silenti fallimenti dei suoi primi studi accademici ai frenetici laboratori di Carnegie Mellon, ossessionati dal futuro, Hinton offre uno sguardo profondamente personale e intellettualmente stimolante sull'evoluzione dell'intelligenza artificiale, costellato dal suo caratteristico mix di umiltà, intuito acuto e una sana dose di scetticismo verso le conoscenze consolidate.

Il Percorso Accidentale Verso l'IA: Dubbi, Delusioni e Profonde Intuizioni

Il percorso di Hinton per diventare un ricercatore pioniere dell'IA fu tutt'altro che lineare. La sua ricerca iniziale per comprendere l'intelligenza iniziò a Cambridge, studiando fisiologia. Eppure, la trovò rapidamente "molto deludente" quando tutto ciò che imparò fu "come i neuroni conducono i potenziali d'azione, il che è molto interessante ma non ti dice come funziona il cervello". Un passaggio alla filosofia per comprendere la mente si rivelò altrettanto frustrante. Fu solo quando si ritrovò a Edimburgo, immergendosi nell'IA, che sentì una vera scintilla: "almeno si potevano simulare le cose e quindi mettere alla prova le teorie".

Questa precoce delusione forgiò un'intuizione fondamentale. Lesse Donald Hebb sulla forza delle connessioni nelle reti neurali e John von Neumann su come il cervello calcola in modo diverso dai computer tradizionali. Hinton rifuggì istintivamente dall'approccio prevalente della logica simbolica all'intelligenza. "Mi sembrava che dovesse esserci un modo in cui il cervello impara e chiaramente non è avendo ogni sorta di cose programmate al suo interno e poi usando regole logiche di inferenza, il che mi sembrava folle fin dall'inizio". Il suo focus si restrinse invece alla domanda fondamentale di come i cervelli imparano a modificare le connessioni all'interno di una rete neurale per eseguire compiti complessi, una semplicità elegante che avrebbe sostenuto gran parte del suo lavoro successivo.

Apprendimenti Chiave:

• Le delusioni accademiche iniziali catalizzarono un cambiamento verso la simulazione e i test empirici nell'IA.
• Hinton sviluppò una forte intuizione precoce contro la logica simbolica come modello primario per la funzione cerebrale.
• Il suo interesse fondante risiedeva nel comprendere come semplici operazioni neurali potessero portare a un apprendimento complesso.

Forgiare Connessioni: Dalle Macchine di Boltzmann agli "Strati Nascosti"

L'atmosfera a Carnegie Mellon alla fine degli anni '70 era elettrica, un netto contrasto con le sue precedenti esperienze in Inghilterra. Hinton ricorda di essere andato in laboratorio un sabato sera alle 21:00 e di averlo trovato "brulicante... tutti gli studenti erano lì e tutti erano lì perché ciò su cui stavano lavorando era il futuro". Questo terreno fertile favorì collaborazioni cruciali, in particolare con Terry Sejnowski sulle Macchine di Boltzmann – un periodo che Hinton descrive come "la ricerca più entusiasmante che abbia mai fatto". Anche se ora crede che le Macchine di Boltzmann "non siano come funziona il cervello", l'eleganza teorica dell'algoritmo di apprendimento rimane un punto di profondo orgoglio.

Un'altra interazione cruciale fu con Peter Brown, uno statistico che lavorava sul riconoscimento vocale. Brown introdusse Hinton ai Modelli di Markov Nascosti (HMM), un concetto che fornì la perfetta ispirazione linguistica. Hinton stava già usando reti multi-strato per le quali non aveva ancora un nome, e decise che "nascosto" negli HMM fosse "un ottimo nome per variabili di cui non si sa cosa stiano facendo". Nacquero così gli onnipresenti "strati nascosti" nelle reti neurali. Hinton umilmente rende merito ai suoi studenti, riflettendo: "Penso di imparare più da lui di quanto lui abbia imparato da me". Questa disponibilità ad imparare da coloro che seguiva fu dimostrata più vividamente con un certo studente di nome Ilya. Ilya Sutskever irruppe nell'ufficio di Hinton con un "colpo urgente" una domenica, dichiarando che avrebbe preferito essere in laboratorio piuttosto che "friggere patatine durante l'estate". Dopo aver ricevuto un articolo sulla backpropagation, il feedback immediato e profondo di Ilya non fu che non capiva la regola della catena, ma piuttosto: "Non capisco semplicemente perché non si dia il gradiente a un ottimizzatore di funzioni sensato". Questo salto immediato a un problema più profondo e fondamentale preannunciava le straordinarie "intuizioni grezze sulle cose [che] erano sempre molto buone" di Sutskever.

Pratiche Chiave:

• Abbracciare la ricerca collaborativa, anche a distanze significative, è stato cruciale per le scoperte scientifiche.
• Imparare dagli studenti e render loro merito per le loro intuizioni e contributi unici si è rivelato inestimabile.
• La denominazione di concetti fondamentali dell'IA è spesso emersa da esigenze pratiche e ispirazione interdisciplinare.
• Valorizzare l'intuizione innata e grezza di uno studente, anche quando mette in discussione idee consolidate, è essenziale per il progresso.

Il Potere Imprevisto della Scala: Oltre la Predizione della Parola Successiva

Un tema ricorrente nella carriera successiva di Hinton fu il profondo impatto della scala. Mentre Hinton inizialmente pensava che il mantra di Ilya Sutskever – "basta renderlo più grande e funzionerà meglio" – fosse "un po' un pretesto" e che "le nuove idee aiutano", alla fine concesse la potenza monumentale del calcolo e dei dati. "Si è scoperto che in fondo avevo ragione, le nuove idee aiutano, cose come i Transformers hanno aiutato molto, ma è stata davvero la scala dei dati e la scala del calcolo". Racconta di un articolo del 2011 di Ilya e James Martins, che utilizzava la predizione a livello di carattere su Wikipedia: "non riuscivamo mai a credere del tutto che capisse qualcosa, ma sembrava che capisse".

Hinton confuta con forza l'idea che predire la parola successiva sia un compito superficiale. Sostiene che è proprio perché questi modelli sono costretti a predire il simbolo successivo in un contesto complesso che sviluppano una comprensione profonda. "Per predire il simbolo successivo devi capire cosa è stato detto. Quindi penso che lo si stia costringendo a capire facendogli predire il simbolo successivo e penso che stia capendo più o meno allo stesso modo nostro". Lo illustra con un'analogia convincente: chiedere a GPT-4 perché un mucchio di compost è come una bomba atomica. Mentre la maggior parte degli umani fatica, GPT-4 identifica la struttura comune di una "reazione a catena". Questa capacità di vedere analogie tra concetti apparentemente disparati, crede Hinton, è "da dove si ottiene la creatività". Inoltre, sottolinea che questi modelli possono persino superare i loro dati di training, proprio come uno studente brillante discerne la verità da un consulente imperfetto. Indica un esperimento in cui una rete neurale addestrata su dati errati al 50% ha comunque raggiunto solo il 5% di errore. "Possono fare molto meglio dei loro dati di training e la maggior parte delle persone non se ne rende conto".

Cambiamenti Chiave:

• Un profondo cambiamento di prospettiva riguardo alla potenza monumentale dei dati e della scala computazionale, anche rispetto ai soli nuovi algoritmi.
• Rivalutare la "predizione del simbolo successivo" da un compito superficiale a un meccanismo che forza una comprensione profonda.
• Riconoscere la creatività emergente dei modelli grandi attraverso la loro capacità di identificare analogie non ovvie.
• Comprendere che l'IA può generalizzare e correggere gli errori nei suoi dati di training, superando gli esempi forniti dall'uomo.

Ingegneria dell'Immortalità: Il Futuro del Ragionamento, Multimodalità e Calcolo

Guardando al futuro, Hinton immagina che il ragionamento dell'IA progredisca attraverso un processo simile all'apprendimento umano: usare il ragionamento per correggere le intuizioni iniziali, proprio come AlphaGo affina la sua funzione di valutazione attraverso i roll-out Monte Carlo. Afferma: "Penso che questi grandi modelli linguistici debbano iniziare a farlo... ottenere più dati di training che semplicemente mimare ciò che le persone hanno fatto". L'integrazione di dati multimodali — immagini, video, suono — migliorerà drasticamente questo aspetto, in particolare per il ragionamento spaziale. "Se lo si fa sia vedere che afferrare le cose, capirà gli oggetti molto meglio".

Anche la comprensione in evoluzione del linguaggio da parte di Hinton è affascinante. Respinge la vecchia visione simbolica e l'approccio puramente basato su vettori del "vettore di pensiero". La sua attuale convinzione postula che "si prendono questi simboli e si convertono i simboli in embedding... questi embedding molto ricchi, ma gli embedding sono ancora legati ai simboli... questo è ciò che è la comprensione". Questa fusione mantiene la struttura superficiale del linguaggio, pur infondendogli un significato profondo e basato su vettori. La conversazione tocca anche la sua precoce promozione delle GPU, una storia che coinvolge Rick Szeliski, hardware da gioco, un talk al NIPS e una GPU gratuita ritardata da Jensen Huang. Tuttavia, egli poi contrappone questo successo digitale alla sua infruttuosa ricerca di calcolo analogico a bassa potenza. Questo portò a una profonda realizzazione: "i sistemi digitali possono condividere i pesi e questo è incredibilmente molto più efficiente... quindi sono di gran lunga superiori a noi nel poter condividere la conoscenza". Questa "immortalità" dei pesi digitali permette un apprendimento collettivo senza precedenti.

Approfondimenti Chiave:

• Le capacità di ragionamento dell'IA si approfondiranno affinando iterativamente le sue intuizioni attraverso l'autocorrezione, rispecchiando il modo in cui gli umani usano il ragionamento per controllare l'intuizione.
• L'apprendimento multimodale, specialmente quello che coinvolge l'interazione fisica, è cruciale per sviluppare una robusta comprensione spaziale e degli oggetti.
• La vera comprensione nell'IA (e possibilmente nel cervello umano) risiede in ricchi embedding contestuali di simboli, piuttosto che nella pura logica simbolica o in "vettori di pensiero" isolati.
• I sistemi di IA digitali possiedono un'“immortalità” intrinseca e un'efficienza ineguagliabile nella condivisione della conoscenza grazie ai pesi interscambiabili, un vantaggio fondamentale rispetto ai cervelli biologici.

La Mente Curiosa: Svelare i Misteri del Cervello e Guidare la Ricerca

Anche con i rapidi progressi dell'IA, Hinton crede che un'importante frontiera rimanga: incorporare i "pesi rapidi" – cambiamenti temporanei e dipendenti dal contesto alle forze sinaptiche che il cervello usa per la memoria a breve termine. "Questa è una delle cose più grandi che dobbiamo imparare". Questa capacità potrebbe sbloccare forme completamente nuove di memoria ed elaborazione non ancora viste nei modelli di IA. Il suo lavoro ha anche profondamente influenzato la sua visione del cervello, dimostrando che l'idea di una "grande rete neurale casuale" che apprende cose complesse dai dati è "completamente sbagliata" – una sfida diretta a teorie come la struttura linguistica innata di Chomsky.

Hinton si avventura persino nel regno della coscienza e dei sentimenti, offrendo una prospettiva provocatoria. Suggerisce che i sentimenti possono essere compresi come "azioni che compiremmo se non fosse per i vincoli". Racconta di un robot del 1973 a Edimburgo che, frustrato dalla sua incapacità di assemblare un'auto giocattolo da un mucchio sparso, "sferrò un colpo con il suo braccio robotico e li fece cadere in modo che fossero sparsi e poi poté metterli insieme". Hinton osservò: "Se lo vedessi in una persona diresti che era arrabbiata con la situazione perché non la capiva e quindi l'ha distrutta". Per Hinton, questa era una chiara dimostrazione di un robot che esibiva un'emozione. Quando si tratta di selezionare i problemi, il suo metodo è sorprendentemente semplice: "Cerco qualcosa su cui tutti sono d'accordo e che mi sembra sbagliato". Poi cerca di "fare una piccola demo con un piccolo programma informatico che mostra che non funziona come ci si potrebbe aspettare". La sua attuale area "sospetta" è la mancanza di pesi rapidi nell'IA. In definitiva, la domanda che lo ha consumato per tre decenni persiste: "il cervello esegue la backpropagation?". È una testimonianza della sua duratura curiosità, anche se riconosce i potenziali danni dell'IA accanto al suo immenso bene in aree come l'assistenza sanitaria. Per Hinton, la ricerca della comprensione è sempre stata la motivazione principale.

Apprendimenti Chiave:

• L'integrazione dei "pesi rapidi" per la memoria temporanea e l'apprendimento su più scale temporali è un'area cruciale e non ancora sviluppata per l'IA.
• Il successo delle grandi reti neurali ha sfidato fondamentalmente convinzioni di lunga data sulle strutture innate nell'apprendimento, in particolare per il linguaggio.
• I sentimenti nell'IA possono essere concettualizzati come azioni inibite, offrendo un quadro tangibile per comprendere le "emozioni" dei robot.
• La strategia di ricerca di Hinton prevede l'identificazione di idee ampiamente accettate che sembrano istintivamente "sbagliate" e poi la loro confutazione con semplici dimostrazioni.
• La sua curiosità più profonda e continua ruota attorno a come il cervello implementi l'apprendimento basato sul gradiente, specificamente la backpropagation.

"Volevo solo capire come diavolo faccia il cervello a imparare a fare le cose, è quello che voglio sapere, e in un certo senso ho fallito; come effetto collaterale di quel fallimento abbiamo ottenuto una bella ingegneria, ma sì, è stato un ottimo, ottimo, ottimo fallimento per il mondo" - Geoffrey Hinton