Entretien avec Geoffrey Hinton

Geoffrey Hinton, souvent salué comme le "parrain de l'IA", s'est récemment entretenu lors d'une conversation franche qui a levé le voile sur son parcours extraordinaire, les vérités surprenantes qu'il a découvertes, et les questions profondes qui continuent de le motiver. Des déceptions discrètes de ses premières recherches académiques aux laboratoires effervescents et tournés vers l'avenir de Carnegie Mellon, Hinton offre un regard profondément personnel et intellectuellement stimulant sur l'évolution de l'intelligence artificielle, ponctué de son mélange caractéristique d'humilité, d'une perspicacité aiguë et d'une saine dose de scepticisme face aux idées reçues.

Le chemin inattendu vers l'IA : doutes, déceptions et intuitions profondes

Le chemin de Hinton pour devenir un chercheur pionnier en IA était loin d'être linéaire. Sa quête initiale pour comprendre l'intelligence a commencé à Cambridge, en étudiant la physiologie. Pourtant, il a rapidement trouvé cela "très décevant" quand tout ce qu'il a appris était "comment les neurones conduisent les potentiels d'action, ce qui est très intéressant, mais cela ne vous dit pas comment le cerveau fonctionne". Une réorientation vers la philosophie pour comprendre l'esprit s'est avérée tout aussi frustrante. Ce n'est qu'à Édimbourg, en se plongeant dans l'IA, qu'il a ressenti une véritable étincelle : "au moins on pouvait simuler des choses pour tester des théories."

Cette déception précoce a forgé une intuition fondamentale. Il a lu Donald Hebb sur la force des connexions des réseaux de neurones et John von Neumann sur la façon dont le cerveau calcule différemment des ordinateurs traditionnels. Hinton s'est instinctivement détourné de l'approche dominante de l'intelligence par la logique symbolique. "Il me semblait qu'il devait y avoir une façon pour le cerveau d'apprendre, et ce n'était clairement pas en lui programmant toutes sortes de choses et en utilisant ensuite des règles d'inférence logique, ce qui m'a semblé fou dès le départ." Son attention s'est plutôt portée sur la question fondamentale de savoir comment les cerveaux apprennent à modifier les connexions au sein d'un réseau neuronal pour accomplir des tâches complexes, une simplicité élégante qui allait étayer une grande partie de ses travaux ultérieurs.

Principaux enseignements :

• Les premières déceptions universitaires ont catalysé un virage vers la simulation et les tests empiriques en IA.
• Hinton a développé très tôt une forte intuition contre la logique symbolique comme modèle principal du fonctionnement cérébral.
• Son intérêt fondamental résidait dans la compréhension de la façon dont de simples opérations neuronales pouvaient mener à un apprentissage complexe.

Forger des connexions : des machines de Boltzmann aux "couches cachées"

L'atmosphère à Carnegie Mellon à la fin des années 1970 était électrique, un contraste frappant avec ses expériences précédentes en Angleterre. Hinton se souvient être allé au laboratoire un samedi soir à 21h pour le trouver "foisonnant... tous les étudiants étaient là et ils étaient tous là parce que ce sur quoi ils travaillaient était l'avenir." Ce terrain fertile a favorisé des collaborations cruciales, notamment avec Terry Sejnowski sur les machines de Boltzmann – une période que Hinton décrit comme "la recherche la plus passionnante que j'aie jamais faite". Bien qu'il croie maintenant que les machines de Boltzmann "ne fonctionnent pas comme le cerveau", l'élégance théorique de l'algorithme d'apprentissage reste une source de grande fierté.

Une autre interaction capitale a eu lieu avec Peter Brown, un statisticien travaillant sur la reconnaissance vocale. Brown a présenté à Hinton les Modèles de Markov cachés (HMMs), un concept qui a fourni l'inspiration linguistique parfaite. Hinton utilisait déjà des réseaux multi-couches pour lesquels il n'avait pas vraiment de nom, et il a décidé que le terme "caché" des HMMs était "un excellent nom pour des variables dont on ne sait pas ce qu'elles font". C'est ainsi que sont nées les "couches cachées" omniprésentes dans les réseaux de neurones. Hinton crédite humblement ses étudiants, en réfléchissant : "Je pense que j'apprends plus de lui qu'il n'a appris de moi." Cette volonté d'apprendre de ceux qu'il encadrait a été le plus clairement démontrée avec un certain étudiant nommé Ilya. Ilya Sutskever a fait irruption dans le bureau de Hinton avec un "coup urgent" un dimanche, déclarant qu'il préférait être au laboratoire plutôt que de "faire frire des frites tout l'été". Après avoir reçu un article sur la rétropropagation, le feedback immédiat et profond d'Ilya n'était pas qu'il ne comprenait pas la règle de la chaîne, mais plutôt : "Je ne comprends juste pas pourquoi vous ne donnez pas le gradient à un optimiseur de fonction sensé." Ce saut immédiat vers un problème plus profond et plus fondamental préfigurait les "intuitions brutes" extraordinaires de Sutskever sur les choses, qui étaient "toujours très bonnes".

Pratiques clés :

• L'adoption de la recherche collaborative, même à de grandes distances, a été cruciale pour les percées scientifiques.
• Apprendre des étudiants et les créditer pour leurs aperçus et contributions uniques s'est avéré inestimable.
• La dénomination des concepts fondamentaux de l'IA est souvent née de besoins pratiques et d'une inspiration transdisciplinaire.
• Valoriser l'intuition innée et brute d'un étudiant, même lorsqu'elle remet en question des idées établies, est essentiel pour le progrès.

La puissance insoupçonnée de l'échelle : au-delà de la prédiction du mot suivant

Un thème récurrent dans la carrière ultérieure de Hinton était l'impact profond de l'échelle. Alors que Hinton pensait initialement que le mantra d'Ilya Sutskever – "il suffit de le rendre plus grand et ça marchera mieux" – était "un peu une échappatoire" et que "les nouvelles idées aident", il a finalement concédé le pouvoir monumental du calcul et des données. "Il s'avère que j'avais fondamentalement raison, les nouvelles idées aident, des choses comme les Transformers ont beaucoup aidé, mais c'était vraiment l'échelle des données et l'échelle du calcul." Il relate un article de 2011 d'Ilya et James Martins, qui utilisait la prédiction au niveau du caractère sur Wikipédia : "nous n'avons jamais vraiment pu croire qu'il comprenait quoi que ce soit, mais il semblait qu'il comprenait."

Hinton réfute fermement l'idée que prédire le mot suivant est une tâche superficielle. Il soutient que c'est précisément parce que ces modèles sont forcés de prédire le symbole suivant dans un contexte complexe qu'ils développent une compréhension profonde. "Pour prédire le symbole suivant, il faut comprendre ce qui a été dit. Je pense donc que vous le forcez à comprendre en le faisant prédire le symbole suivant, et je pense qu'il comprend de la même manière que nous." Il illustre cela avec une analogie convaincante : demander à GPT-4 pourquoi un tas de compost est comme une bombe atomique. Alors que la plupart des humains peinent, GPT-4 identifie la structure commune d'une "réaction en chaîne". Cette capacité à voir des analogies entre des concepts apparemment disparates, Hinton le croit, est "d'où vient la créativité". De plus, il souligne que ces modèles peuvent même dépasser leurs données d'entraînement, un peu comme un étudiant intelligent discernant la vérité d'un conseiller imparfait. Il cite une expérience où un réseau neuronal entraîné sur 50 % de données erronées n'a tout de même atteint que 5 % d'erreur. "Ils peuvent faire bien mieux que leurs données d'entraînement et la plupart des gens ne le réalisent pas."

Changements clés :

• Un profond changement de perspective concernant le pouvoir monumental des données et de l'échelle de calcul, même par rapport aux seuls nouveaux algorithmes.
• Réévaluer la "prédiction du symbole suivant", d'une tâche superficielle à un mécanisme qui force une compréhension profonde.
• Reconnaître la créativité émergente des grands modèles grâce à leur capacité à identifier des analogies non évidentes.
• Comprendre que l'IA peut généraliser et corriger les erreurs de ses données d'entraînement, dépassant les exemples fournis par l'homme.

Concevoir l'immortalité : l'avenir du raisonnement, de la multimodalité et du calcul

Tourné vers l'avenir, Hinton imagine le raisonnement de l'IA progresser grâce à un processus similaire à l'apprentissage humain : utiliser le raisonnement pour corriger les intuitions initiales, un peu comme AlphaGo affine sa fonction d'évaluation par des déroulements Monte Carlo. Il déclare : "Je pense que ces grands modèles de langage doivent commencer à faire cela... obtenir plus de données d'entraînement que de simplement imiter ce que les gens ont fait." L'intégration de données multimodales — images, vidéo, son — améliorera considérablement cela, en particulier pour le raisonnement spatial. "Si vous le faites à la fois voir et tendre la main pour attraper des choses, il comprendra bien mieux les objets."

La compréhension évolutive de Hinton du langage lui-même est également fascinante. Il rejette l'ancienne vision symbolique et l'approche purement vectorielle des "vecteurs de pensée". Sa conviction actuelle postule que "vous prenez ces symboles et vous convertissez les symboles en embeddings... ces embeddings très riches mais les embeddings sont toujours liés aux symboles... c'est cela la compréhension." Ce mélange maintient la structure de surface du langage tout en l'imprégnant d'une signification profonde, basée sur des vecteurs. La conversation aborde également son plaidoyer précoce pour les GPU, une histoire impliquant Rick Szeliski, du matériel de jeu, une conférence NIPS et un GPU gratuit en retard de Jensen Huang. Cependant, il contraste ensuite ce succès numérique avec sa quête infructueuse de calcul analogique à faible consommation. Cela a conduit à une profonde réalisation : "les systèmes numériques peuvent partager des poids et c'est incroyablement plus efficace... donc ils nous sont de loin supérieurs dans leur capacité à partager des connaissances." Cette "immortalité" des poids numériques permet un apprentissage collectif sans précédent.

Idées clés :

• Les capacités de raisonnement de l'IA s'approfondiront en affinant itérativement ses intuitions par l'auto-correction, reflétant la façon dont les humains utilisent le raisonnement pour vérifier l'intuition.
• L'apprentissage multimodal, en particulier celui impliquant une interaction physique, est crucial pour développer une compréhension spatiale et des objets robuste.
• La véritable compréhension en IA (et possiblement dans le cerveau humain) réside dans des embeddings riches et contextuels de symboles, plutôt que dans la logique purement symbolique ou des "vecteurs de pensée" isolés.
• Les systèmes d'IA numériques possèdent une "immortalité" inhérente et une efficacité inégalée dans le partage des connaissances grâce à des poids interchangeables, un avantage fondamental par rapport aux cerveaux biologiques.

L'esprit curieux : démêler les mystères du cerveau et orienter la recherche

Même avec les avancées rapides de l'IA, Hinton croit qu'une frontière majeure demeure : l'intégration des "poids rapides" – des changements temporaires, dépendants du contexte, des forces synaptiques que le cerveau utilise pour la mémoire à court terme. "C'est l'une des choses les plus importantes que nous devons apprendre." Cette capacité pourrait déverrouiller des formes entièrement nouvelles de mémoire et de traitement encore inédites dans les modèles d'IA. Ses travaux ont également profondément impacté sa vision du cerveau, démontrant que l'idée qu'un "grand réseau neuronal aléatoire" apprenne des choses complexes à partir de données est "complètement fausse" – un défi direct aux théories comme la structure du langage innée de Chomsky.

Hinton s'aventure même dans le domaine de la conscience et des sentiments, offrant une perspective provocatrice. Il suggère que les sentiments peuvent être compris comme des "actions que nous effectuerions s'il n'y avait pas de contraintes". Il raconte l'histoire d'un robot de 1973 à Édimbourg qui, frustré par son incapacité à assembler une voiture jouet à partir d'un tas éparpillé, "a donné un coup de sa pince et les a frappés de sorte qu'ils étaient éparpillés et qu'il a ensuite pu les assembler". Hinton a observé : "Si vous voyiez cela chez une personne, vous diriez qu'elle était contrariée par la situation parce qu'elle ne la comprenait pas, alors elle l'a détruite." Pour Hinton, c'était une démonstration claire d'un robot exprimant une émotion. Quant à la sélection des problèmes, sa méthode est d'une simplicité rafraîchissante : "Je cherche quelque chose sur quoi tout le monde est d'accord et qui me semble faux". Il essaie ensuite de "faire une petite démo avec un petit programme informatique qui montre que ça ne marche pas comme on pourrait s'y attendre". Son domaine actuel de "suspicion" est le manque de poids rapides dans l'IA. Finalement, la question qui l'a consumé pendant trois décennies persiste : "le cerveau fait-il de la rétropropagation ?" C'est un témoignage de sa curiosité durable, même s'il reconnaît les potentiels méfaits de l'IA aux côtés de son immense bienfait dans des domaines comme la santé. Pour Hinton, la quête de la compréhension a toujours été son principal moteur.

Principaux enseignements :

• L'intégration de "poids rapides" pour la mémoire temporaire et l'apprentissage à plusieurs échelles de temps est un domaine crucial et sous-développé pour l'IA.
• Le succès des grands réseaux de neurones a fondamentalement remis en question des croyances de longue date sur les structures innées de l'apprentissage, en particulier pour le langage.
• Les sentiments en IA peuvent être conceptualisés comme des actions inhibées, offrant un cadre tangible pour comprendre les "émotions" des robots.
• La stratégie de recherche de Hinton consiste à identifier les idées largement acceptées qui lui semblent instinctivement "fausses", puis à les réfuter par des démonstrations simples.
• Sa curiosité la plus profonde et constante tourne autour de la manière dont le cerveau implémente l'apprentissage basé sur le gradient, spécifiquement la rétropropagation.

"Je voulais juste comprendre comment diable le cerveau peut-il apprendre à faire des choses, c'est ce que je veux savoir et j'ai en quelque sorte échoué, et comme effet secondaire de cet échec, nous avons obtenu une belle ingénierie, mais oui, ce fut un bon, bon, bon échec pour le monde." - Geoffrey Hinton