Wywiad z Geoffrey Hinton

Geoffrey Hinton, często nazywany "Ojcem Chrzestnym AI", niedawno usiadł do szczerej rozmowy, która odsłoniła kulisy jego niezwykłej podróży, zaskakujące prawdy, które odkrył, oraz głębokie pytania, które wciąż go napędzają. Od cichych rozczarowań wczesnych dążeń akademickich po tętniące życiem, zorientowane na przyszłość laboratoria Carnegie Mellon, Hinton oferuje głęboko osobiste i intelektualnie stymulujące spojrzenie na ewolucję sztucznej inteligencji, naznaczone jego charakterystyczną mieszanką pokory, bystrej przenikliwości i zdrowej dawki sceptycyzmu wobec powszechnie przyjętej wiedzy.

Przypadkowa droga do AI: Wątpliwości, rozczarowania i głębokie intuicje

Droga Hintona do stania się pionierskim badaczem AI była daleka od liniowej. Jego początkowe dążenie do zrozumienia inteligencji rozpoczęło się w Cambridge, gdzie studiował fizjologię. Szybko jednak uznał to za "bardzo rozczarowujące", gdy wszystko, czego się nauczył, dotyczyło "sposobu przewodzenia potencjałów czynnościowych przez neurony, co jest bardzo interesujące, ale nie mówi, jak działa mózg". Zmiana kierunku na filozofię w celu zrozumienia umysłu okazała się równie frustrująca. Dopiero gdy znalazł się w Edynburgu, zagłębiając się w AI, poczuł prawdziwą iskrę: "przynajmniej można było symulować rzeczy, aby testować teorie".

To wczesne rozczarowanie ukształtowało kluczową intuicję. Czytał Donalda Hebba o sile połączeń sieci neuronowych i Johna von Neumanna o tym, jak mózg oblicza inaczej niż tradycyjne komputery. Hinton instynktownie odrzucił dominujące podejście oparte na logice symbolicznej do inteligencji. "Wydawało mi się, że musi istnieć sposób, w jaki mózg się uczy, i najwyraźniej nie polega to na tym, że ma wgrane wszelkiego rodzaju rzeczy, a potem używa logicznych reguł wnioskowania – to od początku wydawało mi się szalone". Zamiast tego jego uwaga skupiła się na fundamentalnym pytaniu, jak mózgi uczą się modyfikować połączenia w sieci neuronowej, aby wykonywać złożone zadania – elegancka prostota, która stała się podstawą większości jego późniejszej pracy.

Kluczowe wnioski:

• Wczesne rozczarowania akademickie zapoczątkowały przejście w kierunku symulacji i testowania empirycznego w AI.
• Hinton rozwinął wczesną, silną intuicję sprzeciwiającą się logice symbolicznej jako podstawowemu modelowi funkcjonowania mózgu.
• Jego fundamentalne zainteresowanie polegało na zrozumieniu, w jaki sposób proste operacje neuronowe mogą prowadzić do złożonego uczenia się.

Tworzenie połączeń: Od Maszyn Boltzmanna do „Warstw Ukrytych”

Atmosfera w Carnegie Mellon pod koniec lat 70. była elektryzująca, stanowiła ostry kontrast do jego wcześniejszych doświadczeń w Anglii. Hinton wspomina, jak w sobotnią noc o 21:00 wchodził do laboratorium i znajdował je "rojące się... wszyscy studenci tam byli, i byli tam, ponieważ pracowali nad przyszłością". Ten żyzny grunt sprzyjał kluczowym współpracom, zwłaszcza z Terrym Sejnowskim nad Maszynami Boltzmanna – okres, który Hinton opisuje jako "najbardziej ekscytujące badania, jakie kiedykolwiek przeprowadziłem". Chociaż teraz uważa, że Maszyny Boltzmanna "nie oddają sposobu działania mózgu", teoretyczna elegancja algorytmu uczenia się pozostaje dla niego powodem do dumy.

Kolejną kluczową interakcją była ta z Peterem Brownem, statystykiem pracującym nad rozpoznawaniem mowy. Brown wprowadził Hintona w Hidden Markov Models (HMMs), koncepcję, która stanowiła idealną inspirację językową. Hinton używał już sieci wielowarstwowych, dla których nie miał jeszcze nazwy, i zdecydował, że "ukryty" w HMMs to "świetna nazwa dla zmiennych, o których nie wiesz, co robią". W ten sposób narodziły się wszechobecne "warstwy ukryte" w sieciach neuronowych. Hinton z pokorą przypisuje zasługi swoim studentom, zastanawiając się: "Myślę, że więcej się od niego nauczyłem niż on ode mnie". Ta gotowość do uczenia się od tych, których mentorował, najdobitniej objawiła się w przypadku pewnego studenta o imieniu Ilya. Ilya Sutskever wpadł do biura Hintona z "pilnym puka-puk" pewnej niedzieli, oświadczając, że wolałby być w laboratorium niż "smażyć frytki przez całe lato". Po otrzymaniu artykułu o backpropagation, natychmiastowa, głęboka uwaga Ilji nie dotyczyła tego, że nie rozumiał reguły łańcuchowej, lecz: "Po prostu nie rozumiem, dlaczego nie przekazujecie gradientu do rozsądnego optymalizatora funkcji". Ten natychmiastowy skok do głębszego, bardziej fundamentalnego problemu zapowiadał niezwykłe "surowe intuicje Sutskevera, które zawsze były bardzo dobre".

Kluczowe praktyki:

• Przyjęcie badań opartych na współpracy, nawet na znaczne odległości, było kluczowe dla przełomów naukowych.
• Uczenie się od studentów i przypisywanie im zasług za ich unikalne spostrzeżenia i wkład okazało się bezcenne.
• Nazywanie fundamentalnych koncepcji AI często wynikało z praktycznych potrzeb i interdyscyplinarnej inspiracji.
• Cenienie wrodzonej, surowej intuicji studenta, nawet gdy kwestionuje ona ugruntowane idee, jest niezbędne dla postępu.

Nieprzewidziana moc skali: Poza przewidywaniem następnego słowa

Powracającym tematem w późniejszej karierze Hintona był głęboki wpływ skali. Chociaż Hinton początkowo uważał, że mantra Ilji Sutskevera – "po prostu powiększ to, a będzie działać lepiej" – była "trochę wymówką" i że "nowe pomysły pomagają", ostatecznie przyznał monumentalną moc obliczeń i danych. "Okazuje się, że w zasadzie miałem rację – nowe pomysły pomagają, rzeczy takie jak Transformers bardzo pomogły, ale to naprawdę skala danych i skala obliczeń". Wspomina artykuł Ilji i Jamesa Martinsa z 2011 roku, który wykorzystywał przewidywanie na poziomie znaków na Wikipedii: "nigdy do końca nie mogliśmy uwierzyć, że cokolwiek rozumiało, ale wyglądało na to, że rozumiało".

Hinton zdecydowanie obala pogląd, że przewidywanie następnego słowa jest płytkim zadaniem. Twierdzi, że to właśnie dlatego, że te modele są zmuszone do przewidywania następnego symbolu w złożonym kontekście, rozwijają głębokie zrozumienie. "Aby przewidzieć następny symbol, musisz zrozumieć, co zostało powiedziane. Myślę więc, że zmuszasz go do zrozumienia, sprawiając, że przewiduje następny symbol, i myślę, że rozumie on w dużej mierze tak samo jak my". Ilustruje to przekonującą analogią: zapytanie GPT-4, dlaczego stos kompostu jest jak bomba atomowa. Podczas gdy większość ludzi ma trudności, GPT-4 identyfikuje wspólną strukturę "reakcji łańcuchowej". Ta zdolność do dostrzegania analogii między pozornie odmiennymi koncepcjami, jak wierzy Hinton, jest "źródłem kreatywności". Co więcej, podkreśla, że te modele mogą nawet przewyższać swoje dane treningowe, podobnie jak sprytny student rozróżniający prawdę od błędnego doradcy. Wskazuje na eksperyment, w którym sieć neuronowa wytrenowana na 50% błędnych danych nadal osiągała tylko 5% błędu. "Mogą radzić sobie znacznie lepiej niż ich dane treningowe, a większość ludzi sobie tego nie uświadamia".

Kluczowe zmiany:

• Głęboka zmiana perspektywy dotycząca monumentalnej mocy danych i skali obliczeniowej, nawet ponad same nowe algorytmy.
• Ponowne ocenienie "przewidywania następnego symbolu" z zadania powierzchownego na mechanizm, który wymusza głębokie zrozumienie.
• Rozpoznanie emergentnej kreatywności dużych modeli poprzez ich zdolność do identyfikowania nieoczywistych analogii.
• Zrozumienie, że AI może uogólniać i korygować błędy w swoich danych treningowych, przewyższając przykłady dostarczone przez człowieka.

Inżynieria nieśmiertelności: Przyszłość rozumowania, multimodalności i mocy obliczeniowej

Patrząc w przyszłość, Hinton przewiduje, że rozumowanie AI będzie rozwijać się poprzez proces zbliżony do ludzkiego uczenia się: wykorzystując rozumowanie do korygowania początkowych intuicji, podobnie jak AlphaGo udoskonala swoją funkcję oceny poprzez symulacje Monte Carlo. Stwierdza: "Myślę, że te duże modele językowe muszą zacząć to robić... zdobywać więcej danych treningowych niż tylko naśladowanie tego, co robili ludzie". Integracja danych multimodalnych – obrazów, wideo, dźwięku – znacząco to wzmocni, zwłaszcza w przypadku rozumowania przestrzennego. "Jeśli będzie zarówno widzieć, jak i sięgać po rzeczy i je chwytać, to znacznie lepiej zrozumie obiekty".

Ewoluujące rozumienie samego języka przez Hintona jest również fascynujące. Odrzuca on stare, symboliczne podejście i czysto wektorowe podejście "wektora myśli". Jego obecne przekonanie głosi, że "bierzesz te symbole i konwertujesz symbole na osadzenia... te bardzo bogate osadzenia, ale osadzenia nadal odnoszą się do symboli... to jest właśnie zrozumienie". Ta mieszanka zachowuje powierzchowną strukturę języka, nasycając ją głębokim, wektorowym znaczeniem. Rozmowa dotyka również jego wczesnego poparcia dla GPU, historii z udziałem Ricka Szeliskiego, sprzętu gamingowego, przemówienia na NIPS i opóźnionej, darmowej karty GPU od Jensena Huanga. Następnie jednak kontrastuje ten cyfrowy sukces z jego nieudanymi dążeniami do niskomocowego obliczania analogowego. Doprowadziło to do głębokiej realizacji: "systemy cyfrowe mogą współdzielić wagi, a to jest niewiarygodnie znacznie bardziej wydajne... są więc znacznie lepsze od nas w możliwości dzielenia się wiedzą". Ta "nieśmiertelność" cyfrowych wag pozwala na bezprecedensowe uczenie się zbiorowe.

Kluczowe spostrzeżenia:

• Zdolności rozumowania AI pogłębią się poprzez iteracyjne udoskonalanie intuicji poprzez samokorektę, odzwierciedlając sposób, w jaki ludzie używają rozumowania do sprawdzania intuicji.
• Uczenie multimodalne, szczególnie z udziałem interakcji fizycznej, jest kluczowe dla rozwijania solidnego rozumienia przestrzennego i obiektowego.
• Prawdziwe zrozumienie w AI (i prawdopodobnie w ludzkim mózgu) leży w bogatych, kontekstowych osadzeniach symboli, a nie w czystej logice symbolicznej czy izolowanych "wektorach myśli".
• Cyfrowe systemy AI posiadają wrodzoną "nieśmiertelność" i niezrównaną wydajność w dzieleniu się wiedzą dzięki wymienialnym wagom, co stanowi fundamentalną przewagę nad mózgami biologicznymi.

Ciekawski umysł: Rozwikłanie tajemnic mózgu i kierowanie badaniami

Nawet przy szybkim postępie AI, Hinton uważa, że pozostaje jeszcze jedna główna granica: włączenie "szybkich wag" – tymczasowych, zależnych od kontekstu zmian w sile synaps, których mózg używa do pamięci krótkotrwałej. "To jedna z największych rzeczy, których musimy się nauczyć". Ta zdolność mogłaby odblokować zupełnie nowe formy pamięci i przetwarzania, których jeszcze nie ma w modelach AI. Jego praca również głęboko wpłynęła na jego pogląd na mózg, demonstrując, że idea "dużej losowej sieci neuronowej" uczącej się złożonych rzeczy z danych jest "całkowicie błędna" – to bezpośrednie wyzwanie dla teorii takich jak wrodzona struktura języka Chomsky'ego.

Hinton zapuszcza się nawet w dziedzinę świadomości i uczuć, oferując prowokacyjną perspektywę. Sugeruje, że uczucia można rozumieć jako "działania, które podjęlibyśmy, gdyby nie ograniczenia". Wspomina robota z Edynburga z 1973 roku, który, sfrustrowany niemożnością złożenia samochodziku z rozrzuconej sterty, "uderzył chwytakiem i rozrzucił je, a potem mógł je złożyć". Hinton zaobserwował: "Gdybyś zobaczył to u człowieka, powiedziałbyś, że był zdenerwowany sytuacją, ponieważ jej nie rozumiał, więc ją zniszczył". Dla Hintona było to wyraźne pokazanie robota wykazującego emocje. Jeśli chodzi o wybór problemów, jego metoda jest orzeźwiająco prosta: "Szukam czegoś, co wszyscy uznali za prawdziwe, a co wydaje mi się błędne". Następnie próbuje "stworzyć małą demonstrację za pomocą krótkiego programu komputerowego, który pokazuje, że to nie działa tak, jak można by się spodziewać". Jego obecny "podejrzany" obszar to brak szybkich wag w AI. Ostatecznie, pytanie, które pochłaniało go przez trzy dekady, wciąż trwa: "czy mózg wykonuje backpropagation?". To świadectwo jego niezmiennej ciekawości, nawet gdy uznaje potencjalne szkody AI obok jej ogromnego dobra w obszarach takich jak opieka zdrowotna. Dla Hintona dążenie do zrozumienia zawsze było główną motywacją.

Kluczowe wnioski:

• Integracja "szybkich wag" dla pamięci tymczasowej i uczenia się w wielu skalach czasowych jest kluczowym, nierozwiniętym obszarem dla AI.
• Sukces dużych sieci neuronowych fundamentalnie podważył długo utrzymywane przekonania o wrodzonych strukturach w uczeniu się, szczególnie w odniesieniu do języka.
• Uczucia w AI można konceptualizować jako zahamowane działania, oferując namacalną ramę do zrozumienia "emocji" robotów.
• Strategia badawcza Hintona polega na identyfikowaniu powszechnie akceptowanych idei, które instynktownie wydają się "błędne", a następnie obalaniu ich za pomocą prostych demonstracji.
• Jego najgłębsza, ciągła ciekawość krąży wokół tego, jak mózg implementuje uczenie oparte na gradientach, w szczególności backpropagation.

"Chciałem po prostu zrozumieć, jak do licha mózg może uczyć się robić rzeczy – tego chciałem się dowiedzieć, i w pewnym sensie mi się nie udało, ale jako efekt uboczny tej porażki otrzymaliśmy trochę niezłej inżynierii, ale tak, to była dobra, dobra, dobra porażka dla świata" - Geoffrey Hinton