Panayam kay Geoffrey Hinton

Geoffrey Hinton, na madalas tawagin bilang "Godfather of AI," ay kamakailan lamang naupo para sa isang taos-pusong pag-uusap na naglantad ng mga detalye sa kanyang pambihirang paglalakbay, ang nakakagulat na mga katotohanang natuklasan niya, at ang malalalim na tanong na patuloy na nagtutulak sa kanya. Mula sa tahimik na mga kabiguan sa kanyang unang pag-aaral hanggang sa masigla, at laging nakatuon sa kinabukasan na mga lab ng Carnegie Mellon, nag-aalok si Hinton ng isang malalim na personal at intelektwal na pagtingin sa ebolusyon ng artificial intelligence, na binibigyan diin ng kanyang tatak ng pagpapakumbaba, matalas na pananaw, at malusog na pag-aalinlangan sa mga nakasanayang kaalaman.

Ang Di-sinasadyang Landas sa AI: Mga Pagdududa, Kabiguan, at Malalim na Intuition

Malayo sa tuwid na landas ang pagiging isang pioneering AI researcher ni Hinton. Ang kanyang paunang paghahanap upang maunawaan ang katalinuhan ay nagsimula sa Cambridge, kung saan siya nag-aaral ng physiology. Gayunpaman, mabilis niya itong natuklasang "lubhang nakakadismaya" nang ang natutunan lamang niya ay "kung paano kumikilos ang mga neurons sa action potentials, na lubhang kawili-wili ngunit hindi nito sinasabi kung paano gumagana ang utak." Ang paglipat sa philosophy upang maunawaan ang isip ay pantay na nakakabigo. Hanggang sa makarating siya sa Edinburgh, at doon niya tunay na naramdaman ang kislap nang suriin niya ang AI: "kahit papaano, maaari kang mag-simulate ng mga bagay upang masubukan mo ang mga teorya."

Ang maagang kabiguang ito ay humubog ng isang pangunahing intuwisyon. Binasa niya si Donald Hebb tungkol sa neural network connection strengths at si John von Neumann tungkol sa kung paano naiiba ang pagkompyut ng utak mula sa tradisyonal na mga computer. Instinctively na umiwas si Hinton mula sa umiiral na symbolic logic na diskarte sa katalinuhan. "Sa tingin ko, mayroong isang paraan na natututo ang utak at malinaw na hindi ito sa pamamagitan ng paglalagay ng kung anu-anong bagay na naka-program dito at pagkatapos ay gumagamit ng mga lohikal na panuntunan ng inference na sa tingin ko ay nakakabaliw mula pa sa simula." Sa halip, ang kanyang pokus ay lumipat sa pangunahing tanong kung paano natututo ang utak na baguhin ang mga koneksyon sa loob ng isang neural net upang magsagawa ng kumplikadong mga gawain, isang eleganteng pagiging simple na magiging pundasyon ng karamihan sa kanyang mga susunod na gawain.

Key Learnings:

• Ang mga maagang akademikong kabiguan ay nagbunsod ng pagbabago tungo sa simulation at empirical testing sa AI.
• Nakabuo si Hinton ng maaga, matinding intuwisyon laban sa symbolic logic bilang pangunahing modelo para sa paggana ng utak.
• Ang kanyang pundamental na interes ay nasa pag-unawa kung paano ang mga simpleng neural operations ay maaaring humantong sa kumplikadong pagkatuto.

Pagbuo ng mga Koneksyon: Mula sa Boltzmann Machines hanggang sa "Hidden Layers"

Ang atmospera sa Carnegie Mellon noong huling bahagi ng 1970s ay napakasigla, isang matinding kaibahan sa kanyang mga naunang karanasan sa England. Naalala ni Hinton na pumasok siya sa lab isang Sabado ng gabi bandang alas-9 ng gabi at nakita itong "punung-puno... lahat ng estudyante ay nandoon at silang lahat ay naroon dahil ang kanilang pinagtatrabahuhan ay ang kinabukasan." Ang mayamang lupaing ito ay nagpatubo ng mahahalagang pakikipagtulungan, lalo na kay Terry Sejnowski sa Boltzmann Machines – isang panahon na inilarawan ni Hinton bilang "ang pinaka-nakakapanabik na pananaliksik na nagawa ko." Bagaman naniniwala siya ngayon na ang Boltzmann Machines ay "hindi kung paano gumagana ang utak," ang theoretical elegance ng learning algorithm ay nananatiling punto ng matinding pagmamalaki.

Ang isa pang mahalagang interaksyon ay kay Peter Brown, isang statistician na nagtatrabaho sa speech recognition. Ipinakilala ni Brown kay Hinton ang Hidden Markov Models (HMMs), isang konsepto na nagbigay ng perpektong linguistic inspiration. Gumagamit na si Hinton ng mga multi-layered network na hindi niya pa nabibigyan ng pangalan, at napagpasyahan niya na ang "hidden" sa HMMs ay "isang magandang pangalan para sa mga variable na hindi mo alam kung ano ang kanilang ginagawa." Kaya, ipinanganak ang laganap na "hidden layers" sa neural networks. Mapagkumbabang nagbigay-pugay si Hinton sa kanyang mga estudyante, na nagmumuni-muni, "Sa tingin ko mas marami akong natutunan mula sa kanya kaysa sa natutunan niya mula sa akin." Ang pagiging bukas sa pagkatuto mula sa mga kanyang ginabayan ay pinakamatingkad na ipinakita sa isang estudyante na nagngangalang Ilya. Biglang pumasok si Ilya Sutskever sa opisina ni Hinton na may "madaliang katok" isang Linggo, na idinedeklara na mas gusto niyang nasa lab kaysa "nagluluto ng fries sa tag-init." Matapos bigyan ng papel tungkol sa backpropagation, ang agad at malalim na feedback ni Ilya ay hindi na hindi niya naiintindihan ang chain rule, kundi: "Hindi ko lang maintindihan kung bakit hindi mo ibibigay ang gradient sa isang makatwirang function optimizer." Ang agad na pagtalon na ito sa mas malalim, mas pundamental na problema ay nagpahiwatig ng pambihirang "raw intuitions ni Sutskever tungkol sa mga bagay [na] laging napakagaling."

Key Practices:

• Ang pagtanggap sa collaborative research, kahit sa malalayong distansya, ay mahalaga para sa mga siyentipikong tagumpay.
• Ang pagkatuto mula at pagbibigay-pugay sa mga estudyante para sa kanilang natatanging pananaw at kontribusyon ay napatunayang napakahalaga.
• Ang pagpapangalan sa mga pangunahing konsepto ng AI ay madalas na lumitaw mula sa praktikal na pangangailangan at inspirasyon mula sa iba't ibang disiplina.
• Ang pagpapahalaga sa likas, hilaw na intuwisyon ng isang estudyante, kahit na ito ay humahamon sa mga itinatag na ideya, ay mahalaga para sa pag-unlad.

Ang Hindi Inaasahang Kapangyarihan ng Sukat: Higit sa Next-Word Prediction

Ang paulit-ulit na tema sa huling bahagi ng karera ni Hinton ay ang malalim na epekto ng laki. Bagaman sa simula ay inakala ni Hinton na ang mantra ni Ilya Sutskever – "palakihin mo lang at gagana ito nang mas mahusay" – ay "medyo madaliang dahilan" at na "nakakatulong ang mga bagong ideya," sa huli ay sumuko siya sa napakalaking kapangyarihan ng computation at data. "Sa totoo lang tama ako, nakakatulong ang mga bagong ideya tulad ng Transformers, pero ang laki talaga ng data at ang laki ng computation ang tunay na nagpabago." Isinaysay niya ang isang papel noong 2011 nina Ilya at James Martins, na gumamit ng character-level prediction sa Wikipedia: "hindi namin lubos na mapaniwalaan na may naiintindihan ito ngunit tila may naiintindihan."

Matindi niyang pinabulaanan ni Hinton ang ideya na ang paghula sa susunod na salita ay isang mababaw na gawain. Ipinaglalaban niya na tiyak dahil ang mga modelong ito ay pinipilit na hulaan ang susunod na simbolo sa isang kumplikadong konteksto kaya sila nakabubuo ng malalim na pag-unawa. "Upang mahulaan ang susunod na simbolo kailangan mong intindihin ang sinabi. Kaya sa tingin ko, pinipilit mo itong umintindi sa pamamagitan ng pagpapahula sa susunod na simbolo at sa tingin ko ay nakakaintindi ito sa halos kaparehong paraan natin." Inilarawan niya ito gamit ang isang mapanghikayat na analohiya: ang pagtatanong sa GPT-4 kung bakit ang isang compost heap ay parang isang atom bomb. Habang nahihirapan ang karamihan ng mga tao, natukoy ng GPT-4 ang karaniwang istruktura ng isang "chain reaction." Ang kakayahang ito na makita ang mga analohiya sa pagitan ng tila magkakaibang konsepto, ayon kay Hinton, ay "doon nagmumula ang pagkamalikhain." Dagdag pa rito, binibigyang-diin niya na ang mga modelong ito ay maaari pang lampasan ang kanilang training data, tulad ng isang matalinong estudyante na nakikita ang katotohanan mula sa isang maling tagapayo. Itinuro niya ang isang eksperimento kung saan ang isang neural net na sinanay sa 50% maling data ay nakamit pa rin ang 5% lamang na error. "Mas mahusay silang makagawa kaysa sa kanilang training data at karamihan sa mga tao ay hindi ito napagtanto."

Key Changes:

• Isang malalim na pagbabago sa pananaw hinggil sa napakalaking kapangyarihan ng data at sukat ng komputasyon, maging sa ibabaw ng mga bagong algorithm lamang.
• Muling pagsusuri sa "paghula sa susunod na simbolo" mula sa isang mababaw na gawain tungo sa isang mekanismo na nagpipilit ng malalim na pag-unawa.
• Pagkilala sa umuusbong na pagkamalikhain ng malalaking modelo sa pamamagitan ng kanilang kakayahang tukuyin ang mga hindi halatang analohiya.
• Pag-unawa na ang AI ay maaaring mag-generalize at iwasto ang mga pagkakamali sa kanyang training data, na lampasan ang mga halimbawang ibinigay ng tao.

Engineering Immortality: Ang Kinabukasan ng Reasoning, Multimodality, at Compute

Sa pagtingin sa hinaharap, nakikita ni Hinton ang pag-unlad ng AI reasoning sa pamamagitan ng isang proseso na katulad ng pagkatuto ng tao: gamit ang reasoning upang itama ang mga paunang intuwisyon, tulad ng pagpino ng AlphaGo sa kanyang evaluation function sa pamamagitan ng Monte Carlo rollouts. Aniya, "Sa tingin ko, kailangan nang simulan ito ng mga large language models... pagkuha ng mas maraming training data kaysa sa paggaya lamang sa ginawa ng mga tao." Malaki ang pagpapabuti nito sa pamamagitan ng integrasyon ng multimodal data – mga larawan, video, tunog – lalo na para sa spatial reasoning. "Kung mayroon itong parehong vision at abilidad na kumuha ng mga bagay, mas maiintindihan nito ang object."

Ang umuunlad niyang pag-unawa sa wika mismo ay kaakit-akit din. Ipinawalang-saysay niya ang lumang symbolic na pananaw at ang purong vector-based na "thought vector" na diskarte. Ang kanyang kasalukuyang paniniwala ay "kinukuha mo ang mga simbolong ito at ginagawa mong embeddings ang mga simbolo... itong mga napakayamang embeddings ngunit ang embeddings ay para pa rin sa mga simbolo... iyon ang pag-unawa." Ang pinaghalong ito ay pinapanatili ang surface structure ng wika habang pinupuno ito ng malalim, vector-based na kahulugan. Naantig din sa pag-uusap ang kanyang maagang pagtataguyod para sa GPUs, isang kwento na kinasasangkutan nina Rick Szeliski, gaming hardware, isang NIPS talk, at isang naantalang libreng GPU mula kay Jensen Huang. Gayunpaman, kinumpara niya ang digital na tagumpay na ito sa kanyang hindi matagumpay na paghahanap ng low-power analog computation. Ito ay humantong sa isang malalim na pag-unawa: "ang mga digital system ay maaaring magbahagi ng weights at iyan ay napakalaking mas epektibo... kaya't mas nakahihigit sila sa atin sa kakayahang magbahagi ng kaalaman." Ang "immortality" na ito ng mga digital weights ay nagbibigay-daan sa hindi pa nagaganap na sama-samang pagkatuto.

Key Insights:

• Ang kakayahan ng AI sa reasoning ay lalalim sa pamamagitan ng paulit-ulit na pagpino ng mga intuwisyon nito sa pamamagitan ng pagwawasto sa sarili, na sumasalamin sa kung paano ginagamit ng mga tao ang reasoning upang suriin ang intuwisyon.
• Ang multimodal learning, lalo na ang pagsasangkot ng physical interaction, ay mahalaga para sa pagbuo ng matatag na spatial at object understanding.
• Ang tunay na pag-unawa sa AI (at posibleng sa utak ng tao) ay nasa mayaman, contextual na embeddings ng mga simbolo, sa halip na purong symbolic logic o isolated na "thought vectors."
• Ang mga digital AI system ay may likas na "immortality" at walang kaparis na kahusayan sa pagbabahagi ng kaalaman dahil sa mga interchangeable weights, isang pundamental na kalamangan sa biological brains.

Ang Mausisa na Isip: Pagbubunyag ng mga Misteryo ng Utak at Paggiya sa Pananaliksik

Kahit sa mabilis na pag-unlad ng AI, naniniwala si Hinton na nananatiling isang malaking hangganan: ang pagsasama ng "fast weights" – pansamantala, nakasalalay sa konteksto na mga pagbabago sa synaptic strengths na ginagamit ng utak para sa panandaliang memorya. "Iyan ang isa sa pinakamalaking bagay na kailangan nating matutunan." Ang kakayahang ito ay maaaring magbukas ng ganap na bagong anyo ng memorya at pagpoproseso na hindi pa nakikita sa mga modelo ng AI. Malalim ding nakaapekto ang kanyang trabaho sa kanyang pananaw sa utak, na nagpapakita na ang ideya ng isang "big random neural net" na natututo ng kumplikadong bagay mula sa data ay "ganap na mali" – isang direktang hamon sa mga teorya tulad ng innate language structure ni Chomsky.

Pumupunta pa si Hinton sa larangan ng kamalayan at damdamin, na nag-aalok ng isang nakakapukaw ng kaisipan na pananaw. Iminumungkahi niya na ang damdamin ay maaaring maunawaan bilang "mga aksyon na gagawin natin kung hindi dahil sa mga hadlang." Isinaysay niya ang isang robot noong 1973 sa Edinburgh na, dahil sa pagkabigo nito na buuin ang isang laruang kotse mula sa nakakalat na tambak, "binatukan ang kanyang gripper at ikinalat ang mga ito kaya't nagkalat sila at saka niya nabuo ang mga ito." Napansin ni Hinton, "Kung nakita mo iyan sa isang tao sasabihin mong naiinis siya sa sitwasyon dahil hindi niya naintindihan kaya sinira niya ito." Para kay Hinton, ito ay isang malinaw na pagpapakita ng isang robot na nagpapakita ng isang emosyon. Pagdating sa pagpili ng mga problema, ang kanyang pamamaraan ay nakakapreskong simple: "Naghahanap ako ng isang bagay kung saan ang lahat ay sumang-ayon tungkol sa isang bagay at ito ay tila mali." Pagkatapos ay sinusubukan niyang "gumawa ng maliit na demo gamit ang isang maliit na programa sa computer na nagpapakita na hindi ito gumagana sa paraang inaasahan mo." Ang kanyang kasalukuyang "kahina-hinalang" lugar ay ang kakulangan ng fast weights sa AI. Sa huli, ang tanong na bumabalot sa kanya sa loob ng tatlong dekada ay nananatili: "ginagawa ba ng utak ang backpropagation?" Ito ay isang patunay sa kanyang walang sawang pagiging mausisa, kahit na kinikilala niya ang potensyal na pinsala ng AI kasama ng napakalaking kabutihan nito sa mga lugar tulad ng healthcare. Para kay Hinton, ang paghahangad ng pag-unawa ang laging pangunahing nagtutulak.

Key Learnings:

• Ang pagsasama ng "fast weights" para sa temporary memory at multi-timescale learning ay isang mahalaga, hindi pa nabubuo na lugar para sa AI.
• Ang tagumpay ng malalaking neural networks ay pundamental na humamon sa matagal nang paniniwala tungkol sa innate structures sa pagkatuto, partikular para sa wika.
• Ang damdamin sa AI ay maaaring ma-conceptualize bilang inhibited actions, na nagbibigay ng isang nasasalat na balangkas para sa pag-unawa sa "emosyon" ng robot.
• Ang research strategy ni Hinton ay kinabibilangan ng pagtukoy sa malawakang tinatanggap na mga ideya na likas na "mali" ang pakiramdam at pagkatapos ay pinasisinungalingan ang mga ito gamit ang simpleng mga demonstrasyon.
• Ang kanyang pinakamalalim, patuloy na pagiging mausisa ay umiikot sa kung paano ipinapatupad ng utak ang gradient-based learning, partikular ang backpropagation.

"Gusto ko lang maintindihan kung paano natututo ang utak na gawin ang mga bagay na iyon, iyon ang gusto kong malaman at medyo nabigo ako, bilang side effect ng pagkabigong iyon nakakuha kami ng magandang engineering ngunit oo, ito ay isang maganda, maganda, magandang pagkabigo para sa mundo" - Geoffrey Hinton