Mahojiano na Geoffrey Hinton

Geoffrey Hinton, ambaye mara nyingi hupewa sifa kama "Mkongwe wa AI," hivi karibuni alifanya mazungumzo ya wazi yaliyofichua mengi kuhusu safari yake ya kipekee, ukweli wa kushangaza aliougundua, na maswali mazito yanayoendelea kumsukuma. Kutoka kukata tamaa kwa utulivu katika masomo yake ya awali hadi maabara zenye shughuli nyingi, zinazotazamia siku zijazo za Carnegie Mellon, Hinton anatoa mtazamo wa kibinafsi sana na wenye kusisimua akili kuhusu mageuzi ya akili bandia (AI), uliopambwa na mchanganyiko wake wa kawaida wa unyenyekevu, ufahamu mkali, na kiasi kikubwa cha mashaka juu ya hekima iliyokubalika.

Njia Isiyopangwa Kuelekea AI: Mashaka, Kukata Tamaa, na Maarifa ya Ndani

Njia ya Hinton ya kuwa mtafiti painia wa AI ilikuwa mbali na kuwa moja kwa moja. Jitihada zake za awali za kuelewa akili zilianza Cambridge, akisomea fiziolojia. Hata hivyo, haraka aliona "inakera sana" alipojifunza tu "jinsi niuroni huendesha vishindo vya hatua, jambo ambalo linavutia sana lakini halikuelezi jinsi ubongo hufanya kazi." Kugeukia falsafa kuelewa akili kulithibitisha kukatisha tamaa vile vile. Haikuwa hadi alipojikuta Edinburgh, akichunguza AI, ndipo alipohisi cheche halisi: "angalau ungeweza kuiga mambo ili uweze kujaribu nadharia."

Kukata tamaa huku kwa mapema kulisababisha maarifa ya ndani. Alisoma Donald Hebb kuhusu nguvu za miunganisho ya mitandao ya niuroni (neural network connection strengths) na John von Neumann kuhusu jinsi ubongo hupiga hesabu tofauti na kompyuta za kawaida. Hinton alijizuia kiasili kutoka kwa mbinu ya mantiki ya ishara (symbolic logic) iliyopo ya akili. "Ilinionekana lazima kuwe na njia ambayo ubongo hujifunza na ni wazi si kwa kuwa na kila aina ya vitu vilivyopangwa ndani yake na kisha kutumia sheria za kimantiki za hitimisho – hilo lilionekana kwangu kama wazimu tangu mwanzo." Badala yake, umakini wake ulihusu swali la msingi la jinsi bongo hujifunza kurekebisha miunganisho ndani ya mtandao wa niuroni (neural net) kutekeleza kazi ngumu, unyenyekevu maridadi ambao ungekuwa msingi wa kazi zake nyingi za baadaye.

Maarifa Muhimu:

• Kukata tamaa mapema kimasomo kulichochea mabadiliko kuelekea uigaji na majaribio ya kimfumo katika AI.
• Hinton alikuza hisia ya mapema na imara dhidi ya mantiki ya ishara (symbolic logic) kama mfano mkuu wa utendaji wa ubongo.
• Maslahi yake ya msingi yalikuwa katika kuelewa jinsi operesheni rahisi za niuroni zinaweza kusababisha ujifunzaji changamano.

Kujenga Miunganisho: Kutoka Mashine za Boltzmann hadi "Tabaka Zilizofichwa" (Hidden Layers)

Hali ya hewa Carnegie Mellon mwishoni mwa miaka ya 1970 ilikuwa ya umeme, tofauti kubwa na uzoefu wake wa awali nchini Uingereza. Hinton anakumbuka kuingia maabara Jumamosi usiku saa 3 usiku na kuikuta "imejaa... wanafunzi wote walikuwa hapo na walikuwepo kwa sababu kile walichokuwa wakifanyia kazi kilikuwa ni mustakabali." Mazingira haya yenye rutuba yalikuza ushirikiano muhimu, hasa na Terry Sejnowski kuhusu Boltzmann Machines – kipindi ambacho Hinton anaelezea kama "utafiti wa kusisimua zaidi niliowahi kufanya." Ingawa sasa anaamini Boltzmann Machines "hazifanyi kazi jinsi ubongo hufanya," uzuri wa kinadharia wa kanuni ya ujifunzaji unabaki kuwa chanzo cha fahari kubwa.

Mwingiliano mwingine muhimu ulikuwa na Peter Brown, mwanatakwimu aliyefanya kazi katika utambuzi wa usemi. Brown alimtambulisha Hinton kwa Mifumo ya Markov Iliyofichwa (Hidden Markov Models - HMMs), dhana iliyotoa msukumo kamili wa lugha. Hinton alikuwa tayari akitumia mitandao yenye tabaka nyingi ambayo hakuwa na jina nayo, na aliamua "iliyofichwa" katika HMMs ilikuwa "jina zuri kwa vigezo ambavyo hujui vinajishughulisha na nini." Hivyo, "tabaka zilizofichwa" (hidden layers) zinazotumika sana katika mitandao ya niuroni (neural networks) zilizaliwa. Hinton anawapa sifa wanafunzi wake kwa unyenyekevu, akitafakari, "Nafikiri nilijifunza zaidi kutoka kwake kuliko alivyojifunza kutoka kwangu." Utayari huu wa kujifunza kutoka kwa wale aliowafundisha ulionyeshwa wazi zaidi na mwanafunzi mmoja aitwaye Ilya. Ilya Sutskever aliingia ofisi ya Hinton na "kubisha kwa haraka" Jumapili moja, akitangaza kwamba angependa kuwa maabara kuliko "kupika viazi vya kukaanga wakati wa kiangazi." Baada ya kupewa karatasi kuhusu backpropagation, maoni ya haraka na ya kina ya Ilya hayakuwa kwamba hakuielewa sheria ya chain rule, bali: "Sieelewi tu kwa nini hamumpatii gradient kiongeza utendaji kazi chenye akili." Ufikiaji huu wa haraka wa tatizo la kina zaidi na la msingi ulitabiri "hisia zake za asili kuhusu mambo [ambazo] zilikuwa nzuri sana" za Sutskever.

Mbinu Muhimu:

• Kukumbatia utafiti shirikishi, hata katika umbali mkubwa, kulikuwa muhimu kwa mafanikio ya kisayansi.
• Kujifunza kutoka na kuwapa sifa wanafunzi kwa maarifa na michango yao ya kipekee kulionekana kuwa muhimu sana.
• Kutajwa kwa dhana za msingi za AI mara nyingi kulitokana na mahitaji ya vitendo na msukumo wa taaluma mbalimbali.
• Kuthamini hisia za asili za mwanafunzi, hata wakati zinapingana na mawazo yaliyokubalika, ni muhimu kwa maendeleo.

Nguvu Isiyotarajiwa ya Ukubwa: Zaidi ya Utabiri wa Neno Linalofuata

Kipengele kilichojirudia katika kazi ya baadaye ya Hinton kilikuwa athari kubwa ya ukubwa (scale). Wakati Hinton awali alidhani kauli mbiu ya Ilya Sutskever – "unafanya iwe kubwa zaidi na itafanya kazi vizuri zaidi" – ilikuwa "kama kutoroka wajibu kidogo" na kwamba "mawazo mapya husaidia," hatimaye alikubali nguvu kubwa ya kompyuta na data. "Inaonekana nilikuwa sahihi kimsingi – mawazo mapya husaidia, vitu kama Transformers vilisaidia sana, lakini ilikuwa kweli ukubwa wa data na ukubwa wa kompyuta." Anaeleza karatasi ya 2011 na Ilya na James Martins, ambayo ilitumia utabiri wa kiwango cha herufi kwenye Wikipedia: "hatukuweza kuamini kabisa kwamba ilielewa chochote lakini ilionekana kana kwamba ilielewa."

Hinton anapinga vikali dhana kwamba kutabiri neno linalofuata ni kazi isiyo na kina. Anasema kwamba ni kwa sababu mifumo hii inalazimishwa kutabiri alama inayofuata katika muktadha changamano ndipo inakuza uelewa wa kina. "Kutabiri alama inayofuata lazima uelewe kile kilichosemwa. Kwa hivyo nadhani unailazimisha ielewe kwa kuifanya itabiri alama inayofuata na nadhani inaelewa kwa njia sawa na sisi." Anaonyesha hili kwa mfano unaovutia: kuiuliza GPT-4 kwa nini rundo la mbolea ni kama bomu la atomiki. Wakati wanadamu wengi wanahangaika, GPT-4 inabaini muundo wa kawaida wa "mmenyuko wa mfululizo" (chain reaction). Uwezo huu wa kuona mlinganisho kati ya dhana zinazoonekana kutofautiana, Hinton anaamini, ni "mahali unapopata ubunifu." Zaidi ya hayo, anaangazia kwamba mifumo hii inaweza hata kuzidi data yake ya mafunzo, kama vile mwanafunzi mwerevu anavyoweza kutambua ukweli kutoka kwa mshauri mwenye mapungufu. Anarejelea jaribio ambapo mtandao wa niuroni (neural net) uliopatiwa mafunzo kwa data yenye makosa kwa 50% bado ulipata makosa ya 5% tu. "Wanaweza kufanya vizuri zaidi kuliko data yao ya mafunzo na watu wengi hawajitambui hilo."

Mabadiliko Muhimu:

• Mabadiliko makubwa ya mtazamo kuhusu nguvu kubwa ya data na ukubwa wa kompyuta, hata zaidi ya algoriti mpya pekee.
• Kutathmini upya "kutabiri alama inayofuata" kutoka kazi ya juu juu hadi utaratibu unaolazimisha uelewa wa kina.
• Kutambua ubunifu unaoibuka wa mifumo mikubwa kupitia uwezo wao wa kutambua mlinganisho usio dhahiri.
• Kuelewa kwamba AI inaweza kujumlisha na kusahihisha makosa katika data yake ya mafunzo, ikizidi mifano iliyotolewa na binadamu.

Uhandisi wa Kutokufa: Mustakabali wa Mawazo, Multimodality, na Hesabu

Akitarajia mustakabali, Hinton anaona mawazo ya AI yakisonga mbele kupitia mchakato unaofanana na ujifunzaji wa binadamu: kutumia mawazo kusahihisha hisia za awali, kama vile AlphaGo inavyoboresha kazi yake ya tathmini kupitia Monte Carlo rollouts. Anasema, "Nafikiri mifumo hii mikubwa ya lugha inapaswa kuanza kufanya hivyo... kupata data zaidi ya mafunzo kuliko kuiga tu kile watu walichofanya." Ujumuishaji wa data ya aina nyingi (multimodal) – picha, video, sauti – utaboresha hili kwa kiasi kikubwa, hasa kwa mawazo ya anga (spatial reasoning). "Kama ukiwa nayo ikifanya maono na kufikia na kunyakua vitu, itaelewa kitu vizuri zaidi."

Uelewa wa Hinton unaoendelea wa lugha yenyewe pia unavutia. Anakataa mtazamo wa zamani wa ishara (symbolic view) na mbinu ya "fikra ya vekta" (thought vector) inayotegemea vekta pekee. Imani yake ya sasa inaweka wazi kwamba "unachukua alama hizi na kuzibadilisha kuwa embeddings... hizi embeddings tajiri sana lakini embeddings bado zinahusu alama... huo ndio uelewa." Mchanganyiko huu unahifadhi muundo wa juu wa lugha huku ukiipa maana ya kina, inayotegemea vekta. Mazungumzo pia yanagusa utetezi wake wa mapema kwa GPUs, hadithi inayohusisha Rick Szeliski, vifaa vya michezo, hotuba ya NIPS, na GPU ya bure iliyochelewa kutoka kwa Jensen Huang. Hata hivyo, kisha analinganisha mafanikio haya ya kidijitali na jitihada zake zisizofanikiwa za hesabu ya analogi ya nishati kidogo. Hii ilisababisha utambuzi mkubwa: "mifumo ya kidijitali inaweza kushiriki uzito (weights) na hiyo ni ufanisi zaidi... kwa hivyo ni bora zaidi kuliko sisi katika uwezo wa kushiriki maarifa." "Kutokufa" huku kwa uzito wa kidijitali kunaruhusu ujifunzaji wa pamoja usio na mfano.

Maarifa Muhimu:

• Uwezo wa AI wa kufikiri utaongezeka kwa kuboresha hisia zake hatua kwa hatua kupitia kujisahihisha, kuakisi jinsi binadamu wanavyotumia mawazo kukagua hisia.
• Ujifunzaji wa aina nyingi (multimodal learning), hasa unaohusisha mwingiliano wa kimwili, ni muhimu kwa kukuza uelewa thabiti wa anga na vitu.
• Uelewa wa kweli katika AI (na labda ubongo wa binadamu) upo katika embeddings tajiri na zenye muktadha wa alama, badala ya mantiki safi ya ishara (symbolic logic) au "fikra za vekta" zilizotengwa.
• Mifumo ya kidijitali ya AI inamiliki "kutokufa" asilia na ufanisi usio na kifani katika kushiriki maarifa kutokana na uzito unaoweza kubadilishana, faida ya msingi juu ya bongo za kibiolojia.

Akili Yenye Udadisi: Kufumbua Mafumbo ya Ubongo na Kuongoza Utafiti

Hata pamoja na maendeleo ya haraka ya AI, Hinton anaamini mipaka mikubwa bado ipo: kuingiza "uzito wa haraka" (fast weights) – mabadiliko ya muda, yanayotegemea muktadha kwa nguvu za sinapsi (synaptic strengths) ambazo ubongo hutumia kwa kumbukumbu ya muda mfupi. "Hiyo ni moja ya mambo makubwa tunayopaswa kujifunza." Uwezo huu unaweza kufungua aina mpya kabisa za kumbukumbu na usindikaji ambazo bado hazijaonekana katika mifumo ya AI. Kazi yake pia imeathiri sana mtazamo wake wa ubongo, ikionyesha kwamba wazo la "mtandao mkubwa wa niuroni usio na mpangilio" kujifunza mambo changamano kutoka kwa data ni "potofu kabisa" – changamoto ya moja kwa moja kwa nadharia kama muundo wa lugha asilia wa Chomsky.

Hinton hata anathubutu kuingia katika eneo la fahamu na hisia, akitoa mtazamo wenye kuchochea. Anapendekeza kwamba hisia zinaweza kueleweka kama "vitendo ambavyo tungevitenda kama kusingekuwa na vizuizi." Anaelezea roboti ya 1973 Edinburgh ambayo, iliyokasirishwa na kutoweza kwake kuunganisha gari la kuchezea kutoka kwenye rundo lililotawanyika, "iliweka mkono wake wa kunyakulia kwa nguvu na kuzitupa ili zitawanyike kisha ikaweza kuziunganisha." Hinton aliona, "Kama ungeona hilo kwa mtu ungesema alikasirishwa na hali hiyo kwa sababu hakuielewa basi akaiharibu." Kwa Hinton, huu ulikuwa uthibitisho wazi wa roboti inayoonyesha hisia. Linapokuja suala la kuchagua matatizo, njia yake ni rahisi kwa kuburudisha: "Natafuta kitu ambacho kila mtu amekubaliana nacho na kinaonekana kuwa si sahihi." Kisha anajaribu "kutengeneza onyesho dogo kwa kutumia programu ndogo ya kompyuta inayoonyesha kuwa haifanyi kazi jinsi unavyotarajia." Eneo lake la sasa "linaloshukiwa" ni ukosefu wa uzito wa haraka (fast weights) katika AI. Mwishowe, swali lililomsumbua kwa miongo mitatu linaendelea: "je, ubongo hufanya backpropagation?" Ni ushahidi wa udadisi wake usiokoma, hata anapotambua madhara yanayowezekana ya AI pamoja na mema yake makubwa katika maeneo kama vile huduma za afya. Kwa Hinton, kutafuta uelewa daima kumekuwa kichocheo kikuu.

Maarifa Muhimu:

• Kujumuisha "uzito wa haraka" (fast weights) kwa kumbukumbu ya muda na ujifunzaji wa mizani mingi ya muda ni eneo muhimu, ambalo halijaendelezwa kwa AI.
• Mafanikio ya mitandao mikubwa ya niuroni yamepinga kimsingi imani zilizodumu kwa muda mrefu kuhusu miundo asilia katika ujifunzaji, hasa kwa lugha.
• Hisia katika AI zinaweza kueleweka kama vitendo vilivyozuiwa, vikitoa mfumo thabiti wa kuelewa "hisia" za roboti.
• Mkakati wa utafiti wa Hinton unahusisha kutambua mawazo yaliyokubalika sana ambayo yanahisi "si sahihi" kiasili kisha kuyakanusha kwa maonyesho rahisi.
• Udadisi wake wa kina, unaoendelea unahusu jinsi ubongo unavyotekeleza ujifunzaji unaotegemea gradient, hasa backpropagation.

"Nilitaka tu kuelewa ni vipi hasa ubongo unaweza kujifunza kufanya mambo – ndicho nilichotaka kujua, na kwa namna fulani nilishindwa; kama athari ya kushindwa huko, tulipata uhandisi mzuri, lakini ndio, ilikuwa kushindwa kuzuri sana kwa ulimwengu." - Geoffrey Hinton