Temu ramah dengan Geoffrey Hinton

Geoffrey Hinton, yang sering digelar "Godfather of AI," baru-baru ini duduk untuk perbualan jujur yang menyelami perjalanan luar biasa beliau, kebenaran mengejutkan yang ditemuinya, serta persoalan mendalam yang terus mendorongnya. Daripada kekecewaan senyap dalam pengajian akademiknya di awal dulu, kepada makmal-makmal Carnegie Mellon yang sibuk dan taksub dengan masa depan, Hinton menawarkan pandangan yang sangat peribadi dan merangsang minda tentang evolusi kecerdasan buatan, diselangi dengan gabungan ciri khas beliau: rendah diri, pandangan tajam, dan skeptisisme yang sihat terhadap kebijaksanaan yang diterima umum.

Laluan Tak Sengaja ke AI: Keraguan, Kekecewaan, dan Intuisi Mendalam

Laluan Hinton untuk menjadi penyelidik AI perintis jauh daripada lurus. Usaha awalnya untuk memahami kecerdasan bermula di Cambridge, dengan mengkaji fisiologi. Namun, beliau segera mendapati ia "amat mengecewakan" apabila apa yang dipelajarinya hanyalah "bagaimana neuron menghantar potensi tindakan, yang sangat menarik tetapi tidak memberitahu bagaimana otak berfungsi." Beralih kepada falsafah untuk memahami minda ternyata sama mengecewakan. Barulah apabila beliau berada di Edinburgh, mendalami AI, beliau merasai cetusan sebenar: "sekurang-kurangnya anda boleh mensimulasikan sesuatu supaya anda boleh menguji teori-teori."

Kekecewaan awal ini membentuk intuisi teras. Beliau membaca karya Donald Hebb tentang kekuatan sambungan rangkaian neural dan John von Neumann tentang bagaimana otak mengira secara berbeza daripada komputer tradisional. Hinton secara naluri menolak pendekatan logik simbolik yang lazim dalam kecerdasan. "Bagi saya, mesti ada cara bagaimana otak belajar dan ia jelas bukan dengan memprogramkan pelbagai perkara ke dalamnya dan kemudian menggunakan peraturan inferens logik—itu kelihatan gila bagi saya sejak awal lagi." Fokusnya kemudian menyempit kepada persoalan asas bagaimana otak belajar mengubah suai sambungan dalam rangkaian neural untuk melaksanakan tugas-tugas kompleks, satu kesederhanaan elegan yang akan menjadi asas kepada kebanyakan kerja beliau di kemudian hari.

Pembelajaran Utama:

• Kekecewaan akademik awal memangkin perubahan ke arah simulasi dan ujian empirikal dalam AI.
• Hinton mengembangkan intuisi awal yang kuat menentang logik simbolik sebagai model utama untuk fungsi otak.
• Minat asas beliau terletak pada pemahaman bagaimana operasi neural yang mudah boleh membawa kepada pembelajaran yang kompleks.

Membentuk Sambungan: Daripada Mesin Boltzmann kepada "Lapisan Tersembunyi"

Suasana di Carnegie Mellon pada akhir 1970-an amat meriah, berbeza sama sekali dengan pengalaman beliau sebelum ini di England. Hinton mengimbas kembali pergi ke makmal pada malam Sabtu pukul 9 malam untuk mendapati ia "penuh... semua pelajar ada di sana dan mereka semua ada kerana apa yang mereka kerjakan adalah masa depan." Persekitaran subur ini memupuk kolaborasi penting, terutamanya dengan Terry Sejnowski mengenai Mesin Boltzmann – satu tempoh yang digambarkan oleh Hinton sebagai "penyelidikan paling menarik yang pernah saya lakukan." Walaupun kini beliau percaya Mesin Boltzmann "bukanlah cara otak berfungsi," keanggunan teori algoritma pembelajaran itu kekal menjadi kebanggaan yang mendalam.

Satu lagi interaksi penting ialah dengan Peter Brown, seorang ahli statistik yang bekerja dalam pengecaman pertuturan. Brown memperkenalkan Hinton kepada Model Markov Tersembunyi (HMMs), sebuah konsep yang memberikan inspirasi linguistik yang sempurna. Hinton sudah pun menggunakan rangkaian berbilang lapisan yang belum ada nama khusus, dan beliau memutuskan bahawa perkataan "tersembunyi" dalam HMMs adalah "nama yang bagus untuk pemboleh ubah yang anda tidak tahu apa yang sedang mereka lakukan." Maka, "lapisan tersembunyi" yang meluas digunakan dalam rangkaian neural pun lahir. Hinton dengan rendah diri mengiktiraf pelajar-pelajarnya, merenungkan, "Saya rasa saya belajar lebih banyak daripada dia berbanding apa yang dia belajar daripada saya." Kesediaan untuk belajar daripada mereka yang dibimbingnya paling jelas ditunjukkan dengan seorang pelajar bernama Ilya. Ilya Sutskever menerjah masuk ke pejabat Hinton dengan "ketukan cemas" pada suatu hari Ahad, menyatakan beliau lebih suka berada di makmal daripada "menggoreng kentang sepanjang musim panas." Setelah diberikan kertas kerja mengenai backpropagation, maklum balas Ilya yang segera dan mendalam bukanlah beliau tidak memahami peraturan rantaian (chain rule), tetapi sebaliknya: "Saya cuma tidak faham mengapa anda tidak memberikan gradient kepada pengoptimum fungsi yang munasabah." Lompatan segera kepada masalah yang lebih mendalam dan asas ini meramalkan "intuisi mentah" Sutskever yang luar biasa tentang perkara-perkara [yang] sentiasa sangat baik.

Amalan Utama:

• Merangkul penyelidikan kolaboratif, walaupun merentasi jarak yang jauh, adalah penting untuk penemuan saintifik.
• Belajar daripada dan mengiktiraf pelajar atas pandangan dan sumbangan unik mereka terbukti amat berharga.
• Penamaan konsep AI asas sering muncul daripada keperluan praktikal dan inspirasi rentas disiplin.
• Menghargai intuisi mentah dan semula jadi seorang pelajar, walaupun ia mencabar idea-idea yang sudah mantap, adalah penting untuk kemajuan.

Kuasa Skala yang Tidak Dijangka: Melangkaui Ramalan Perkataan Seterusnya

Tema yang berulang dalam kerjaya Hinton kemudiannya ialah kesan mendalam skala. Walaupun Hinton pada awalnya menganggap mantra Ilya Sutskever – "anda hanya perlu menjadikannya lebih besar dan ia akan berfungsi dengan lebih baik" – sebagai "sedikit alasan" dan bahawa "idea baharu membantu," beliau akhirnya mengakui kuasa besar pengkomputeran dan data. "Ternyata saya pada dasarnya betul—idea baharu membantu; perkara seperti Transformers sangat membantu—tetapi ia sebenarnya adalah skala data dan skala pengkomputeran." Beliau menceritakan kembali sebuah kertas kerja pada tahun 2011 oleh Ilya dan James Martins, yang menggunakan ramalan peringkat karakter pada Wikipedia: "kami tidak pernah benar-benar percaya ia memahami apa-apa tetapi ia kelihatan seperti memahami."

Hinton dengan tegas menafikan tanggapan bahawa meramalkan perkataan seterusnya adalah tugas yang cetek. Beliau berhujah bahawa justru kerana model-model ini dipaksa untuk meramalkan simbol seterusnya dalam konteks yang kompleks, maka mereka mengembangkan pemahaman yang mendalam. "Untuk meramalkan simbol seterusnya, anda perlu memahami apa yang telah dikatakan. Jadi saya fikir anda memaksanya untuk memahami dengan membuatnya meramalkan simbol seterusnya dan saya fikir ia memahami dengan cara yang sama seperti kita." Beliau menggambarkan ini dengan analogi yang menarik: bertanya kepada GPT-4 mengapa timbunan kompos sama seperti bom atom. Walaupun kebanyakan manusia bergelut, GPT-4 mengenal pasti struktur umum "tindak balas berantai." Kemampuan untuk melihat analogi antara konsep-konsep yang kelihatan berbeza ini, Hinton percaya, adalah "di mana anda mendapat kreativiti." Tambahan pula, beliau menekankan bahawa model-model ini malah boleh mengatasi data latihan mereka, sama seperti seorang pelajar pintar yang membezakan kebenaran daripada penasihat yang cacat. Beliau menunjuk kepada eksperimen di mana rangkaian neural yang dilatih dengan 50% data yang salah masih mencapai hanya 5% ralat. "Mereka boleh melakukan jauh lebih baik daripada data latihan mereka dan kebanyakan orang tidak menyedari itu."

Perubahan Utama:

• Perubahan perspektif yang mendalam mengenai kuasa besar data dan skala pengkomputeran, bahkan mengatasi algoritma baharu semata-mata.
• Menilai semula "meramalkan simbol seterusnya" daripada tugas yang dangkal kepada mekanisme yang memaksa pemahaman yang mendalam.
• Mengiktiraf kreativiti yang muncul daripada model-model besar melalui kemampuan mereka untuk mengenal pasti analogi yang tidak jelas.
• Memahami bahawa AI boleh membuat generalisasi dan membetulkan kesilapan dalam data latihannya, mengatasi contoh-contoh yang disediakan oleh manusia.

Keabadian Kejuruteraan: Masa Depan Penaakulan, Multimodality, dan Pengkomputeran

Melihat ke masa depan, Hinton membayangkan penaakulan AI akan maju melalui proses yang serupa dengan pembelajaran manusia: menggunakan penaakulan untuk membetulkan intuisi awal, sama seperti AlphaGo memperhalusi fungsi penilaiannya melalui Monte Carlo rollouts. Beliau menyatakan, "Saya rasa model bahasa besar ini perlu mula melakukan itu... mendapatkan lebih banyak data latihan daripada sekadar meniru apa yang dilakukan oleh manusia." Integrasi data multimodal — imej, video, bunyi — akan meningkatkan ini secara mendadak, terutamanya untuk penaakulan spatial. "Jika ia boleh melakukan penglihatan dan juga mencapai serta memegang objek, ia akan memahami objek dengan lebih baik."

Pemahaman Hinton yang sentiasa berkembang tentang bahasa itu sendiri juga menarik. Beliau menolak pandangan simbolik lama dan pendekatan "vektor pemikiran" berasaskan vektor semata-mata. Kepercayaan beliau sekarang menyatakan bahawa "anda mengambil simbol-simbol ini dan anda menukarkan simbol-simbol itu menjadi embeddings... embeddings yang sangat kaya ini tetapi embeddings itu masih kepada simbol-simbol... itulah pemahaman." Gabungan ini mengekalkan struktur permukaan bahasa sambil memberikannya makna yang mendalam dan berasaskan vektor. Perbualan itu juga menyentuh tentang sokongan awal beliau terhadap GPU, sebuah kisah yang melibatkan Rick Szeliski, perkakasan permainan, ceramah NIPS, dan GPU percuma yang tertunda daripada Jensen Huang. Namun, beliau kemudian mengkontraskan kejayaan digital ini dengan usaha beliau yang tidak berjaya dalam pengkomputeran analog berkuasa rendah. Ini membawa kepada kesedaran mendalam: "sistem digital boleh berkongsi bobot (weights) dan itu sangat jauh lebih cekap... jadi mereka jauh lebih unggul daripada kita dalam kemampuan berkongsi pengetahuan." "Keabadian" bobot digital ini membolehkan pembelajaran kolektif yang belum pernah terjadi sebelum ini.

Wawasan Utama:

• Keupayaan penaakulan AI akan mendalam dengan memperhalusi intuisinya secara berulang melalui pembetulan kendiri, mencerminkan bagaimana manusia menggunakan penaakulan untuk memeriksa intuisi.
• Pembelajaran multimodal, terutamanya yang melibatkan interaksi fizikal, adalah penting untuk mengembangkan pemahaman spatial dan objek yang teguh.
• Pemahaman sebenar dalam AI (dan mungkin otak manusia) terletak pada embeddings simbol yang kaya dan kontekstual, bukannya logik simbolik semata-mata atau "vektor pemikiran" yang terasing.
• Sistem AI digital memiliki "keabadian" yang wujud dan kecekapan perkongsian pengetahuan yang tiada tandingan disebabkan bobot yang boleh ditukar ganti, satu kelebihan asas berbanding otak biologi.

Minda yang Ingin Tahu: Membongkar Misteri Otak dan Membimbing Penyelidikan

Walaupun dengan kemajuan pesat AI, Hinton percaya satu lagi sempadan utama masih ada: menggabungkan "bobot pantas" (fast weights) – perubahan sementara, bergantung kepada konteks pada kekuatan sinaps yang digunakan otak untuk ingatan jangka pendek. "Itu adalah salah satu perkara terbesar yang perlu kita pelajari." Keupayaan ini boleh membuka kunci bentuk ingatan dan pemprosesan yang sama sekali baharu yang belum pernah dilihat dalam model AI. Kerja beliau juga telah memberi impak mendalam terhadap pandangan beliau tentang otak, menunjukkan bahawa idea "jaringan neural rawak yang besar" mempelajari perkara kompleks daripada data adalah "sama sekali salah" – satu cabaran langsung kepada teori seperti struktur bahasa bawaan lahir Chomsky.

Hinton malah menceburi alam kesedaran dan perasaan, menawarkan perspektif yang provokatif. Beliau mencadangkan bahawa perasaan boleh difahami sebagai "tindakan yang akan kita lakukan jika bukan kerana kekangan." Beliau menceritakan kembali tentang robot pada tahun 1973 di Edinburgh yang, kerana kecewa dengan ketidakupayaannya untuk memasang kereta mainan daripada timbunan yang bertaburan, "menghentak pencengkamnya dan ia menjatuhkan objek-objek itu sehingga berserakan dan kemudian ia boleh memasangkannya." Hinton memerhati, "Jika anda melihat itu pada seseorang, anda akan berkata dia marah dengan situasi itu kerana dia tidak memahaminya, jadi dia memusnahkannya." Bagi Hinton, ini adalah demonstrasi jelas robot yang menunjukkan emosi. Apabila memilih masalah, kaedahnya amat mudah: "Saya mencari sesuatu di mana semua orang bersetuju tentang sesuatu tetapi ia terasa salah." Beliau kemudian cuba "membuat demo kecil dengan program komputer kecil yang menunjukkan bahawa ia tidak berfungsi seperti yang anda jangkakan." Bidang "mencurigakan" beliau sekarang ialah kekurangan bobot pantas (fast weights) dalam AI. Akhirnya, persoalan yang telah menghantui beliau selama tiga dekad terus berlegar: "adakah otak melakukan backpropagation?" Ini adalah bukti rasa ingin tahu beliau yang berkekalan, walaupun beliau mengakui potensi bahaya AI di samping kebaikan besar yang dibawanya dalam bidang seperti penjagaan kesihatan. Bagi Hinton, usaha untuk memahami sentiasa menjadi pendorong utama.

Pembelajaran Utama:

• Mengintegrasikan "bobot pantas" untuk ingatan sementara dan pembelajaran pelbagai skala masa adalah bidang penting yang belum dibangunkan untuk AI.
• Kejayaan rangkaian neural yang besar telah mencabar secara asas kepercayaan lama tentang struktur bawaan lahir dalam pembelajaran, terutamanya untuk bahasa.
• Perasaan dalam AI boleh dikonsepkan sebagai tindakan yang terhalang, menawarkan rangka kerja yang ketara untuk memahami "emosi" robot.
• Strategi penyelidikan Hinton melibatkan mengenal pasti idea-idea yang diterima umum yang terasa "salah" secara naluri dan kemudian membuktikan ia salah dengan demonstrasi ringkas.
• Rasa ingin tahu beliau yang paling mendalam dan berterusan berkisar tentang bagaimana otak melaksanakan pembelajaran berasaskan gradient, khususnya backpropagation.

"Saya cuma ingin memahami bagaimana di dunia ini otak boleh belajar melakukan sesuatu—itulah yang saya ingin tahu—dan saya boleh dikatakan gagal; sebagai kesan sampingan daripada kegagalan itu, kami mendapat kejuruteraan yang bagus, tetapi ya, ia adalah kegagalan yang sangat-sangat bagus untuk dunia." - Geoffrey Hinton