Wawancara dengan Geoffrey Hinton

Geoffrey Hinton, yang sering disebut sebagai "Godfather of AI," baru-baru ini duduk untuk percakapan jujur yang mengungkap lapisan-lapisan perjalanan luar biasa, kebenaran mengejutkan yang ia temukan, dan pertanyaan mendalam yang terus memotivasinya. Dari kekecewaan senyap dalam pencarian akademis awalnya hingga laboratorium Carnegie Mellon yang sibuk dan terobsesi masa depan, Hinton menawarkan pandangan yang sangat personal dan merangsang intelektual tentang evolusi kecerdasan buatan, diselingi dengan perpaduan khas antara kerendahan hati, wawasan tajam, dan skeptisisme yang sehat terhadap kebijaksanaan yang diterima umum.

Jalan Tak Terduga Menuju AI: Keraguan, Kekecewaan, dan Intuisi Mendalam

Jalan Hinton untuk menjadi peneliti AI perintis jauh dari linier. Pencarian awalnya untuk memahami kecerdasan dimulai di Cambridge, dengan mempelajari fisiologi. Namun, ia dengan cepat merasa "sangat mengecewakan" ketika yang ia pelajari hanyalah "bagaimana neuron menghantarkan potensial aksi, yang sangat menarik tetapi tidak memberi tahu bagaimana otak bekerja." Beralih ke filsafat untuk memahami pikiran terbukti sama-sama membuat frustrasi. Baru setelah ia menemukan dirinya di Edinburgh, mendalami AI, ia merasakan percikan sejati: "setidaknya Anda bisa mensimulasikan berbagai hal sehingga Anda bisa menguji teori."

Kekecewaan awal ini membentuk intuisi inti. Ia membaca Donald Hebb tentang kekuatan koneksi jaringan saraf dan John von Neumann tentang bagaimana otak menghitung secara berbeda dari komputer tradisional. Hinton secara naluriah menolak pendekatan logika simbolis yang lazim terhadap kecerdasan. "Menurut saya, harus ada cara otak belajar dan jelas bukan dengan memiliki segala macam hal yang diprogram ke dalamnya dan kemudian menggunakan aturan inferensi logis yang bagi saya tampak gila sejak awal." Fokusnya justru menyempit pada pertanyaan fundamental tentang bagaimana otak belajar memodifikasi koneksi dalam neural net untuk melakukan tugas-tugas kompleks, sebuah kesederhanaan elegan yang akan menjadi dasar sebagian besar karyanya di kemudian hari.

Key Learnings:

• Kekecewaan akademis awal mengkatalisasi pergeseran menuju simulasi dan pengujian empiris dalam AI.
• Hinton mengembangkan intuisi awal yang kuat menentang logika simbolis sebagai model utama fungsi otak.
• Minat dasarnya terletak pada pemahaman bagaimana operasi neural sederhana dapat menghasilkan pembelajaran yang kompleks.

Membangun Koneksi: Dari Boltzmann Machines hingga "Hidden Layers"

Suasana di Carnegie Mellon pada akhir 1970-an sangat bersemangat, sebuah kontras yang mencolok dengan pengalaman awalnya di Inggris. Hinton mengenang pergi ke laboratorium pada Sabtu malam pukul 9 malam dan menemukannya "penuh sesak... semua siswa ada di sana dan mereka semua ada di sana karena apa yang mereka kerjakan adalah masa depan." Tanah subur ini memupuk kolaborasi penting, terutama dengan Terry Sejnowski mengenai Boltzmann Machines – sebuah periode yang digambarkan Hinton sebagai "penelitian paling menarik yang pernah saya lakukan." Meskipun ia sekarang percaya Boltzmann Machines "bukan cara otak bekerja," keindahan teoretis algoritma pembelajaran tetap menjadi kebanggaan yang mendalam.

Interaksi penting lainnya adalah dengan Peter Brown, seorang ahli statistik yang mengerjakan pengenalan suara. Brown memperkenalkan Hinton pada Hidden Markov Models (HMMs), sebuah konsep yang memberikan inspirasi linguistik yang sempurna. Hinton sudah menggunakan jaringan multi-lapisan yang belum ia beri nama, dan ia memutuskan bahwa kata "hidden" dalam HMMs adalah "nama yang bagus untuk variabel-variabel yang Anda tidak tahu apa yang sedang mereka lakukan." Demikianlah, "hidden layers" yang ada di mana-mana dalam jaringan saraf pun lahir. Hinton dengan rendah hati memuji murid-muridnya, merefleksikan, "Saya pikir saya belajar lebih banyak darinya daripada yang ia pelajari dari saya." Kesediaannya untuk belajar dari mereka yang ia bimbing paling jelas terlihat pada seorang siswa bernama Ilya. Ilya Sutskever masuk ke kantor Hinton dengan "ketukan mendesak" pada suatu Minggu, menyatakan bahwa ia lebih suka berada di laboratorium daripada "menggoreng kentang selama musim panas." Setelah diberi makalah tentang backpropagation, umpan balik Ilya yang segera dan mendalam bukanlah bahwa ia tidak memahami aturan rantai, melainkan: "Saya hanya tidak mengerti mengapa Anda tidak memberikan gradient ke pengoptimal fungsi yang masuk akal." Lompatan segera ke masalah yang lebih dalam, lebih fundamental ini mengisyaratkan "intuisi mentah" Sutskever yang luar biasa tentang berbagai hal [yang] "selalu sangat baik."

Key Practices:

• Menerapkan penelitian kolaboratif, bahkan lintas jarak yang signifikan, sangat penting untuk terobosan ilmiah.
• Belajar dari dan menghargai siswa atas wawasan dan kontribusi unik mereka terbukti sangat berharga.
• Penamaan konsep-konsep dasar AI sering muncul dari kebutuhan praktis dan inspirasi lintas disiplin.
• Menghargai intuisi mentah dan bawaan seorang siswa, bahkan ketika itu menantang ide-ide yang sudah mapan, sangat penting untuk kemajuan.

Kekuatan Skala yang Tak Terduga: Melampaui Prediksi Kata Berikutnya

Tema yang berulang dalam karir Hinton di kemudian hari adalah dampak mendalam dari skala. Meskipun Hinton awalnya menganggap mantra Ilya Sutskever – "Anda hanya membuatnya lebih besar dan itu akan bekerja lebih baik" – adalah "sedikit mengelak" dan bahwa "ide-ide baru membantu," ia akhirnya mengakui kekuatan monumental komputasi dan data. "Ternyata saya pada dasarnya benar bahwa ide-ide baru membantu, hal-hal seperti Transformers sangat membantu tetapi itu benar-benar skala data dan skala komputasi." Ia menceritakan sebuah makalah tahun 2011 oleh Ilya dan James Martins, yang menggunakan prediksi tingkat karakter di Wikipedia: "kami tidak pernah bisa sepenuhnya percaya bahwa ia memahami apa pun tetapi terlihat seolah-olah ia memahaminya."

Hinton sangat membantah gagasan bahwa memprediksi kata berikutnya adalah tugas yang dangkal. Ia berpendapat bahwa justru karena model-model ini dipaksa untuk memprediksi simbol berikutnya dalam konteks yang kompleks, mereka mengembangkan pemahaman yang mendalam. "Untuk memprediksi simbol berikutnya, Anda harus memahami apa yang telah dikatakan. Jadi saya pikir Anda memaksanya untuk memahami dengan membuatnya memprediksi simbol berikutnya dan saya pikir ia memahami dengan cara yang sama seperti kita." Ia mengilustrasikan ini dengan analogi yang menarik: menanyakan GPT-4 mengapa tumpukan kompos mirip dengan bom atom. Sementara sebagian besar manusia kesulitan, GPT-4 mengidentifikasi struktur umum 'reaksi berantai.' Kemampuan untuk melihat analogi antara konsep-konsep yang tampaknya tidak berhubungan ini, Hinton percaya, adalah "dari situlah Anda mendapatkan kreativitas." Lebih lanjut, ia menyoroti bahwa model-model ini bahkan dapat melampaui data pelatihannya, mirip seperti siswa cerdas yang membedakan kebenaran dari penasihat yang cacat. Ia menunjuk pada sebuah eksperimen di mana neural net yang dilatih dengan 50% data yang salah masih mencapai hanya 5% kesalahan. "Mereka bisa melakukan jauh lebih baik daripada data pelatihannya dan kebanyakan orang tidak menyadarinya."

Key Changes:

• Pergeseran perspektif yang mendalam mengenai kekuatan monumental data dan skala komputasi, bahkan melebihi algoritma baru saja.
• Mengevaluasi ulang "memprediksi simbol berikutnya" dari tugas dangkal menjadi mekanisme yang memaksa pemahaman mendalam.
• Mengakui kreativitas yang muncul dari model besar melalui kemampuan mereka untuk mengidentifikasi analogi yang tidak kentara.
• Memahami bahwa AI dapat menggeneralisasi dan mengoreksi kesalahan dalam data pelatihannya, melampaui contoh yang diberikan manusia.

Rekayasa Keabadian: Masa Depan Penalaran, Multimodalitas, dan Komputasi

Melihat ke masa depan, Hinton membayangkan penalaran AI maju melalui proses yang mirip dengan pembelajaran manusia: menggunakan penalaran untuk mengoreksi intuisi awal, seperti AlphaGo yang menyempurnakan fungsi evaluasinya melalui Monte Carlo rollouts. Ia menyatakan, "Saya pikir model bahasa besar ini harus mulai melakukan itu... mendapatkan lebih banyak data pelatihan daripada hanya meniru apa yang dilakukan orang." Integrasi data multimodal — gambar, video, suara — akan secara dramatis meningkatkannya, terutama untuk penalaran spasial. "Jika ia melakukan penglihatan dan menjangkau serta meraih benda, ia akan memahami objek jauh lebih baik."

Pemahaman Hinton yang berkembang tentang bahasa itu sendiri juga menarik. Ia menolak pandangan simbolis lama dan pendekatan 'vektor pemikiran' yang murni berbasis vektor. Keyakinannya saat ini menyatakan bahwa "Anda mengambil simbol-simbol ini dan Anda mengonversi simbol-simbol tersebut menjadi embeddings... embeddings yang sangat kaya ini tetapi embeddings tersebut masih merujuk ke simbol-simbol... itulah pemahaman." Perpaduan ini mempertahankan struktur permukaan bahasa sambil memberinya makna yang mendalam, berbasis vektor. Percakapan ini juga menyentuh advokasinya yang awal untuk GPU, sebuah kisah yang melibatkan Rick Szeliski, perangkat keras gaming, sebuah pembicaraan NIPS, dan GPU gratis yang tertunda dari Jensen Huang. Namun, ia kemudian mengkontraskan keberhasilan digital ini dengan pencariannya yang tidak berhasil untuk komputasi analog berdaya rendah. Ini mengarah pada realisasi yang mendalam: "sistem digital dapat berbagi weights dan itu jauh lebih efisien secara luar biasa... jadi mereka jauh lebih unggul dari kita dalam hal berbagi pengetahuan." 'Keabadian' weights digital ini memungkinkan pembelajaran kolektif yang belum pernah terjadi sebelumnya.

Key Insights:

• Kemampuan penalaran AI akan semakin dalam dengan secara iteratif menyempurnakan intuisinya melalui koreksi diri, mencerminkan bagaimana manusia menggunakan penalaran untuk memeriksa intuisi.
• Pembelajaran multimodal, terutama yang melibatkan interaksi fisik, sangat penting untuk mengembangkan pemahaman spasial dan objek yang kuat.
• Pemahaman sejati dalam AI (dan mungkin otak manusia) terletak pada embeddings simbol yang kaya dan kontekstual, daripada logika simbolis murni atau "vektor pemikiran" yang terisolasi.
• Sistem AI digital memiliki "keabadian" yang melekat dan efisiensi yang tak tertandingi dalam berbagi pengetahuan karena weights yang dapat dipertukarkan, sebuah keuntungan fundamental dibandingkan otak biologis.

Pikiran yang Penasaran: Mengungkap Misteri Otak dan Memandu Penelitian

Bahkan dengan kemajuan pesat AI, Hinton percaya batas utama masih ada: mengintegrasikan "fast weights" – perubahan sementara yang bergantung konteks pada kekuatan sinaptik yang digunakan otak untuk memori jangka pendek. "Itu adalah salah satu hal terbesar yang harus kita pelajari." Kemampuan ini dapat membuka bentuk-bentuk memori dan pemrosesan yang sama sekali baru yang belum terlihat dalam model AI. Karyanya juga sangat memengaruhi pandangannya tentang otak, menunjukkan bahwa gagasan 'neural net acak besar' yang mempelajari hal-hal kompleks dari data adalah "salah total" – sebuah tantangan langsung terhadap teori seperti struktur bahasa bawaan Chomsky.

Hinton bahkan menjelajahi ranah kesadaran dan perasaan, menawarkan perspektif yang provokatif. Ia menyarankan bahwa perasaan dapat dipahami sebagai "tindakan yang akan kita lakukan jika tidak ada batasan." Ia menceritakan robot tahun 1973 di Edinburgh yang, frustrasi oleh ketidakmampuannya untuk merakit mobil mainan dari tumpukan yang berserakan, "mengayunkan pencapitnya dengan keras dan menjatuhkan benda-benda itu sehingga berserakan dan kemudian ia bisa menyusunnya." Hinton mengamati, "Jika Anda melihat itu pada seseorang, Anda akan mengatakan orang itu kesal dengan situasinya karena tidak memahaminya, sehingga ia menghancurkannya." Bagi Hinton, ini adalah demonstrasi jelas tentang robot yang menunjukkan emosi. Ketika datang untuk memilih masalah, metodenya sederhana namun menyegarkan: "Saya mencari sesuatu di mana semua orang sepakat tentang sesuatu dan rasanya salah." Ia kemudian mencoba "membuat demo kecil dengan program komputer sederhana yang menunjukkan bahwa itu tidak berfungsi seperti yang Anda harapkan." Area 'mencurigakan'nya saat ini adalah kurangnya fast weights dalam AI. Pada akhirnya, pertanyaan yang telah menyita perhatiannya selama tiga dekade terus berlanjut: "apakah otak melakukan backpropagation?" Ini adalah bukti dari rasa ingin tahunya yang abadi, bahkan saat ia mengakui potensi bahaya AI di samping manfaat besarnya dalam bidang-bidang seperti perawatan kesehatan. Bagi Hinton, pengejaran pemahaman selalu menjadi motivator utama.

Key Learnings:

• Mengintegrasikan "fast weights" untuk memori sementara dan pembelajaran multi-skala waktu adalah area krusial yang belum dikembangkan untuk AI.
• Keberhasilan jaringan saraf besar telah secara fundamental menantang keyakinan lama tentang struktur bawaan dalam pembelajaran, terutama untuk bahasa.
• Perasaan dalam AI dapat dikonseptualisasikan sebagai tindakan yang terhambat, menawarkan kerangka kerja nyata untuk memahami "emosi" robot.
• Strategi penelitian Hinton melibatkan identifikasi ide-ide yang diterima secara luas yang secara naluriah terasa "salah" dan kemudian membuktikannya tidak benar dengan demonstrasi sederhana.
• Rasa ingin tahunya yang paling dalam dan berkelanjutan berputar di sekitar bagaimana otak menerapkan pembelajaran berbasis gradient, khususnya backpropagation.

"Saya hanya ingin memahami bagaimana bisa otak belajar melakukan berbagai hal, itulah yang ingin saya ketahui dan saya semacam gagal, sebagai efek samping dari kegagalan itu kami mendapatkan beberapa rekayasa yang bagus tetapi ya, itu adalah kegagalan yang sangat sangat baik bagi dunia" - Geoffrey Hinton