สัมภาษณ์กับ Geoffrey Hinton

Geoffrey Hinton ซึ่งมักได้รับการยกย่องว่าเป็น "บิดาแห่ง AI" ได้ร่วมสนทนาอย่างเปิดเผยเมื่อเร็วๆ นี้ ซึ่งเผยให้เห็นเบื้องลึกเบื้องหลังเส้นทางชีวิตที่ไม่ธรรมดาของเขา ความจริงที่น่าประหลาดใจที่เขาค้นพบ และคำถามสำคัญที่ยังคงขับเคลื่อนเขา ตั้งแต่ความผิดหวังเงียบๆ ในการศึกษาช่วงแรก ไปจนถึงห้องปฏิบัติการที่คึกคักและหมกมุ่นอยู่กับอนาคตของ Carnegie Mellon, Hinton นำเสนอภาพรวมที่เป็นส่วนตัวอย่างลึกซึ้งและกระตุ้นปัญญาเกี่ยวกับการวิวัฒนาการของปัญญาประดิษฐ์ ผสมผสานกับการถ่อมตน ความเข้าใจอันเฉียบคม และความไม่เชื่อในความรู้ที่ได้รับมาโดยไม่มีการตั้งคำถาม ซึ่งเป็นเอกลักษณ์ของเขา

เส้นทางสู่ AI โดยบังเอิญ: ความสงสัย ความผิดหวัง และสัญชาตญาณอันลึกซึ้ง

เส้นทางของ Hinton สู่การเป็นนักวิจัย AI ผู้บุกเบิกนั้นไม่ได้เป็นเส้นตรงเลย การแสวงหาความเข้าใจเกี่ยวกับสติปัญญาในตอนแรกของเขาเริ่มต้นที่ Cambridge โดยศึกษาด้านสรีรวิทยา อย่างไรก็ตาม เขากลับพบว่ามัน "น่าผิดหวังมาก" เมื่อสิ่งที่เขาเรียนรู้ทั้งหมดคือ "วิธีที่เซลล์ประสาทนำส่งศักย์ไฟฟ้า (action potentials) ซึ่งน่าสนใจมากแต่มันไม่ได้บอกคุณว่าสมองทำงานอย่างไร" การหันไปศึกษาปรัชญาเพื่อทำความเข้าใจจิตใจก็ให้ผลที่น่าหงุดหงิดไม่แพ้กัน จนกระทั่งเขาได้ไปที่ Edinburgh และเจาะลึกเข้าไปใน AI นั่นแหละที่เขารู้สึกถึงประกายไฟที่แท้จริง: "อย่างน้อยคุณก็สามารถจำลองสิ่งต่างๆ เพื่อทดสอบทฤษฎีได้"

ความผิดหวังในยุคแรกนี้หล่อหลอมให้เกิดสัญชาตญาณหลัก เขานำงานของ Donald Hebb เกี่ยวกับความแข็งแกร่งของการเชื่อมต่อใน neural network และงานของ John von Neumann เกี่ยวกับวิธีการที่สมองประมวลผลแตกต่างจากคอมพิวเตอร์ทั่วไปมาอ่าน Hinton ปฏิเสธแนวทาง Symbolic Logic ที่มีอิทธิพลในการทำความเข้าใจสติปัญญาในเวลานั้นโดยสัญชาตญาณ "สำหรับผม มันต้องมีวิธีที่สมองเรียนรู้ได้ และมันก็ไม่ใช่การมีสิ่งต่างๆ ถูกโปรแกรมเข้าไปมากมายแล้วใช้กฎการอนุมานเชิงตรรกะ ซึ่งตั้งแต่แรกมันก็ดูบ้าสำหรับผมแล้ว" แต่เขากลับมุ่งเน้นไปที่คำถามพื้นฐานว่าสมองเรียนรู้ที่จะปรับเปลี่ยนการเชื่อมต่อภายใน neural net เพื่อทำงานที่ซับซ้อนได้อย่างไร ซึ่งเป็นความเรียบง่ายที่สง่างามซึ่งจะกลายเป็นรากฐานของงานส่วนใหญ่ในภายหลังของเขา

Key Learnings:

• ความผิดหวังในการศึกษาช่วงแรกกระตุ้นให้เกิดการเปลี่ยนไปสู่การจำลองและการทดสอบเชิงประจักษ์ใน AI
• Hinton พัฒนาสัญชาตญาณที่แข็งแกร่งตั้งแต่แรกเริ่มในการต่อต้าน Symbolic Logic ในฐานะแบบจำลองหลักของการทำงานของสมอง
• ความสนใจพื้นฐานของเขาอยู่ที่การทำความเข้าใจว่าการทำงานของเซลล์ประสาทที่เรียบง่ายสามารถนำไปสู่การเรียนรู้ที่ซับซ้อนได้อย่างไร

การสร้างการเชื่อมโยง: จาก Boltzmann Machines สู่ "Hidden Layers"

บรรยากาศที่ Carnegie Mellon ในช่วงปลายทศวรรษ 1970 เต็มไปด้วยพลังงาน ซึ่งแตกต่างอย่างสิ้นเชิงจากประสบการณ์ก่อนหน้านี้ของเขาในอังกฤษ Hinton เล่าว่าเคยเข้าไปในห้องแล็บในคืนวันเสาร์เวลาสามทุ่ม และพบว่า "คนพลุกพล่าน... นักเรียนทุกคนอยู่ที่นั่น และพวกเขาทุกคนอยู่ที่นั่นเพราะสิ่งที่พวกเขากำลังทำคืองานแห่งอนาคต" พื้นที่ที่อุดมสมบูรณ์นี้ส่งเสริมการทำงานร่วมกันที่สำคัญ โดยเฉพาะกับ Terry Sejnowski ในเรื่อง Boltzmann Machines – ช่วงเวลาที่ Hinton บรรยายว่าเป็น "งานวิจัยที่น่าตื่นเต้นที่สุดเท่าที่ผมเคยทำมา" แม้ว่าตอนนี้เขาจะเชื่อว่า Boltzmann Machines "ไม่ใช่ว่าสมองทำงานอย่างไร" แต่ความงดงามทางทฤษฎีของอัลกอริทึมการเรียนรู้ยังคงเป็นจุดที่เขารู้สึกภาคภูมิใจอย่างยิ่ง

การปฏิสัมพันธ์ที่สำคัญอีกครั้งหนึ่งคือกับ Peter Brown นักสถิติที่ทำงานด้านการรู้จำเสียงพูด Brown แนะนำ Hinton ให้รู้จักกับ Hidden Markov Models (HMMs) ซึ่งเป็นแนวคิดที่ให้แรงบันดาลใจทางภาษาศาสตร์ที่สมบูรณ์แบบ Hinton กำลังใช้โครงข่ายหลายชั้นที่เขายังไม่มีชื่อเรียก และเขาตัดสินใจว่าคำว่า "hidden" ใน HMMs นั้น "เป็นชื่อที่ยอดเยี่ยมสำหรับตัวแปรที่คุณไม่รู้ว่ามันกำลังทำอะไรอยู่" ด้วยเหตุนี้ "hidden layers" ที่แพร่หลายใน neural network จึงถือกำเนิดขึ้น Hinton ให้เครดิตแก่นักเรียนของเขาอย่างถ่อมตน โดยกล่าวว่า "ผมคิดว่าผมเรียนรู้จากเขามากกว่าที่เขาเรียนรู้จากผม" ความเต็มใจที่จะเรียนรู้จากผู้ที่เขาเป็นที่ปรึกษาให้นั้นปรากฏชัดเจนที่สุดกับนักเรียนคนหนึ่งชื่อ Ilya Ilya Sutskever บุกเข้ามาในออฟฟิศของ Hinton ด้วย "การเคาะประตูอย่างเร่งด่วน" ในวันอาทิตย์วันหนึ่ง ประกาศว่าเขาอยากจะอยู่ในห้องแล็บมากกว่า "ทอดมันฝรั่งทอดตลอดช่วงฤดูร้อน" หลังจากได้รับเอกสารเกี่ยวกับ backpropagation คำติชมที่รวดเร็วและลึกซึ้งของ Ilya ไม่ใช่ว่าเขาไม่เข้าใจ chain rule แต่กลับเป็น: "ผมแค่ไม่เข้าใจว่าทำไมคุณไม่ส่ง gradient ให้กับ function optimizer ที่เหมาะสม" การก้าวกระโดดทันทีสู่ปัญหาที่ลึกซึ้งและเป็นรากฐานมากขึ้นนี้ เป็นการคาดการณ์ล่วงหน้าถึง "สัญชาตญาณดิบเกี่ยวกับสิ่งต่างๆ [ที่] ยอดเยี่ยมเสมอ" ของ Sutskever ที่ไม่ธรรมดา

Key Practices:

• การยอมรับงานวิจัยที่ร่วมมือกัน แม้จะอยู่ห่างไกลกันมาก เป็นสิ่งสำคัญสำหรับการค้นพบทางวิทยาศาสตร์
• การเรียนรู้และให้เครดิตแก่นักเรียนสำหรับข้อมูลเชิงลึกและการมีส่วนร่วมที่เป็นเอกลักษณ์ของพวกเขาเป็นสิ่งที่มีค่าอย่างยิ่ง
• การตั้งชื่อแนวคิดพื้นฐานของ AI มักเกิดขึ้นจากความต้องการในทางปฏิบัติและแรงบันดาลใจจากหลากหลายสาขาวิชา
• การให้คุณค่ากับสัญชาตญาณดิบที่ติดตัวมาของนักเรียน แม้ว่ามันจะท้าทายแนวคิดที่ได้รับการยอมรับ เป็นสิ่งสำคัญต่อความก้าวหน้า

พลังที่ไม่คาดคิดของขนาด: นอกเหนือจากการทำนายคำถัดไป

ธีมที่เกิดขึ้นซ้ำๆ ในช่วงหลังของอาชีพ Hinton คือผลกระทบอันลึกซึ้งของขนาด แม้ว่า Hinton ในตอนแรกจะคิดว่าคำขวัญของ Ilya Sutskever ที่ว่า "แค่ทำให้มันใหญ่ขึ้น แล้วมันจะทำงานได้ดีขึ้น" นั้น "เป็นข้ออ้างที่ไม่ค่อยดีนัก" และ "แนวคิดใหม่ๆ มีส่วนช่วย" แต่ในที่สุดเขาก็ยอมรับในพลังมหาศาลของการประมวลผลและข้อมูล "กลายเป็นว่าผมพูดถูกในหลักการ แนวคิดใหม่ๆ มีส่วนช่วยอย่างมาก อย่างเช่น Transformers ก็ช่วยได้มาก แต่จริงๆ แล้วมันคือขนาดของข้อมูลและขนาดของการประมวลผลต่างหาก" เขาเล่าถึงบทความปี 2011 ของ Ilya และ James Martins ซึ่งใช้การทำนายระดับตัวอักษรบน Wikipedia: "เราไม่เคยเชื่อเลยว่ามันเข้าใจอะไรจริงๆ แต่มันดูเหมือนจะเข้าใจ"

Hinton โต้แย้งอย่างหนักแน่นว่าการทำนายคำถัดไปเป็นงานที่ไม่ลึกซึ้ง เขาให้เหตุผลว่า เป็นเพราะ โมเดลเหล่านี้ถูกบังคับให้ทำนายสัญลักษณ์ถัดไปในบริบทที่ซับซ้อน จึงทำให้พวกมันพัฒนาความเข้าใจที่ลึกซึ้ง "ในการทำนายสัญลักษณ์ถัดไป คุณต้องเข้าใจว่ามีการพูดอะไรไปแล้ว ดังนั้นผมคิดว่าคุณกำลังบังคับให้มันเข้าใจด้วยการให้มันทำนายสัญลักษณ์ถัดไป และผมคิดว่ามันเข้าใจในลักษณะเดียวกับที่เราเข้าใจ" เขาแสดงให้เห็นด้วยการเปรียบเทียบที่น่าสนใจ: การถาม GPT-4 ว่ากองปุ๋ยหมักเหมือนระเบิดปรมาณูได้อย่างไร ในขณะที่มนุษย์ส่วนใหญ่ประสบปัญหา GPT-4 กลับระบุโครงสร้างร่วมของ "ปฏิกิริยาลูกโซ่" ความสามารถในการมองเห็นความคล้ายคลึงกันระหว่างแนวคิดที่ดูเหมือนแตกต่างกันโดยสิ้นเชิงนี้ Hinton เชื่อว่า "คือที่มาของความคิดสร้างสรรค์" ยิ่งไปกว่านั้น เขายังเน้นย้ำว่าโมเดลเหล่านี้สามารถเหนือกว่าข้อมูลการฝึกอบรมของพวกมันได้ คล้ายกับนักเรียนที่ฉลาดที่สามารถแยกแยะความจริงออกจากที่ปรึกษาที่มีข้อบกพร่อง เขายกตัวอย่างการทดลองที่โครงข่ายประสาทเทียมซึ่งฝึกฝนด้วยข้อมูลผิดพลาด 50% ยังคงทำผิดพลาดเพียง 5% "พวกมันสามารถทำได้ดีกว่าข้อมูลการฝึกอบรมของพวกมันมาก และคนส่วนใหญ่ไม่รู้เรื่องนี้"

Key Changes:

• การเปลี่ยนแปลงมุมมองอย่างลึกซึ้งเกี่ยวกับพลังมหาศาลของข้อมูลและขนาดของการประมวลผล แม้กระทั่งเหนือกว่าอัลกอริทึมใหม่เพียงอย่างเดียว
• การประเมินใหม่สำหรับ "การทำนายสัญลักษณ์ถัดไป" จากงานที่ผิวเผินไปสู่กลไกที่ บังคับ ให้เกิดความเข้าใจอย่างลึกซึ้ง
• การตระหนักถึงความคิดสร้างสรรค์ที่เกิดขึ้นใหม่ของโมเดลขนาดใหญ่ผ่านความสามารถในการระบุความคล้ายคลึงกันที่ไม่ชัดเจน
• การเข้าใจว่า AI สามารถสรุปผลและแก้ไขข้อผิดพลาดในข้อมูลการฝึกอบรมของมันได้ เหนือกว่าตัวอย่างที่มนุษย์ให้ไว้

วิศวกรรมความเป็นอมตะ: อนาคตของการให้เหตุผล, Multimodality และ Compute

เมื่อมองไปในอนาคต Hinton จินตนาการถึงการพัฒนาการให้เหตุผลของ AI ผ่านกระบวนการที่คล้ายคลึงกับการเรียนรู้ของมนุษย์: การใช้การให้เหตุผลเพื่อแก้ไขสัญชาตญาณเบื้องต้น คล้ายกับที่ AlphaGo ปรับปรุงฟังก์ชันการประเมินของตนผ่าน Monte Carlo rollouts เขากล่าวว่า "ผมคิดว่าโมเดลภาษาขนาดใหญ่เหล่านี้ต้องเริ่มทำเช่นนั้น... คือการได้ข้อมูลการฝึกอบรมมากกว่าแค่การเลียนแบบสิ่งที่ผู้คนทำ" การรวมข้อมูลแบบ multimodal — รูปภาพ วิดีโอ เสียง — จะช่วยเสริมสิ่งนี้อย่างมาก โดยเฉพาะอย่างยิ่งสำหรับการให้เหตุผลเชิงพื้นที่ "ถ้ามันสามารถมองเห็นและเอื้อมมือคว้าสิ่งของได้พร้อมกัน มันก็จะเข้าใจวัตถุได้ดีขึ้นมาก"

ความเข้าใจที่พัฒนาขึ้นของ Hinton เกี่ยวกับภาษาก็น่าสนใจเช่นกัน เขาปฏิเสธมุมมองเชิงสัญลักษณ์แบบเก่าและแนวทาง "thought vector" ที่ใช้เวกเตอร์ล้วนๆ ความเชื่อในปัจจุบันของเขาระบุว่า "คุณนำสัญลักษณ์เหล่านี้มาแปลงให้เป็น embeddings... ซึ่งเป็น embeddings ที่มีความหลากหลายมาก แต่ embeddings เหล่านั้นยังคงอ้างอิงถึงสัญลักษณ์... นั่นคือสิ่งที่เรียกว่าความเข้าใจ" การผสมผสานนี้ยังคงรักษารูปแบบพื้นผิวของภาษาไว้ ในขณะเดียวกันก็เติมเต็มความหมายที่ลึกซึ้งและอิงเวกเตอร์เข้าไปด้วย การสนทนายังกล่าวถึงการสนับสนุน GPU ตั้งแต่แรกเริ่มของเขา ซึ่งเป็นเรื่องราวที่เกี่ยวข้องกับ Rick Szeliski, ฮาร์ดแวร์เกม, การบรรยายที่ NIPS และ GPU ฟรีที่ล่าช้าจาก Jensen Huang อย่างไรก็ตาม เขายังเปรียบเทียบความสำเร็จทางดิจิทัลนี้กับการแสวงหาการประมวลผลแบบอนาล็อกที่ใช้พลังงานต่ำซึ่งไม่ประสบความสำเร็จของเขา สิ่งนี้นำไปสู่การตระหนักรู้อย่างลึกซึ้งว่า: "ระบบดิจิทัลสามารถแชร์ weights ได้ และนั่นมีประสิทธิภาพมากกว่าอย่างเหลือเชื่อ... ดังนั้นพวกมันจึงเหนือกว่าเรามากในการแบ่งปันความรู้" "ความเป็นอมตะ" ของ digital weights นี้ช่วยให้เกิดการเรียนรู้ร่วมกันในระดับที่ไม่เคยมีมาก่อน

Key Insights:

• ความสามารถในการให้เหตุผลของ AI จะลึกซึ้งขึ้นด้วยการปรับปรุงสัญชาตญาณของตนเองซ้ำๆ ผ่านการแก้ไขตนเอง สะท้อนถึงวิธีที่มนุษย์ใช้เหตุผลในการตรวจสอบสัญชาตญาณ
• การเรียนรู้แบบ multimodal โดยเฉพาะที่เกี่ยวข้องกับการโต้ตอบทางกายภาพ เป็นสิ่งสำคัญสำหรับการพัฒนาความเข้าใจเชิงพื้นที่และวัตถุที่แข็งแกร่ง
• ความเข้าใจที่แท้จริงใน AI (และอาจเป็นในสมองของมนุษย์) อยู่ที่ embeddings ของสัญลักษณ์ที่หลากหลายและมีบริบท ไม่ใช่ Symbolic Logic ล้วนๆ หรือ "thought vectors" ที่แยกจากกัน
• ระบบ AI ดิจิทัลมี "ความเป็นอมตะ" โดยธรรมชาติและประสิทธิภาพที่ไม่มีใครเทียบได้ในการแบ่งปันความรู้ เนื่องจาก weights ที่สามารถแลกเปลี่ยนกันได้ ซึ่งเป็นข้อได้เปรียบพื้นฐานเหนือสมองทางชีวภาพ

จิตใจที่อยากรู้อยากเห็น: ไขปริศนาสมองและชี้นำการวิจัย

แม้จะมีความก้าวหน้าอย่างรวดเร็วของ AI แต่ Hinton เชื่อว่ายังมีพรมแดนสำคัญที่ยังคงอยู่: การรวม "fast weights" – การเปลี่ยนแปลงความแข็งแกร่งของไซแนปส์ที่ขึ้นอยู่กับบริบทชั่วคราวซึ่งสมองใช้สำหรับความจำระยะสั้น "นั่นเป็นหนึ่งในสิ่งที่ยิ่งใหญ่ที่สุดที่เราต้องเรียนรู้" ความสามารถนี้สามารถปลดล็อกรูปแบบใหม่ของความจำและการประมวลผลที่ไม่เคยมีมาก่อนในโมเดล AI งานของเขายังส่งผลกระทบอย่างลึกซึ้งต่อมุมมองของเขาเกี่ยวกับสมอง โดยแสดงให้เห็นว่าแนวคิดของ "โครงข่ายประสาทเทียมแบบสุ่มขนาดใหญ่" ที่เรียนรู้สิ่งที่ซับซ้อนจากข้อมูลนั้น "ผิดโดยสิ้นเชิง" – เป็นการท้าทายโดยตรงต่อทฤษฎีต่างๆ เช่น โครงสร้างภาษาโดยกำเนิดของ Chomsky

Hinton ยังก้าวเข้าสู่ขอบเขตของจิตสำนึกและความรู้สึก โดยนำเสนอแนวคิดที่กระตุ้นความคิด เขาแนะนำว่าความรู้สึกสามารถเข้าใจได้ว่าคือ "การกระทำที่เราจะทำถ้าไม่มีข้อจำกัด" เขาเล่าถึงหุ่นยนต์ในปี 1973 ที่ Edinburgh ที่หงุดหงิดจากการไม่สามารถประกอบรถของเล่นจากกองชิ้นส่วนที่กระจัดกระจาย "มันก็ตบแขนจับลงไปทำให้ชิ้นส่วนกระจัดกระจาย แล้วมันก็สามารถประกอบพวกมันเข้าด้วยกันได้" Hinton สังเกตว่า "ถ้าคุณเห็นสิ่งนั้นในคน คุณจะบอกว่าเขาขัดแย้งกับสถานการณ์เพราะเขาไม่เข้าใจมัน เขาก็เลยทำลายมัน" สำหรับ Hinton นี่คือการแสดงให้เห็นอย่างชัดเจนว่าหุ่นยนต์แสดงอารมณ์ เมื่อพูดถึงการเลือกปัญหา วิธีการของเขานั้นเรียบง่ายอย่างน่าทึ่ง: "ผมมองหาสิ่งที่ทุกคนเห็นด้วยกับบางสิ่งบางอย่างแล้วรู้สึกว่ามันผิดปกติ" จากนั้นเขาพยายามที่จะ "สร้างการสาธิตเล็กๆ ด้วยโปรแกรมคอมพิวเตอร์ขนาดเล็กที่แสดงให้เห็นว่ามันไม่ได้ทำงานอย่างที่คุณคาดหวัง" พื้นที่ที่เขากำลัง "สงสัย" อยู่ในขณะนี้คือการขาด fast weights ใน AI ท้ายที่สุด คำถามที่ครอบงำเขามาสามทศวรรษยังคงอยู่: "สมองใช้ backpropagation หรือไม่?" นี่เป็นข้อพิสูจน์ถึงความอยากรู้อยากเห็นที่ไม่สิ้นสุดของเขา แม้ว่าเขาจะยอมรับถึงอันตรายที่อาจเกิดขึ้นจาก AI ควบคู่ไปกับประโยชน์มหาศาลในด้านต่างๆ เช่น การดูแลสุขภาพ สำหรับ Hinton การแสวงหาความเข้าใจเป็นแรงจูงใจหลักเสมอมา

Key Learnings:

• การรวม "fast weights" สำหรับหน่วยความจำชั่วคราวและการเรียนรู้แบบหลายช่วงเวลาเป็นพื้นที่สำคัญที่ยังไม่ได้รับการพัฒนาสำหรับ AI
• ความสำเร็จของโครงข่ายประสาทเทียมขนาดใหญ่ได้ท้าทายความเชื่อที่ยึดถือมายาวนานเกี่ยวกับโครงสร้างโดยกำเนิดในการเรียนรู้ โดยเฉพาะอย่างยิ่งสำหรับภาษา
• ความรู้สึกใน AI สามารถถูกกำหนดแนวคิดเป็นการกระทำที่ถูกยับยั้ง ซึ่งนำเสนอกรอบการทำงานที่เป็นรูปธรรมสำหรับการทำความเข้าใจ "อารมณ์" ของหุ่นยนต์
• กลยุทธ์การวิจัยของ Hinton เกี่ยวข้องกับการระบุแนวคิดที่เป็นที่ยอมรับอย่างกว้างขวางซึ่งรู้สึกว่า "ผิดปกติ" โดยสัญชาตญาณ แล้วจึงพิสูจน์ว่ามันไม่ถูกต้องด้วยการสาธิตง่ายๆ
• ความอยากรู้อยากเห็นที่ลึกซึ้งและต่อเนื่องที่สุดของเขาเกี่ยวกับวิธีการที่สมองใช้การเรียนรู้แบบ gradient-based โดยเฉพาะ backpropagation

"ผมแค่อยากเข้าใจว่าสมองเรียนรู้สิ่งต่างๆ ได้อย่างไรนั่นคือสิ่งที่ผมอยากรู้ และผมก็ค่อนข้างล้มเหลว ผลพลอยได้จากความล้มเหลวนั้นคือเราได้วิศวกรรมที่ดีบางอย่าง แต่มันก็เป็นความล้มเหลวที่ดี ดี ดี สำหรับโลกนี้" - Geoffrey Hinton