के साथ साक्षात्कार Geoffrey Hinton

Godfather of AI

द्वारा Sana2024-05-20

Geoffrey Hinton

Geoffrey Hinton, जिन्हें अक्सर "AI के पितामह" कहा जाता है, हाल ही में एक स्पष्ट बातचीत के लिए बैठे, जिसने उनके असाधारण सफर, उनके द्वारा खोजी गई आश्चर्यजनक सच्चाइयों और उन गहरे सवालों की परतों को खोला जो उन्हें लगातार प्रेरित करते हैं। अपनी शुरुआती अकादमिक यात्रा की शांत निराशाओं से लेकर कार्नेगी मेलॉन की हलचल भरी, भविष्य-केंद्रित प्रयोगशालाओं तक, Hinton कृत्रिम बुद्धिमत्ता के विकास पर एक व्यक्तिगत और बौद्धिक रूप से उत्तेजक दृष्टिकोण प्रस्तुत करते हैं, जो उनकी खासियत विनम्रता, गहरी अंतर्दृष्टि और स्थापित मान्यताओं के प्रति स्वस्थ संदेह के मिश्रण से सुसज्जित है।

AI का आकस्मिक मार्ग: संदेह, निराशाएं और गहरी अंतर्ज्ञान

Hinton का एक अग्रणी AI शोधकर्ता बनने का मार्ग सीधा नहीं था। बुद्धिमत्ता को समझने की उनकी शुरुआती खोज कैम्ब्रिज में शरीर विज्ञान (physiology) का अध्ययन करते हुए शुरू हुई। लेकिन, उन्हें जल्दी ही यह "बहुत निराशाजनक" लगा जब उन्होंने केवल यही सीखा कि "न्यूरॉन्स क्रिया क्षमता (action potentials) कैसे संचालित करते हैं, जो बहुत दिलचस्प है लेकिन यह नहीं बताता कि मस्तिष्क कैसे काम करता है।" मन को समझने के लिए दर्शनशास्त्र (philosophy) की ओर मुड़ना भी उतना ही निराशाजनक साबित हुआ। जब तक वह एडिनबर्ग में AI में गहराई से नहीं उतरे, तब तक उन्हें कोई सच्ची चिंगारी महसूस नहीं हुई थी: "कम से कम आप चीजों का अनुकरण (simulate) कर सकते थे ताकि आप सिद्धांतों का परीक्षण कर सकें।"

इस शुरुआती निराशा ने एक मुख्य अंतर्ज्ञान को जन्म दिया। उन्होंने डोनाल्ड हेब की न्यूरल नेटवर्क कनेक्शन की ताकत (strengths) पर और जॉन वॉन न्यूमैन की इस बात पर कि मस्तिष्क पारंपरिक कंप्यूटरों से अलग तरीके से कैसे गणना करता है, पढ़ा। Hinton ने सहज रूप से बुद्धिमत्ता के प्रचलित प्रतीकात्मक तर्क (symbolic logic) दृष्टिकोण से दूरी बना ली। "मुझे लगा कि मस्तिष्क के सीखने का कोई तरीका होना चाहिए और यह स्पष्ट रूप से ऐसा नहीं है कि उसमें सभी प्रकार की चीजें प्रोग्राम की जाएं और फिर अनुमान के तार्किक नियमों का उपयोग किया जाए, जो मुझे शुरू से ही पागलपन लगा।" इसके बजाय, उनका ध्यान इस मूलभूत प्रश्न पर केंद्रित हो गया कि मस्तिष्क जटिल कार्यों को करने के लिए न्यूरल नेट के भीतर कनेक्शन को कैसे संशोधित करना सीखते हैं - एक सुंदर सरलता जिसने उनके बाद के अधिकांश काम को आधार प्रदान किया।

मुख्य सीख:

  • शुरुआती अकादमिक निराशाओं ने AI में सिमुलेशन और अनुभवजन्य परीक्षण (empirical testing) की ओर बदलाव को उत्प्रेरित किया।
  • Hinton ने मस्तिष्क के कार्य के प्राथमिक मॉडल के रूप में प्रतीकात्मक तर्क (symbolic logic) के खिलाफ एक शुरुआती, मजबूत अंतर्ज्ञान विकसित किया।
  • उनकी मूलभूत रुचि यह समझने में थी कि कैसे सरल न्यूरल संचालन जटिल सीखने को जन्म दे सकते हैं।

संबंध स्थापित करना: बोल्ट्ज़मैन मशीन्स से "हिडन लेयर्स" तक

1970 के दशक के अंत में कार्नेगी मेलॉन का माहौल बिजली जैसा था, जो इंग्लैंड में उनके शुरुआती अनुभवों के बिल्कुल विपरीत था। Hinton को याद है कि एक शनिवार रात 9 बजे लैब में जाने पर उन्होंने देखा कि वह "छात्रों से गुलजार थी... सभी छात्र वहाँ थे और वे सब इसलिए वहाँ थे क्योंकि वे भविष्य पर काम कर रहे थे।" इस उर्वर भूमि ने महत्वपूर्ण सहयोग को बढ़ावा दिया, विशेष रूप से टेरी सेजनोव्स्की के साथ बोल्ट्ज़मैन मशीन्स (Boltzmann Machines) पर – एक ऐसा दौर जिसे Hinton "मैंने अब तक का सबसे रोमांचक शोध" बताते हैं। हालांकि अब उनका मानना है कि बोल्ट्ज़मैन मशीन्स "मस्तिष्क के काम करने का तरीका नहीं हैं", सीखने के एल्गोरिथम की सैद्धांतिक सुंदरता उनके लिए गहरे गर्व का विषय बनी हुई है।

एक और महत्वपूर्ण बातचीत पीटर ब्राउन के साथ हुई, जो भाषण पहचान (speech recognition) पर काम करने वाले एक सांख्यिकीविद् (statistician) थे। ब्राउन ने Hinton को हिडन मार्कोव मॉडल्स (HMMs) से परिचित कराया, एक ऐसी अवधारणा जिसने उन्हें भाषाई प्रेरणा प्रदान की। Hinton पहले से ही बहु-परत नेटवर्क का उपयोग कर रहे थे जिनके लिए उनके पास कोई नाम नहीं था, और उन्होंने तय किया कि HMMs में "हिडन" उन "चरों (variables) के लिए एक बढ़िया नाम है जिनके बारे में आप नहीं जानते कि वे क्या कर रहे हैं।" इस प्रकार, न्यूरल नेटवर्क में सर्वव्यापी "हिडन लेयर्स" का जन्म हुआ। Hinton विनम्रता से अपने छात्रों को इसका श्रेय देते हैं, यह दर्शाते हुए, "मुझे लगता है कि मैंने उनसे ज्यादा सीखा जितना उन्होंने मुझसे सीखा।" जिन छात्रों को उन्होंने सलाह दी, उनसे सीखने की यह इच्छा एक निश्चित छात्र, इल्या (Ilya) के साथ सबसे स्पष्ट रूप से प्रदर्शित हुई। इल्या सुतस्केवर एक रविवार को "जरूरी दस्तक" के साथ Hinton के दफ्तर में घुस आए, यह घोषणा करते हुए कि वह "गर्मी भर फ्राइज़ बनाने" के बजाय लैब में रहना चाहेंगे। बैकप्रॉपगेशन (backpropagation) पर एक पेपर दिए जाने के बाद, इल्या की तत्काल, गहरी प्रतिक्रिया यह नहीं थी कि उन्हें चेन रूल (chain rule) समझ नहीं आया, बल्कि यह थी: "मुझे बस यह समझ नहीं आता कि आप एक समझदार फ़ंक्शन ऑप्टिमाइज़र (function optimizer) को ग्रेडिएंट (gradient) क्यों नहीं देते।" एक गहरी, अधिक मूलभूत समस्या पर यह तत्काल छलांग सुतस्केवर के असाधारण "चीजों के बारे में कच्चे अंतर्ज्ञान [जो] हमेशा बहुत अच्छे थे" की पूर्वसूचना देती थी।

मुख्य अभ्यास:

  • सहयोगी शोध को अपनाना, भले ही महत्वपूर्ण दूरियों पर हो, वैज्ञानिक सफलताओं के लिए महत्वपूर्ण था।
  • छात्रों से सीखना और उनकी अनूठी अंतर्दृष्टि और योगदान के लिए उन्हें श्रेय देना अमूल्य साबित हुआ।
  • बुनियादी AI अवधारणाओं का नामकरण अक्सर व्यावहारिक आवश्यकताओं और अंतःविषय प्रेरणा से उत्पन्न हुआ।
  • छात्र के सहज, कच्चे अंतर्ज्ञान को महत्व देना, भले ही वह स्थापित विचारों को चुनौती देता हो, प्रगति के लिए आवश्यक है।

माप (Scale) की अप्रत्याशित शक्ति: अगले शब्द की भविष्यवाणी से परे

Hinton के बाद के करियर में एक आवर्ती विषय माप (scale) का गहरा प्रभाव था। हालांकि Hinton ने शुरू में सोचा था कि इल्या सुतस्केवर का मंत्र – "आप बस इसे बड़ा बनाओ और यह बेहतर काम करेगा" – "थोड़ा बहाना" था और "नए विचार मदद करते हैं," उन्होंने अंततः गणना (computation) और डेटा की विशाल शक्ति को स्वीकार किया। "यह पता चला कि मैं मूल रूप से सही था, नए विचारों ने मदद की, जैसे ट्रांसफॉर्मर्स (Transformers) ने बहुत मदद की, लेकिन यह वास्तव में डेटा का पैमाना और गणना का पैमाना था।" वह इल्या और जेम्स मार्टिन्स के 2011 के एक पेपर का वर्णन करते हैं, जिसमें विकिपीडिया पर कैरेक्टर-लेवल प्रेडिक्शन (character-level prediction) का उपयोग किया गया था: "हम कभी विश्वास नहीं कर पाए कि यह कुछ भी समझता है लेकिन ऐसा लगा जैसे यह समझता है।"

Hinton इस धारणा का दृढ़ता से खंडन करते हैं कि अगले शब्द की भविष्यवाणी करना एक सतही कार्य है। उनका तर्क है कि ठीक इसी वजह से ये मॉडल एक जटिल संदर्भ में अगले प्रतीक (symbol) की भविष्यवाणी करने के लिए मजबूर होते हैं कि वे गहरी समझ विकसित करते हैं। "अगले प्रतीक की भविष्यवाणी करने के लिए आपको यह समझना होगा कि क्या कहा गया है। इसलिए मुझे लगता है कि आप इसे अगले प्रतीक की भविष्यवाणी करवाकर समझने के लिए मजबूर कर रहे हैं और मुझे लगता है कि यह उसी तरह समझ रहा है जिस तरह हम समझते हैं।" वह इसे एक आकर्षक समानता के साथ समझाते हैं: GPT-4 से पूछना कि एक खाद का ढेर परमाणु बम जैसा क्यों है। जहां अधिकांश मनुष्य संघर्ष करते हैं, GPT-4 "श्रृंखला प्रतिक्रिया" की सामान्य संरचना को पहचानता है। Hinton का मानना है कि "जहाँ से रचनात्मकता आती है" वह है看似 भिन्न अवधारणाओं के बीच समानताएं देखने की यह क्षमता। इसके अलावा, वह इस बात पर भी प्रकाश डालते हैं कि ये मॉडल अपने प्रशिक्षण डेटा से भी आगे निकल सकते हैं, ठीक वैसे ही जैसे एक बुद्धिमान छात्र एक दोषपूर्ण सलाहकार से सच्चाई को पहचानता है। वह एक प्रयोग की ओर इशारा करते हैं जहाँ 50% गलत डेटा पर प्रशिक्षित एक न्यूरल नेट ने फिर भी केवल 5% त्रुटि हासिल की। "वे अपने प्रशिक्षण डेटा से कहीं बेहतर प्रदर्शन कर सकते हैं और अधिकांश लोग इसे नहीं समझते हैं।"

मुख्य बदलाव:

  • डेटा और कम्प्यूटेशनल स्केल की विशाल शक्ति के संबंध में परिप्रेक्ष्य में एक गहरा बदलाव, यहां तक कि केवल नए एल्गोरिदम पर भी।
  • "अगले प्रतीक की भविष्यवाणी" को एक सतही कार्य से एक ऐसे तंत्र में पुनः मूल्यांकित करना जो गहरी समझ को मजबूर करता है
  • बड़े मॉडलों की उभरती रचनात्मकता को उनकी गैर-स्पष्ट समानताओं को पहचानने की क्षमता के माध्यम से पहचानना।
  • यह समझना कि AI अपने प्रशिक्षण डेटा में त्रुटियों को सामान्यीकृत (generalize) और ठीक कर सकता है, मानव-प्रदत्त उदाहरणों से आगे निकल सकता है।

अमरता का इंजीनियरिंग: तर्क, मल्टीमोडालिटी और कंप्यूट का भविष्य

भविष्य की ओर देखते हुए, Hinton AI तर्क को मानव सीखने जैसी प्रक्रिया के माध्यम से आगे बढ़ते हुए देखते हैं: प्रारंभिक अंतर्ज्ञान को ठीक करने के लिए तर्क का उपयोग करना, ठीक वैसे ही जैसे अल्फागो (AlphaGo) मोंटे कार्लो रोलआउट्स (Monte Carlo rollouts) के माध्यम से अपने मूल्यांकन फ़ंक्शन को परिष्कृत करता है। वह कहते हैं, "मुझे लगता है कि इन बड़े भाषा मॉडलों को ऐसा करना शुरू करना होगा... केवल लोगों ने क्या किया उसकी नकल करने के बजाय अधिक प्रशिक्षण डेटा प्राप्त करना होगा।" मल्टीमॉडल डेटा – चित्र, वीडियो, ध्वनि – का एकीकरण इसे नाटकीय रूप से बढ़ाएगा, खासकर स्थानिक तर्क (spatial reasoning) के लिए। "यदि यह दृष्टि और चीजों को पकड़ने दोनों काम करता है, तो यह वस्तुओं को बहुत बेहतर समझेगा।"

भाषा के बारे में Hinton की विकसित होती समझ भी आकर्षक है। वह पुराने प्रतीकात्मक दृष्टिकोण और विशुद्ध रूप से वेक्टर-आधारित "थॉट वेक्टर" दृष्टिकोण को खारिज करते हैं। उनकी वर्तमान मान्यता यह है कि "आप इन प्रतीकों को लेते हैं और आप प्रतीकों को एम्बेडिंग (embeddings) में परिवर्तित करते हैं... ये बहुत समृद्ध एम्बेडिंग लेकिन एम्बेडिंग अभी भी प्रतीकों से संबंधित हैं... यही समझ है।" यह मिश्रण भाषा की सतह संरचना को बनाए रखता है जबकि इसे गहरे, वेक्टर-आधारित अर्थ से भर देता है। बातचीत में GPUs के लिए उनकी शुरुआती वकालत पर भी बात हुई, एक कहानी जिसमें रिक सेलिस्की (Rick Szeliski), गेमिंग हार्डवेयर, एक NIPS वार्ता, और जेन्सेन हुआंग (Jensen Huang) से एक देरी से मिला मुफ्त GPU शामिल है। हालांकि, वह इस डिजिटल सफलता की तुलना कम-शक्ति वाले एनालॉग गणना (analog computation) की अपनी असफल खोज से करते हैं। इससे एक गहरी अनुभूति हुई: "डिजिटल सिस्टम वज़न (weights) साझा कर सकते हैं और यह अविश्वसनीय रूप से अधिक कुशल है... इसलिए ज्ञान साझा करने में वे हमसे कहीं बेहतर हैं।" डिजिटल वज़न की यह "अमरता" अभूतपूर्व सामूहिक सीखने की अनुमति देती है।

मुख्य अंतर्दृष्टि:

  • AI की तर्क क्षमताएं आत्म-सुधार के माध्यम से अपने अंतर्ज्ञान को दोहराते हुए परिष्कृत करके गहरी होंगी, जो दर्शाती है कि मनुष्य अंतर्ज्ञान की जांच के लिए तर्क का उपयोग कैसे करते हैं।
  • मल्टीमॉडल लर्निंग, विशेष रूप से शारीरिक संपर्क शामिल करना, मजबूत स्थानिक और वस्तु समझ विकसित करने के लिए महत्वपूर्ण है।
  • AI (और संभवतः मानव मस्तिष्क) में सच्ची समझ प्रतीकों के समृद्ध, प्रासंगिक एम्बेडिंग में निहित है, न कि शुद्ध प्रतीकात्मक तर्क या अलग-थलग "थॉट वेक्टर्स" में।
  • डिजिटल AI प्रणालियों में बदली जा सकने वाली वज़न (weights) के कारण एक अंतर्निहित "अमरता" और ज्ञान साझा करने में अद्वितीय दक्षता होती है, जो जैविक मस्तिष्क पर एक मौलिक लाभ है।

जिज्ञासु मन: मस्तिष्क के रहस्यों को सुलझाना और शोध का मार्गदर्शन करना

AI की तीव्र प्रगति के बावजूद, Hinton का मानना है कि एक प्रमुख सीमा अभी भी बनी हुई है: "तेज वज़न (fast weights)" को शामिल करना – सिनेप्टिक ताकत (synaptic strengths) में अस्थायी, संदर्भ-निर्भर परिवर्तन जिनका उपयोग मस्तिष्क अल्पकालिक स्मृति (short-term memory) के लिए करता है। "यह उन सबसे बड़ी चीजों में से एक है जो हमें सीखनी है।" यह क्षमता AI मॉडलों में अब तक न देखी गई स्मृति और प्रसंस्करण के पूरी तरह से नए रूपों को खोल सकती है। उनके काम ने मस्तिष्क के बारे में उनके दृष्टिकोण को भी गहराई से प्रभावित किया है, यह प्रदर्शित करते हुए कि डेटा से जटिल चीजें सीखने वाले एक "बड़े रैंडम न्यूरल नेट" का विचार "पूरी तरह से गलत" है – चॉम्स्की (Chomsky) की जन्मजात भाषा संरचना जैसे सिद्धांतों के लिए एक सीधी चुनौती।

Hinton चेतना और भावनाओं के क्षेत्र में भी कदम रखते हैं, एक उत्तेजक दृष्टिकोण प्रस्तुत करते हैं। वह सुझाव देते हैं कि भावनाओं को "वे क्रियाएं जिन्हें हम बाधाओं के अभाव में करते" के रूप में समझा जा सकता है। वह एडिनबर्ग में 1973 के एक रोबोट की कहानी बताते हैं, जो बिखरे हुए ढेर से एक खिलौना कार को इकट्ठा करने में अपनी अक्षमता से निराश होकर, "अपने ग्रिपर को मारा और उसने उन्हें इतना बिखेर दिया कि फिर उन्हें एक साथ रख सका।" Hinton ने टिप्पणी की, "अगर आप किसी व्यक्ति में ऐसा देखते हैं तो आप कहते हैं कि वह स्थिति से चिढ़ गया था क्योंकि उसे समझ नहीं आया इसलिए उसने उसे नष्ट कर दिया।" Hinton के लिए, यह एक रोबोट द्वारा भावना प्रदर्शित करने का एक स्पष्ट प्रदर्शन था। समस्याओं का चयन करने की बात आती है, तो उनकी विधि ताज़गी भरी और सरल है: "मैं कुछ ऐसा ढूंढता हूँ जहाँ सभी किसी बात पर सहमत हों और वह मुझे गलत लगे।" फिर वह "एक छोटे कंप्यूटर प्रोग्राम के साथ एक छोटा डेमो बनाने की कोशिश करते हैं जो दिखाता है कि यह उस तरह से काम नहीं करता जैसा आप उम्मीद कर सकते हैं।" उनका वर्तमान "संदिग्ध" क्षेत्र AI में तेज वज़न (fast weights) की कमी है। अंततः, वह प्रश्न जो उन्हें तीन दशकों से घेरे हुए है, बना हुआ है: "क्या मस्तिष्क बैकप्रॉपगेशन (backpropagation) करता है?" यह उनकी स्थायी जिज्ञासा का प्रमाण है, भले ही वह स्वास्थ्य सेवा जैसे क्षेत्रों में AI के अपार लाभों के साथ-साथ इसके संभावित नुकसानों को भी स्वीकार करते हैं। Hinton के लिए, समझ की खोज हमेशा से प्राथमिक प्रेरक रही है।

मुख्य सीख:

  • अस्थायी स्मृति और बहु-समय-पैमाने सीखने के लिए "तेज वज़न (fast weights)" को एकीकृत करना AI के लिए एक महत्वपूर्ण, अविकसित क्षेत्र है।
  • बड़े न्यूरल नेटवर्क की सफलता ने सीखने में जन्मजात संरचनाओं, विशेष रूप से भाषा के लिए, के बारे में लंबे समय से चली आ रही मान्यताओं को मौलिक रूप से चुनौती दी है।
  • AI में भावनाओं को बाधित क्रियाओं के रूप में अवधारणाबद्ध किया जा सकता है, जो रोबोट "भावनाओं" को समझने के लिए एक ठोस ढाँचा प्रदान करता है।
  • Hinton की शोध रणनीति में व्यापक रूप से स्वीकृत विचारों की पहचान करना शामिल है जो सहज रूप से "गलत" लगते हैं और फिर उन्हें सरल प्रदर्शनों से गलत साबित करना।
  • उनकी सबसे गहरी, चल रही जिज्ञासा इस बात के इर्द-गिर्द घूमती है कि मस्तिष्क ग्रेडिएंट-आधारित सीखने, विशेष रूप से बैकप्रॉपगेशन, को कैसे लागू करता है।

"मैं बस यह समझना चाहता था कि आखिर मस्तिष्क चीजें करना कैसे सीख सकता है, मैं यही जानना चाहता था और मैं एक तरह से असफल रहा। उस असफलता के एक दुष्प्रभाव के रूप में हमें कुछ अच्छी इंजीनियरिंग मिली, लेकिन हाँ, यह दुनिया के लिए एक अच्छी, अच्छी, अच्छी असफलता थी" - Geoffrey Hinton