Интервью с Geoffrey Hinton

Джеффри Хинтон, которого часто называют «крестным отцом ИИ», недавно дал откровенное интервью, в котором рассказал о своем необыкновенном пути, удивительных открытиях и глубоких вопросах, которые продолжают им двигать. От тихих разочарований своих ранних академических изысканий до кипящих, одержимых будущим лабораторий Carnegie Mellon, Хинтон предлагает глубоко личный и интеллектуально стимулирующий взгляд на эволюцию искусственного интеллекта, приправленный его фирменным сочетанием скромности, острой проницательности и здоровой доли скептицизма по отношению к общепринятым истинам.

Случайный путь к ИИ: сомнения, разочарования и глубокие интуиции

Путь Хинтона к тому, чтобы стать пионером-исследователем ИИ, был далек от линейного. Его первоначальный поиск понимания интеллекта начался в Кембридже, где он изучал физиологию. Однако он быстро обнаружил, что это «очень разочаровывает», когда все, что он узнал, было «как нейроны проводят потенциалы действия, что очень интересно, но не объясняет, как работает мозг». Переход к философии с целью понять разум оказался столь же обескураживающим. Только когда он оказался в Эдинбурге, углубляясь в ИИ, он почувствовал настоящую искру: «по крайней мере, можно было симулировать вещи, чтобы проверять теории».

Это раннее разочарование сформировало ключевую интуицию. Он читал Дональда Хебба о силе связей нейронных сетей и Джона фон Неймана о том, как мозг вычисляет иначе, чем традиционные компьютеры. Хинтон инстинктивно отпрянул от преобладающего подхода к интеллекту, основанного на символической логике. «Мне казалось, что должен быть способ, которым мозг учится, и это явно не через программирование в него всевозможных вещей, а затем использование логических правил вывода, что с самого начала казалось мне безумием». Его внимание вместо этого сузилось до фундаментального вопроса о том, как мозг учится модифицировать связи внутри нейронной сети для выполнения сложных задач — элегантной простоты, которая ляжет в основу большей части его дальнейшей работы.

Основные выводы:

• Ранние академические разочарования катализировали переход к симуляции и эмпирическому тестированию в ИИ.
• Хинтон с ранних лет развил сильную интуицию против символической логики как основной модели работы мозга.
• Его основной интерес заключался в понимании того, как простые нейронные операции могут приводить к сложному обучению.

Установление связей: от машин Больцмана к «скрытым слоям»

Атмосфера в Carnegie Mellon в конце 1970-х годов была наэлектризованной, что резко контрастировало с его предыдущим опытом в Англии. Хинтон вспоминает, как заходил в лабораторию в субботу вечером в 9 вечера и обнаруживал, что она «кишит... все студенты были там, и все они были там, потому что работали над будущим». Эта плодотворная почва способствовала критически важным коллаборациям, в частности, с Терри Сейновски над машинами Больцмана — период, который Хинтон описывает как «самое захватывающее исследование, которое я когда-либо проводил». Хотя теперь он считает, что машины Больцмана «не так работает мозг», теоретическая элегантность алгоритма обучения остается предметом глубокой гордости.

Еще одно ключевое взаимодействие произошло с Питером Брауном, статистиком, работавшим над распознаванием речи. Браун познакомил Хинтона со скрытыми марковскими моделями (HMM), концепция которых стала идеальным лингвистическим вдохновением. Хинтон уже использовал многослойные сети, для которых у него еще не было названия, и он решил, что «скрытое» в HMM — это «отличное название для переменных, о которых вы не знаете, что они делают». Так появились повсеместные «скрытые слои» в нейронных сетях. Хинтон скромно отдает должное своим ученикам, размышляя: «Думаю, я узнал от него больше, чем он от меня». Эта готовность учиться у тех, кого он наставлял, наиболее ярко проявилась в случае с одним студентом по имени Илья. Илья Суцкевер ворвался в кабинет Хинтона с «срочным стуком» в одно воскресенье, заявив, что он предпочел бы быть в лаборатории, чем «жарить картошку фри летом». Получив статью о обратном распространении ошибки, Илья дал немедленную и глубокую обратную связь: он не сказал, что не понимает правила цепи, а скорее: «Я просто не понимаю, почему вы не передаете градиент разумному оптимизатору функций». Этот немедленный переход к более глубокой, более фундаментальной проблеме предвосхитил необыкновенные «сырые интуиции Суцкевера относительно вещей, которые всегда были очень хороши».

Ключевые практики:

• Принятие совместных исследований, даже на значительных расстояниях, было решающим для научных прорывов.
• Учиться у студентов и отмечать их уникальные идеи и вклад оказалось бесценным.
• Название фундаментальных концепций ИИ часто возникало из практических потребностей и междисциплинарного вдохновения.
• Ценить врожденную, «сырую» интуицию студента, даже если она бросает вызов устоявшимся идеям, крайне важно для прогресса.

Непредвиденная мощь масштаба: за пределами предсказания следующего слова

Повторяющейся темой в поздней карьере Хинтона стало глубокое влияние масштаба. Хотя Хинтон изначально считал мантру Ильи Суцкевера — «просто сделай это больше, и оно будет работать лучше» — «немного отговоркой» и что «новые идеи помогают», в конечном итоге он признал колоссальную мощь вычислений и данных. «Оказалось, что я был в основном прав, новые идеи помогают, такие как Трансформеры, очень помогли, но это был действительно масштаб данных и масштаб вычислений». Он вспоминает статью Ильи и Джеймса Мартинса 2011 года, которая использовала предсказание на уровне символов в Википедии: «мы никогда не могли до конца поверить, что оно что-то понимает, но выглядело так, будто понимает».

Хинтон решительно опровергает представление о том, что предсказание следующего слова — поверхностная задача. Он утверждает, что именно потому, что эти модели вынуждены предсказывать следующий символ в сложном контексте, они развивают глубокое понимание. «Чтобы предсказать следующий символ, вы должны понять, что было сказано. Так что, я думаю, вы заставляете его понимать, заставляя его предсказывать следующий символ, и я думаю, что оно понимает примерно так же, как и мы». Он иллюстрирует это убедительной аналогией: спросите GPT-4, почему компостная куча похожа на атомную бомбу. В то время как большинство людей испытывают затруднения, GPT-4 определяет общую структуру «цепной реакции». Эта способность видеть аналогии между, казалось бы, разрозненными понятиями, по мнению Хинтона, «откуда берется творчество». Более того, он подчеркивает, что эти модели могут даже превосходить свои тренировочные данные, подобно тому, как умный студент отличает истину от ошибочного совета. Он указывает на эксперимент, в котором нейронная сеть, обученная на 50% ошибочных данных, все же достигла лишь 5% ошибки. «Они могут работать намного лучше, чем их тренировочные данные, и большинство людей этого не осознают».

Ключевые изменения:

• Глубокий сдвиг в восприятии монументальной мощи данных и вычислительного масштаба, превосходящей даже новые алгоритмы.
• Переоценка «предсказания следующего символа» от поверхностной задачи к механизму, который принуждает к глубокому пониманию.
• Признание возникающей креативности больших моделей через их способность выявлять неочевидные аналогии.
• Понимание того, что ИИ может обобщать и корректировать ошибки в своих обучающих данных, превосходя примеры, предоставленные человеком.

Инженерное бессмертие: будущее рассуждений, мультимодальности и вычислений

Заглядывая в будущее, Хинтон видит, как рассуждения ИИ развиваются благодаря процессу, сродни человеческому обучению: использование рассуждений для коррекции первоначальных интуиций, подобно тому, как AlphaGo уточняет свою функцию оценки через прогоны Монте-Карло. Он заявляет: «Я думаю, что этим большим языковым моделям придется начать это делать... получать больше обучающих данных, чем просто имитировать то, что делали люди». Интеграция мультимодальных данных — изображений, видео, звука — значительно улучшит это, особенно для пространственного мышления. «Если оно будет и видеть, и тянуться и хватать вещи, оно будет понимать объекты гораздо лучше».

Развивающееся понимание Хинтоном самого языка также завораживает. Он отвергает старый символический взгляд и чисто векторный подход «вектора мысли». Его нынешнее убеждение состоит в том, что «вы берете эти символы и преобразуете их в эмбеддинги... эти очень богатые эмбеддинги, но эмбеддинги все еще относятся к символам... вот что такое понимание». Это сочетание сохраняет поверхностную структуру языка, наполняя его глубоким, векторным смыслом. Разговор также касается его ранней поддержки графических процессоров (GPU), истории, связанной с Риком Шелиски, игровым оборудованием, докладом на NIPS и задержанным бесплатным GPU от Дженсена Хуанга. Однако затем он противопоставляет этот цифровой успех своим безуспешным попыткам создать аналоговые вычисления с низким энергопотреблением. Это привело к глубокому осознанию: «цифровые системы могут обмениваться весами, и это невероятно эффективнее... так что они намного превосходят нас в способности делиться знаниями». Это «бессмертие» цифровых весов позволяет осуществлять беспрецедентное коллективное обучение.

Ключевые инсайты:

• Способности ИИ к рассуждению будут углубляться за счет итеративного уточнения его интуиций через самокоррекцию, что отражает то, как люди используют рассуждения для проверки интуиции.
• Мультимодальное обучение, особенно включающее физическое взаимодействие, имеет решающее значение для развития надежного пространственного и объектного понимания.
• Истинное понимание в ИИ (и, возможно, в человеческом мозге) заключается в богатых, контекстных эмбеддингах символов, а не в чистой символической логике или изолированных «векторах мысли».
• Цифровые системы ИИ обладают врожденным «бессмертием» и беспрецедентной эффективностью в обмене знаниями благодаря взаимозаменяемым весам, что является фундаментальным преимуществом перед биологическими мозгами.

Любознательный ум: разгадывая тайны мозга и направляя исследования

Даже при быстром развитии ИИ, Хинтон считает, что остается важная область: включение «быстрых весов» — временных, контекстно-зависимых изменений синаптических связей, которые мозг использует для кратковременной памяти. «Это одна из самых больших вещей, которым мы должны научиться». Эта способность могла бы открыть совершенно новые формы памяти и обработки информации, еще не реализованные в моделях ИИ. Его работа также глубоко повлияла на его взгляд на мозг, продемонстрировав, что идея «большой случайной нейронной сети», обучающейся сложным вещам на основе данных, «полностью неверна» — прямой вызов таким теориям, как врожденная языковая структура Хомского.

Хинтон даже заходит в область сознания и чувств, предлагая провокационную перспективу. Он предполагает, что чувства можно понимать как «действия, которые мы бы совершили, если бы не ограничения». Он вспоминает робота 1973 года в Эдинбурге, который, будучи расстроенным своей неспособностью собрать игрушечную машинку из разбросанных деталей, «ударил своим захватом, разбросал их, а затем смог собрать». Хинтон заметил: «Если бы вы увидели такое в человеке, вы бы сказали, что он был рассержен ситуацией, потому что он ее не понял, поэтому и уничтожил». Для Хинтона это было явной демонстрацией робота, проявляющего эмоцию. Когда дело доходит до выбора проблем, его метод на удивление прост: «Я ищу то, в чем все согласны, но что кажется неправильным». Затем он пытается «создать небольшую демонстрацию с помощью маленькой компьютерной программы, которая показывает, что это не работает так, как можно было бы ожидать». Его нынешняя «подозрительная» область — это отсутствие быстрых весов в ИИ. В конечном итоге, вопрос, который занимал его на протяжении трех десятилетий, остается: «использует ли мозг обратное распространение ошибки?» Это свидетельство его неугасаемого любопытства, даже когда он признает потенциальный вред ИИ наряду с его огромной пользой в таких областях, как здравоохранение. Для Хинтона стремление к пониманию всегда было основным мотиватором.

Основные выводы:

• Интеграция «быстрых весов» для временной памяти и многомасштабного обучения является важнейшей, неразработанной областью для ИИ.
• Успех больших нейронных сетей кардинально поставил под сомнение давние убеждения о врожденных структурах в обучении, особенно в отношении языка.
• Чувства в ИИ можно концептуализировать как подавленные действия, предлагая осязаемую основу для понимания «эмоций» роботов.
• Стратегия исследования Хинтона включает выявление широко принятых идей, которые инстинктивно кажутся «неправильными», а затем их опровержение с помощью простых демонстраций.
• Его глубочайшее, непрекращающееся любопытство вращается вокруг того, как мозг реализует градиентное обучение, в частности, обратное распространение ошибки.

«Я просто хотел понять, как, черт возьми, мозг может учиться делать что-либо – вот что я хочу знать. И я в некотором роде потерпел неудачу; в качестве побочного эффекта этой неудачи мы получили неплохие инженерные решения, но да, это была хорошая, хорошая, хорошая неудача для мира» – Джеффри Хинтон