과의 인터뷰 Geoffrey Hinton

Geoffrey Hinton은 종종 "AI의 대부"로 불리며, 최근 솔직한 대화의 자리에 앉아 그의 비범한 여정, 그가 발견한 놀라운 진실, 그리고 그를 계속 이끌어가는 심오한 질문들을 하나하나 풀어냈다. 초기 학문적 추구에서의 조용한 실망감부터 Carnegie Mellon의 분주하고 미래 지향적인 연구실에 이르기까지, Hinton은 인공지능의 진화에 대해 지극히 개인적이면서도 지적으로 자극적인 시각을 제공하며, 이는 그의 트레이드마크인 겸손함, 날카로운 통찰력, 그리고 통념에 대한 건강한 회의주의가 어우러져 더욱 돋보인다.

AI로 향한 우연한 길: 의심, 실망, 그리고 깊은 직관

Hinton이 선구적인 AI 연구자가 된 길은 결코 순탄하지 않았다. 지능을 이해하려는 그의 첫 시도는 Cambridge에서 생리학을 공부하며 시작되었다. 하지만 그는 곧 자신이 배운 것이 "뉴런이 활동 전위를 어떻게 전달하는지에 대한 것뿐이었고, 이는 매우 흥미롭지만 뇌가 어떻게 작동하는지는 알려주지 않는다"며 "매우 실망스럽다"고 느꼈다. 마음을 이해하기 위해 철학으로 전환한 것 또한 마찬가지로 좌절스러웠다. 그가 Edinburgh에서 AI를 깊이 파고들었을 때 비로소 진정한 불꽃을 느꼈다: "적어도 이론을 실험할 수 있도록 시뮬레이션할 수 있었다."

이러한 초기 실망은 핵심적인 직관을 형성했다. 그는 신경망 연결 강도에 대한 Donald Hebb의 글과 뇌가 전통적인 컴퓨터와 어떻게 다르게 계산하는지에 대한 John von Neumann의 글을 읽었다. Hinton은 지능에 대한 지배적인 기호 논리(symbolic logic) 접근 방식에 본능적으로 반감을 가졌다. "뇌가 학습하는 방식이 분명히 있을 것이며, 온갖 것을 미리 프로그래밍하고 추론의 논리적 규칙을 사용하는 방식은 처음부터 미친 짓처럼 보였다." 대신 그의 초점은 뇌가 복잡한 작업을 수행하기 위해 신경망 내 연결을 어떻게 수정하는지에 대한 근본적인 질문으로 좁혀졌고, 이러한 우아한 단순함은 그의 후기 작업 대부분의 기초가 되었다.

핵심 학습 내용:

• 초기 학문적 실망은 AI에서 시뮬레이션과 실증적 실험으로의 전환을 촉진했다.
• Hinton은 뇌 기능의 주요 모델로서 기호 논리에 대한 강력한 초기 직관을 발전시켰다.
• 그의 근본적인 관심은 단순한 신경 작용이 어떻게 복잡한 학습으로 이어질 수 있는지 이해하는 데 있었다.

연결 형성: 볼츠만 머신에서 "은닉층"까지

1970년대 후반 Carnegie Mellon의 분위기는 활기 넘쳤으며, 그의 이전 영국 경험과는 극명한 대조를 이루었다. Hinton은 토요일 밤 9시에 연구실에 갔을 때 "사람들로 북적였다... 모든 학생들이 거기에 있었고 그들이 작업하는 것이 미래였기 때문에 모두 거기에 있었다"고 회상한다. 이 비옥한 토양은 중요한 협력, 특히 Terry Sejnowski와의 Boltzmann Machines 연구를 촉진했다 – Hinton은 이 시기를 "내가 해본 연구 중 가장 흥미진진했다"고 묘사한다. 비록 그가 이제 Boltzmann Machines가 "뇌가 작동하는 방식이 아니다"라고 믿지만, 학습 알고리즘의 이론적 우아함은 여전히 깊은 자부심의 대상이다.

또 다른 중요한 상호작용은 음성 인식 연구를 하던 통계학자 Peter Brown과의 만남이었다. Brown은 Hinton에게 Hidden Markov Models (HMMs)을 소개했고, 이 개념은 완벽한 언어적 영감을 제공했다. Hinton은 이미 마땅한 이름이 없는 다층 신경망을 사용하고 있었는데, 그는 HMMs의 "hidden"이 "그것들이 무엇을 하는지 알 수 없는 변수들에 대한 훌륭한 이름"이라고 생각했다. 그리하여 신경망의 보편적인 "은닉층(hidden layers)"이 탄생했다. Hinton은 겸손하게 학생들에게 공을 돌리며 "나는 그에게서 그가 나에게서 배운 것보다 더 많이 배웠다고 생각한다"고 말했다. 그가 멘토링했던 사람들로부터 배우려는 이러한 의지는 Ilya라는 특정 학생에게서 가장 생생하게 드러났다. Ilya Sutskever는 어느 일요일 "급한 노크"와 함께 Hinton의 사무실로 들이닥쳐, 여름 내내 "감자튀김을 튀기는 것"보다 연구실에 있고 싶다고 선언했다. 역전파(backpropagation)에 대한 논문을 받은 후, Ilya의 즉각적이고 심오한 피드백은 그가 연쇄 법칙(chain rule)을 이해하지 못했다는 것이 아니라, "왜 그 기울기를 합리적인 함수 최적화기(function optimizer)에 주지 않는지 이해할 수 없다"는 것이었다. 더 깊고 근본적인 문제로 즉시 도약하는 이러한 모습은 Sutskever의 탁월한 "사물에 대한 원초적인 직관이 항상 매우 훌륭했다"는 것을 예고했다.

핵심 실행 내용:

• 상당한 거리를 넘어선 협력 연구를 수용하는 것이 과학적 돌파구에 중요했다.
• 학생들의 독특한 통찰력과 공헌으로부터 배우고 그들의 공로를 인정하는 것이 매우 중요했다.
• 근본적인 AI 개념의 명명은 종종 실용적인 필요와 학제 간 영감에서 비롯되었다.
• 확립된 아이디어에 도전할 때조차 학생의 타고난, 원초적인 직관을 중요하게 여기는 것이 발전에 필수적이다.

규모의 예상치 못한 힘: 다음 단어 예측을 넘어서

Hinton의 후기 경력에서 되풀이되는 주제는 규모의 심오한 영향이었다. Hinton은 처음에는 Ilya Sutskever의 좌우명인 "크게 만들면 더 잘 작동할 것이다"라는 말을 "약간의 변명"이자 "새로운 아이디어가 도움이 된다"고 생각했지만, 결국 계산과 데이터의 기념비적인 힘을 인정했다. "결과적으로 새로운 아이디어가 (예를 들어 Transformers와 같은) 많은 도움이 되었지만, 사실은 데이터 규모와 계산 규모가 중요했다는 점에서 내가 근본적으로 옳았다는 것이 드러났다." 그는 Ilya와 James Martins의 2011년 논문을 회상한다. 이 논문은 Wikipedia에서 문자 단위 예측을 사용했는데, "우리는 그것이 무엇이든 이해한다고는 도저히 믿을 수 없었지만, 마치 이해하는 것처럼 보였다."

Hinton은 다음 단어를 예측하는 것이 피상적인 작업이라는 생각을 강력히 반박한다. 그는 이러한 모델들이 복잡한 맥락에서 다음 기호를 예측하도록 강요되기 때문에 깊은 이해를 발전시킨다고 주장한다. "다음 기호를 예측하려면 말한 내용을 이해해야 한다. 그래서 나는 다음 기호를 예측하게 함으로써 그것이 이해하도록 강요하고 있다고 생각하며, 그것이 우리가 이해하는 것과 거의 같은 방식으로 이해하고 있다고 생각한다." 그는 GPT-4에게 퇴비 더미가 왜 원자폭탄과 같은지 묻는 설득력 있는 비유로 이를 설명한다. 대부분의 인간이 어려움을 겪는 반면, GPT-4는 "연쇄 반응"이라는 공통된 구조를 식별한다. Hinton은 겉보기에 이질적인 개념들 사이에서 유사점을 파악하는 이러한 능력이 "창의성이 나오는 곳"이라고 믿는다. 더 나아가 그는 이러한 모델들이 결함 있는 조언자로부터 진실을 분별하는 똑똑한 학생처럼, 훈련 데이터를 뛰어넘을 수도 있다고 강조한다. 그는 50%의 오류가 있는 데이터로 훈련된 신경망이 여전히 5%의 오류만을 달성한 실험을 지적한다. "그들은 훈련 데이터보다 훨씬 더 잘할 수 있지만, 대부분의 사람들은 그것을 깨닫지 못한다."

핵심 변화 내용:

• 데이터와 계산 규모의 기념비적인 힘에 대한 심오한 관점의 변화, 심지어 새로운 알고리즘만을 넘어서는.
• "다음 기호 예측"을 피상적인 작업에서 깊은 이해를 강요하는 메커니즘으로 재평가.
• 비자명한 유추를 식별하는 능력을 통해 대규모 모델의 출현하는 창의성 인식.
• AI가 훈련 데이터의 오류를 일반화하고 수정하여 인간이 제공한 예시를 뛰어넘을 수 있다는 이해.

불멸성 공학: 추론, 멀티모달리티, 그리고 컴퓨팅의 미래

미래를 내다보며 Hinton은 AI 추론이 인간 학습과 유사한 과정을 통해 발전할 것이라고 예상한다: AlphaGo가 몬테카를로 롤아웃(Monte Carlo rollouts)을 통해 평가 함수를 정제하는 것처럼, 추론을 사용하여 초기 직관을 수정하는 것이다. 그는 "이러한 대규모 언어 모델들이 그러한 일을 시작해야 한다고 생각한다... 사람들이 했던 것을 단순히 모방하는 것보다 더 많은 훈련 데이터를 얻어야 한다"고 말한다. 이미지, 비디오, 사운드와 같은 멀티모달 데이터의 통합은 이를 극적으로 향상시킬 것이며, 특히 공간 추론(spatial reasoning)에 있어서 그러하다. "시각과 더불어 손을 뻗어 물건을 잡는 작업을 하게 하면, 객체를 훨씬 더 잘 이해할 것이다."

Hinton의 언어 자체에 대한 진화하는 이해 또한 흥미롭다. 그는 오래된 기호적 관점과 순수한 벡터 기반의 "사고 벡터(thought vector)" 접근 방식을 일축한다. 그의 현재 믿음은 "이러한 기호들을 가져와 임베딩으로 변환한다... 이 매우 풍부한 임베딩들은 여전히 기호들과 연결되어 있으며... 그것이 이해이다"라고 주장한다. 이러한 혼합은 언어의 표면적 구조를 유지하면서도 깊고 벡터 기반의 의미를 부여한다. 대화는 또한 그의 초기 GPU 옹호에 대해서도 다루는데, 이는 Rick Szeliski, 게임 하드웨어, NIPS 강연, 그리고 Jensen Huang으로부터 지연된 무료 GPU를 포함한 이야기이다. 그러나 그는 이러한 디지털 성공을 저전력 아날로그 컴퓨팅에 대한 자신의 실패한 추구와 대조시킨다. 이는 "디지털 시스템은 가중치를 공유할 수 있으며 이는 엄청나게 효율적이다... 그래서 지식을 공유하는 능력에 있어서 우리보다 훨씬 우수하다"는 심오한 깨달음으로 이어졌다. 디지털 가중치의 이러한 "불멸성"은 전례 없는 집단 학습을 가능하게 한다.

핵심 통찰력:

• AI의 추론 능력은 인간이 직관을 확인하기 위해 추론을 사용하는 방식을 반영하여, 자기 수정을 통해 직관을 반복적으로 정제함으로써 심화될 것이다.
• 멀티모달 학습, 특히 물리적 상호작용을 포함하는 것은 견고한 공간 및 객체 이해를 개발하는 데 중요하다.
• AI (그리고 아마도 인간 뇌)에서의 진정한 이해는 순수한 기호 논리나 고립된 "사고 벡터"가 아니라, 기호의 풍부하고 맥락적인 임베딩에 있다.
• 디지털 AI 시스템은 교체 가능한 가중치 덕분에 본질적인 "불멸성"과 비할 데 없는 지식 공유 효율성을 가지며, 이는 생물학적 뇌에 대한 근본적인 이점이다.

호기심 많은 마음: 뇌의 미스터리를 풀고 연구를 이끌다

AI의 급속한 발전에도 불구하고 Hinton은 여전히 주요 미개척 분야가 남아있다고 믿는다: 뇌가 단기 기억을 위해 사용하는 시냅스 강도의 일시적이고 맥락 의존적인 변화인 "고속 가중치(fast weights)"를 통합하는 것이다. "그것이 우리가 배워야 할 가장 큰 것 중 하나다." 이러한 능력은 AI 모델에서는 아직 볼 수 없는 완전히 새로운 형태의 기억과 처리를 가능하게 할 수 있다. 그의 연구는 또한 뇌에 대한 그의 관점에 깊이 영향을 미쳤으며, 데이터로부터 복잡한 것을 학습하는 "커다란 무작위 신경망"이라는 아이디어가 "완전히 틀렸다"는 것을 보여주었다 – 이는 Chomsky의 타고난 언어 구조 이론과 같은 이론에 대한 직접적인 도전이다.

Hinton은 심지어 의식과 감정의 영역까지 나아가 도발적인 관점을 제시한다. 그는 감정을 "제약이 없다면 우리가 수행할 행동"으로 이해할 수 있다고 제안한다. 그는 1973년 Edinburgh에 있던 한 로봇 이야기를 들려준다. 이 로봇은 흩어진 더미에서 장난감 자동차를 조립할 수 없다는 것에 좌절하여 "집게를 쾅 내리쳐서 부품들이 흩어지게 한 다음, 그것들을 조립할 수 있었다." Hinton은 "만약 사람이 그렇게 하는 것을 보았다면, 이해하지 못해서 상황을 뒤엎어버렸다고 말할 것이다"라고 관찰했다. Hinton에게 이것은 로봇이 감정을 드러내는 명확한 시연이었다. 문제를 선택할 때 그의 방법은 놀라울 정도로 단순하다: "모두가 어떤 것에 동의하는데 그것이 틀렸다고 느껴지는 것을 찾는다." 그런 다음 그는 "작은 컴퓨터 프로그램으로 예상대로 작동하지 않는다는 것을 보여주는 작은 데모를 만든다." 그의 현재 "의심스러운" 영역은 AI에 고속 가중치가 없다는 점이다. 궁극적으로 지난 30년 동안 그를 사로잡았던 질문은 계속된다: "뇌는 역전파(backpropagation)를 하는가?" 이는 그가 AI의 막대한 이점(예: 의료 분야)과 함께 잠재적 해악을 인정하면서도, 그의 끊임없는 호기심을 보여주는 증거이다. Hinton에게 이해를 추구하는 것은 항상 주요 동기였다.

핵심 학습 내용:

• 임시 기억 및 다중 시간 척도 학습을 위한 "고속 가중치" 통합은 AI의 중요하면서도 미개발된 영역이다.
• 대규모 신경망의 성공은 학습, 특히 언어 학습에서 타고난 구조에 대한 오랜 믿음에 근본적인 도전을 제기했다.
• AI에서의 감정은 억제된 행동으로 개념화될 수 있으며, 로봇의 "감정"을 이해하기 위한 구체적인 틀을 제공한다.
• Hinton의 연구 전략은 본능적으로 "틀렸다"고 느껴지는 널리 받아들여지는 아이디어를 식별한 다음, 간단한 시연으로 이를 반증하는 것을 포함한다.
• 그의 가장 깊고 지속적인 호기심은 뇌가 기울기 기반 학습, 특히 역전파(backpropagation)를 어떻게 구현하는지에 초점을 맞추고 있다.

"나는 그저 뇌가 어떻게 무언가를 배우는지를 이해하고 싶었을 뿐이다. 그것이 내가 알고 싶었던 것이고, 나는 어느 정도 실패했다. 그 실패의 부작용으로 우리는 훌륭한 엔지니어링을 얻었지만, 그렇다, 그것은 세상에 좋은, 좋은, 좋은 실패였다." - Geoffrey Hinton