Phỏng vấn với Geoffrey Hinton

Geoffrey Hinton, thường được mệnh danh là "Cha đỡ đầu của AI," gần đây đã có một cuộc trò chuyện chân thành, hé mở những tầng lớp về hành trình phi thường của ông, những sự thật bất ngờ mà ông đã khám phá, và những câu hỏi sâu sắc vẫn tiếp tục thúc đẩy ông. Từ những thất vọng thầm lặng trong những nỗ lực học thuật ban đầu cho đến những phòng thí nghiệm nhộn nhịp, ám ảnh bởi tương lai của Carnegie Mellon, Hinton mang đến một cái nhìn sâu sắc, mang tính cá nhân và kích thích tư duy về sự phát triển của trí tuệ nhân tạo, được điểm xuyết bằng sự kết hợp đặc trưng giữa khiêm tốn, cái nhìn sắc sảo và một liều lượng hoài nghi lành mạnh đối với những kiến thức truyền thống.

Con Đường Đến AI Bất Ngờ: Hoài Nghi, Thất Vọng và Trực Giác Sâu Sắc

Con đường trở thành nhà nghiên cứu AI tiên phong của Hinton không hề thẳng tắp. Nỗ lực ban đầu của ông nhằm tìm hiểu về trí thông minh bắt đầu tại Cambridge, nơi ông học về sinh lý học. Tuy nhiên, ông nhanh chóng cảm thấy "rất thất vọng" khi tất cả những gì ông học được là "cách các neuron dẫn truyền điện thế hoạt động, điều này rất thú vị nhưng nó không cho bạn biết bộ não hoạt động như thế nào." Việc chuyển sang triết học để tìm hiểu về tâm trí cũng không kém phần nản lòng. Mãi cho đến khi ông đến Edinburgh, đi sâu vào AI, ông mới cảm thấy một tia sáng thực sự: "ít nhất bạn có thể mô phỏng mọi thứ để kiểm tra các lý thuyết."

Sự thất vọng ban đầu này đã hình thành một trực giác cốt lõi. Ông đọc Donald Hebb về sức mạnh kết nối của mạng lưới thần kinh và John von Neumann về cách bộ não tính toán khác biệt so với máy tính truyền thống. Hinton theo bản năng đã từ chối cách tiếp cận logic biểu tượng đang thịnh hành đối với trí thông minh. "Với tôi, phải có một cách để bộ não học hỏi và rõ ràng không phải là bằng cách lập trình đủ thứ vào đó rồi sử dụng các quy tắc suy luận logic, điều đó ngay từ đầu đã có vẻ điên rồ." Thay vào đó, trọng tâm của ông thu hẹp lại thành câu hỏi cơ bản về cách bộ não học cách sửa đổi các kết nối trong một neural net để thực hiện các nhiệm vụ phức tạp, một sự đơn giản tinh tế sẽ làm nền tảng cho phần lớn công việc sau này của ông.

Những Bài Học Chính:

• Những thất vọng học thuật ban đầu đã thúc đẩy một sự chuyển dịch sang mô phỏng và kiểm nghiệm thực nghiệm trong AI.
• Hinton đã phát triển một trực giác mạnh mẽ, sớm chống lại symbolic logic như là mô hình chính cho chức năng não.
• Sở thích nền tảng của ông nằm ở việc tìm hiểu cách các hoạt động neural đơn giản có thể dẫn đến việc học phức tạp.

Rèn Luyện Kết Nối: Từ Boltzmann Machines Đến "Hidden Layers"

Không khí tại Carnegie Mellon vào cuối những năm 1970 rất sôi nổi, một sự tương phản rõ rệt với những trải nghiệm trước đây của ông ở Anh. Hinton nhớ lại việc đi vào phòng thí nghiệm vào tối thứ Bảy lúc 9 giờ tối và thấy nó "nhộn nhịp... tất cả sinh viên đều ở đó và họ đều ở đó vì những gì họ đang làm là tương lai." Mảnh đất màu mỡ này đã nuôi dưỡng những hợp tác quan trọng, đặc biệt với Terry Sejnowski về Boltzmann Machines – một giai đoạn mà Hinton mô tả là "nghiên cứu thú vị nhất mà tôi từng thực hiện." Mặc dù giờ đây ông tin rằng Boltzmann Machines "không phải là cách bộ não hoạt động," nhưng sự thanh lịch về mặt lý thuyết của thuật toán học vẫn là một niềm tự hào sâu sắc.

Một tương tác then chốt khác là với Peter Brown, một nhà thống kê làm việc về nhận dạng giọng nói. Brown đã giới thiệu cho Hinton về Hidden Markov Models (HMMs), một khái niệm cung cấp nguồn cảm hứng ngôn ngữ hoàn hảo. Hinton đã sử dụng các mạng đa lớp mà ông chưa có tên gọi cụ thể, và ông quyết định rằng từ "hidden" (ẩn) trong HMMs là "một cái tên tuyệt vời cho các biến mà bạn không biết chúng đang làm gì." Do đó, các "hidden layers" phổ biến trong neural networks đã ra đời. Hinton khiêm tốn ghi nhận công lao của các sinh viên, ông suy ngẫm, "Tôi nghĩ tôi học được từ cậu ấy nhiều hơn cậu ấy học được từ tôi." Sự sẵn lòng học hỏi từ những người mà ông hướng dẫn được thể hiện rõ ràng nhất với một sinh viên tên là Ilya. Ilya Sutskever xông vào văn phòng của Hinton với một tiếng "gõ cửa khẩn cấp" vào một ngày Chủ nhật, tuyên bố rằng cậu muốn ở trong phòng thí nghiệm hơn là "chiên khoai tây chiên trong suốt mùa hè." Sau khi được đưa một bài báo về backpropagation, phản hồi ngay lập tức và sâu sắc của Ilya không phải là cậu không hiểu quy tắc chuỗi, mà là: "Tôi chỉ không hiểu tại sao thầy không cung cấp gradient cho một bộ tối ưu hóa hàm phù hợp." Bước nhảy vọt ngay lập tức này đến một vấn đề sâu sắc hơn, cơ bản hơn đã báo trước "trực giác thô sơ về mọi thứ [mà] luôn rất tốt" phi thường của Sutskever.

Những Thực Hành Chính:

• Việc chấp nhận nghiên cứu hợp tác, ngay cả qua những khoảng cách đáng kể, là rất quan trọng cho các đột phá khoa học.
• Học hỏi và ghi nhận công lao của sinh viên vì những hiểu biết và đóng góp độc đáo của họ đã chứng tỏ là vô giá.
• Việc đặt tên cho các khái niệm AI cơ bản thường xuất phát từ nhu cầu thực tế và cảm hứng đa ngành.
• Đánh giá cao trực giác bẩm sinh, thô sơ của một sinh viên, ngay cả khi nó thách thức những ý tưởng đã được thiết lập, là điều cần thiết cho sự tiến bộ.

Sức Mạnh Bất Ngờ của Quy Mô: Vượt Ra Ngoài Dự Đoán Từ Tiếp Theo

Một chủ đề lặp đi lặp lại trong sự nghiệp sau này của Hinton là tác động sâu sắc của quy mô. Trong khi Hinton ban đầu nghĩ rằng câu thần chú của Ilya Sutskever – "cứ làm cho nó lớn hơn và nó sẽ hoạt động tốt hơn" – là "một cách thoái thác" và rằng "những ý tưởng mới giúp ích," cuối cùng ông đã thừa nhận sức mạnh to lớn của tính toán và dữ liệu. "Hóa ra tôi về cơ bản là đúng, những ý tưởng mới giúp ích rất nhiều, ví dụ như Transformers, nhưng điều thực sự quan trọng là quy mô dữ liệu và quy mô tính toán." Ông kể lại một bài báo năm 2011 của Ilya và James Martins, sử dụng dự đoán cấp độ ký tự trên Wikipedia: "chúng tôi không bao giờ thực sự tin rằng nó hiểu bất cứ điều gì nhưng trông có vẻ như nó đã hiểu."

Hinton kiên quyết bác bỏ quan điểm rằng dự đoán từ tiếp theo là một nhiệm vụ nông cạn. Ông lập luận rằng chính vì các mô hình này bị buộc phải dự đoán ký hiệu tiếp theo trong một ngữ cảnh phức tạp mà chúng phát triển sự hiểu biết sâu sắc. "Để dự đoán ký hiệu tiếp theo, bạn phải hiểu những gì đã được nói. Vì vậy, tôi nghĩ bạn đang buộc nó phải hiểu bằng cách bắt nó dự đoán ký hiệu tiếp theo và tôi nghĩ nó hiểu theo cách tương tự như chúng ta." Ông minh họa điều này bằng một phép loại suy hấp dẫn: hỏi GPT-4 tại sao một đống phân ủ lại giống như một quả bom nguyên tử. Trong khi hầu hết con người gặp khó khăn, GPT-4 xác định cấu trúc chung của một "phản ứng dây chuyền." Khả năng nhìn thấy sự tương đồng giữa các khái niệm tưởng chừng khác biệt này, Hinton tin rằng, là "nơi sản sinh ra sự sáng tạo." Hơn nữa, ông nhấn mạnh rằng các mô hình này thậm chí có thể vượt qua dữ liệu đào tạo của chúng, giống như một học sinh thông minh nhận ra sự thật từ một cố vấn không hoàn hảo. Ông chỉ ra một thí nghiệm mà một neural net được đào tạo trên 50% dữ liệu sai vẫn chỉ đạt 5% lỗi. "Chúng có thể làm tốt hơn nhiều so với dữ liệu đào tạo của chúng và hầu hết mọi người không nhận ra điều đó."

Những Thay Đổi Chính:

• Một sự thay đổi sâu sắc trong quan điểm về sức mạnh to lớn của dữ liệu và quy mô tính toán, thậm chí còn hơn cả các thuật toán mới.
• Đánh giá lại "dự đoán ký hiệu tiếp theo" từ một nhiệm vụ nông cạn thành một cơ chế buộc phải có sự hiểu biết sâu sắc.
• Nhận ra sự sáng tạo nổi bật của các mô hình lớn thông qua khả năng của chúng trong việc xác định những phép loại suy không rõ ràng.
• Hiểu rằng AI có thể khái quát hóa và sửa lỗi trong dữ liệu đào tạo của nó, vượt xa các ví dụ do con người cung cấp.

Kỹ Thuật Bất Tử: Tương Lai của Suy Luận, Đa Phương Thức và Tính Toán

Nhìn về tương lai, Hinton hình dung khả năng suy luận của AI sẽ tiến bộ thông qua một quá trình tương tự như cách con người học hỏi: sử dụng suy luận để điều chỉnh trực giác ban đầu, giống như AlphaGo tinh chỉnh hàm đánh giá của nó thông qua các lần chạy Monte Carlo. Ông nói, "Tôi nghĩ các large language models này phải bắt đầu làm điều đó... thu thập nhiều dữ liệu đào tạo hơn là chỉ bắt chước những gì con người đã làm." Việc tích hợp dữ liệu multimodal — hình ảnh, video, âm thanh — sẽ nâng cao đáng kể điều này, đặc biệt đối với suy luận không gian. "Nếu bạn có nó vừa nhìn vừa vươn ra và nắm bắt mọi thứ, nó sẽ hiểu đối tượng tốt hơn nhiều."

Sự hiểu biết ngày càng phát triển của Hinton về ngôn ngữ cũng rất hấp dẫn. Ông bác bỏ quan điểm symbolic cũ và cách tiếp cận "thought vector" thuần túy dựa trên vector. Niềm tin hiện tại của ông cho rằng "bạn lấy những ký hiệu này và bạn chuyển đổi các ký hiệu thành các embeddings... những embeddings rất phong phú này nhưng các embeddings vẫn gắn với các ký hiệu... đó chính là sự hiểu biết." Sự kết hợp này duy trì cấu trúc bề mặt của ngôn ngữ đồng thời truyền tải nó với ý nghĩa sâu sắc, dựa trên vector. Cuộc trò chuyện cũng đề cập đến việc ông ủng hộ sớm các GPUs, một câu chuyện liên quan đến Rick Szeliski, phần cứng chơi game, một buổi nói chuyện tại NIPS, và một GPU miễn phí bị trì hoãn từ Jensen Huang. Tuy nhiên, ông sau đó đối chiếu thành công kỹ thuật số này với việc theo đuổi không thành công của mình đối với tính toán analog tiêu thụ ít năng lượng. Điều này dẫn đến một nhận thức sâu sắc: "các hệ thống kỹ thuật số có thể chia sẻ trọng số và điều đó hiệu quả hơn rất nhiều... vì vậy chúng vượt trội hơn chúng ta rất nhiều trong khả năng chia sẻ kiến thức." Sự "bất tử" của các trọng số kỹ thuật số này cho phép học tập tập thể chưa từng có.

Những Hiểu Biết Chính:

• Khả năng suy luận của AI sẽ sâu sắc hơn bằng cách lặp đi lặp lại việc tinh chỉnh trực giác thông qua tự điều chỉnh, phản ánh cách con người sử dụng lý luận để kiểm tra trực giác.
• Học tập multimodal, đặc biệt là liên quan đến tương tác vật lý, là rất quan trọng để phát triển sự hiểu biết mạnh mẽ về không gian và đối tượng.
• Sự hiểu biết thực sự trong AI (và có thể cả não người) nằm ở các embeddings phong phú, theo ngữ cảnh của các ký hiệu, chứ không phải logic biểu tượng thuần túy hoặc các "thought vector" bị cô lập.
• Các hệ thống AI kỹ thuật số sở hữu một "sự bất tử" vốn có và hiệu quả chia sẻ kiến thức vô song nhờ các trọng số có thể thay thế được, một lợi thế cơ bản so với bộ não sinh học.

Tâm Trí Tò Mò: Giải Mã Bí Ẩn Não Bộ và Hướng Dẫn Nghiên Cứu

Ngay cả với những tiến bộ nhanh chóng của AI, Hinton tin rằng một biên giới lớn vẫn còn: việc tích hợp "fast weights" – những thay đổi tạm thời, phụ thuộc vào ngữ cảnh đối với sức mạnh khớp thần kinh mà bộ não sử dụng cho trí nhớ ngắn hạn. "Đó là một trong những điều lớn nhất chúng ta phải học." Khả năng này có thể mở khóa các dạng bộ nhớ và xử lý hoàn toàn mới chưa từng thấy trong các mô hình AI. Công trình của ông cũng đã tác động sâu sắc đến quan điểm của ông về bộ não, chứng minh rằng ý tưởng về một "mạng lưới thần kinh ngẫu nhiên lớn" học những điều phức tạp từ dữ liệu là "hoàn toàn sai" – một thách thức trực tiếp đối với các lý thuyết như cấu trúc ngôn ngữ bẩm sinh của Chomsky.

Hinton thậm chí còn mạo hiểm đi vào lĩnh vực ý thức và cảm xúc, đưa ra một quan điểm đầy khiêu khích. Ông gợi ý rằng cảm xúc có thể được hiểu là "những hành động mà chúng ta sẽ thực hiện nếu không có những ràng buộc." Ông kể lại một con robot năm 1973 ở Edinburgh mà, vì thất vọng khi không thể lắp ráp một chiếc ô tô đồ chơi từ một đống lộn xộn, đã "đập mạnh cái kẹp của nó và làm chúng văng ra khắp nơi, sau đó nó mới có thể lắp chúng lại với nhau." Hinton nhận xét, "Nếu bạn thấy điều đó ở một người, bạn sẽ nói rằng người đó tức giận với tình huống vì họ không hiểu nó nên đã phá hủy nó." Đối với Hinton, đây là một minh chứng rõ ràng về việc một con robot thể hiện một cảm xúc. Khi nói đến việc chọn vấn đề, phương pháp của ông đơn giản đến ngạc nhiên: "Tôi tìm kiếm một điều gì đó mà mọi người đều đồng ý và nó có vẻ sai." Sau đó, ông cố gắng "tạo một bản demo nhỏ bằng một chương trình máy tính nhỏ cho thấy nó không hoạt động theo cách bạn mong đợi." Lĩnh vực "đáng ngờ" hiện tại của ông là sự thiếu vắng fast weights trong AI. Cuối cùng, câu hỏi đã ám ảnh ông suốt ba thập kỷ vẫn còn đó: "bộ não có thực hiện backpropagation không?" Đó là một minh chứng cho sự tò mò không ngừng của ông, ngay cả khi ông thừa nhận những tác hại tiềm tàng của AI cùng với lợi ích to lớn của nó trong các lĩnh vực như chăm sóc sức khỏe. Đối với Hinton, việc theo đuổi sự hiểu biết luôn là động lực chính.

Những Bài Học Chính:

• Việc tích hợp "fast weights" cho bộ nhớ tạm thời và học tập đa thang thời gian là một lĩnh vực quan trọng, chưa được phát triển trong AI.
• Thành công của các neural networks lớn đã thách thức một cách cơ bản những niềm tin lâu đời về các cấu trúc bẩm sinh trong học tập, đặc biệt là đối với ngôn ngữ.
• Cảm xúc trong AI có thể được khái niệm hóa như những hành động bị ức chế, cung cấp một khuôn khổ hữu hình để hiểu "cảm xúc" của robot.
• Chiến lược nghiên cứu của Hinton bao gồm việc xác định những ý tưởng được chấp nhận rộng rãi mà cảm thấy "sai" một cách bản năng và sau đó bác bỏ chúng bằng những minh họa đơn giản.
• Sự tò mò sâu sắc nhất, không ngừng của ông xoay quanh cách bộ não thực hiện việc học dựa trên gradient, đặc biệt là backpropagation.

"Tôi chỉ muốn hiểu làm thế nào mà bộ não có thể học cách làm mọi thứ – đó là điều tôi muốn biết và tôi đã thất bại theo một cách nào đó. Như một tác dụng phụ của thất bại đó, chúng ta có được một số kỹ thuật hay ho, nhưng vâng, đó là một thất bại tốt, rất tốt cho thế giới" - Geoffrey Hinton