Entrevista com Geoffrey Hinton

Geoffrey Hinton, frequentemente aclamado como o "Padrinho da IA", sentou-se recentemente para uma conversa franca que desvendou as camadas de sua jornada extraordinária, as verdades surpreendentes que ele descobriu e as perguntas profundas que continuam a impulsioná-lo. Desde as decepções silenciosas de suas primeiras empreitadas acadêmicas até os laboratórios agitados e obcecados pelo futuro da Carnegie Mellon, Hinton oferece uma visão profundamente pessoal e intelectualmente estimulante sobre a evolução da inteligência artificial, pontuada por sua combinação característica de humildade, perspicácia aguçada e uma dose saudável de ceticismo em relação ao senso comum.

O Caminho Acidental para a IA: Dúvidas, Decepções e Intuições Profundas

O caminho de Hinton para se tornar um pesquisador pioneiro em IA esteve longe de ser linear. Sua busca inicial para entender a inteligência começou em Cambridge, estudando fisiologia. No entanto, ele rapidamente a considerou "muito decepcionante" quando tudo o que aprendeu foi "como os neurônios conduzem potenciais de ação, o que é muito interessante, mas não diz como o cérebro funciona". Uma guinada para a filosofia para entender a mente mostrou-se igualmente frustrante. Foi somente quando se encontrou em Edimburgo, mergulhando na IA, que sentiu uma verdadeira faísca: "pelo menos você podia simular coisas para testar teorias".

Essa decepção inicial forjou uma intuição central. Ele leu Donald Hebb sobre a força das conexões de redes neurais e John von Neumann sobre como o cérebro computa de forma diferente dos computadores tradicionais. Hinton rechaçou instintivamente a abordagem predominante da lógica simbólica para a inteligência. "Parecia-me que tinha de haver uma maneira de o cérebro aprender, e claramente não é tendo todo tipo de coisa programada nele e depois usando regras lógicas de inferência – isso me pareceu loucura desde o início." Seu foco, em vez disso, se estreitou para a questão fundamental de como os cérebros aprendem a modificar conexões dentro de uma rede neural para realizar tarefas complexas, uma simplicidade elegante que sustentaria grande parte de seu trabalho posterior.

Principais Aprendizados:

• Decepções acadêmicas iniciais catalisaram uma mudança em direção à simulação e testes empíricos em IA.
• Hinton desenvolveu uma intuição inicial e forte contra a lógica simbólica como o modelo principal para a função cerebral.
• Seu interesse fundamental residia em compreender como operações neurais simples poderiam levar a um aprendizado complexo.

Forjando Conexões: De Boltzmann Machines a "Camadas Ocultas"

A atmosfera na Carnegie Mellon no final dos anos 1970 era elétrica, um contraste marcante com suas experiências anteriores na Inglaterra. Hinton lembra de ir ao laboratório em uma noite de sábado às 21h e encontrá-lo "pululando... todos os alunos estavam lá, e estavam lá porque o que estavam desenvolvendo era o futuro". Esse terreno fértil impulsionou colaborações cruciais, notavelmente com Terry Sejnowski em Boltzmann Machines – um período que Hinton descreve como "a pesquisa mais empolgante que já fiz". Embora ele agora acredite que as Boltzmann Machines "não são como o cérebro funciona", a elegância teórica do algoritmo de aprendizado permanece um ponto de profundo orgulho.

Outra interação crucial foi com Peter Brown, um estatístico trabalhando em reconhecimento de fala. Brown introduziu Hinton aos Hidden Markov Models (HMMs), um conceito que forneceu a inspiração linguística perfeita. Hinton já estava usando redes de múltiplas camadas para as quais ele ainda não tinha um nome, e decidiu que o "oculto" nos HMMs era "um ótimo nome para variáveis que você não sabe o que estão fazendo". Assim, as ubíquas "camadas ocultas" nas redes neurais nasceram. Hinton humildemente credita seus alunos, refletindo: "Acho que aprendi mais com ele do que ele aprendeu comigo". Essa disposição para aprender com aqueles que ele mentorava foi mais vividamente demonstrada com um certo aluno chamado Ilya. Ilya Sutskever irrompeu no escritório de Hinton com uma "batida urgente" em um domingo, declarando que preferia estar no laboratório do que "fritar batatas durante o verão". Depois de receber um artigo sobre backpropagation, o feedback imediato e profundo de Ilya não foi que ele não entendia a regra da cadeia, mas sim: "Eu simplesmente não entendo por que você não dá o gradiente a um otimizador de função sensato". Esse salto imediato para um problema mais profundo e fundamental preludiava as extraordinárias "intuições brutas de Sutskever sobre as coisas [que] sempre foram muito boas".

Principais Práticas:

• Abraçar a pesquisa colaborativa, mesmo a longas distâncias, foi crucial para avanços científicos.
• Aprender com e creditar os alunos por suas percepções e contribuições únicas provou ser inestimável.
• A nomeação de conceitos fundamentais da IA frequentemente surgiu de necessidades práticas e inspiração interdisciplinar.
• Valorizar a intuição inata e bruta de um aluno, mesmo quando ela desafia ideias estabelecidas, é essencial para o progresso.

O Poder Inesperado da Escala: Além da Previsão da Próxima Palavra

Um tema recorrente na carreira posterior de Hinton foi o impacto profundo da escala. Embora Hinton inicialmente pensasse que o mantra de Ilya Sutskever – "basta você aumentar o tamanho e vai funcionar melhor" – era "um pouco de desculpa" e que "novas ideias ajudam", ele acabou concedendo o poder monumental da computação e dos dados. "Acontece que eu estava basicamente certo – novas ideias ajudam, coisas como os Transformers ajudaram muito, mas foi realmente a escala dos dados e a escala da computação." Ele relembra um artigo de 2011 de Ilya e James Martins, que usava previsão em nível de caractere na Wikipedia: "nunca conseguíamos acreditar que ele entendia alguma coisa, mas parecia que entendia".

Hinton refuta veementemente a noção de que prever a próxima palavra é uma tarefa superficial. Ele argumenta que é precisamente porque esses modelos são forçados a prever o próximo símbolo em um contexto complexo que eles desenvolvem um entendimento profundo. "Para prever o próximo símbolo, você precisa entender o que foi dito. Então, acho que você o está forçando a entender ao fazê-lo prever o próximo símbolo, e acho que ele está entendendo da mesma forma que nós." Ele ilustra isso com uma analogia convincente: perguntar ao GPT-4 por que uma pilha de composto é como uma bomba atômica. Enquanto a maioria dos humanos luta, o GPT-4 identifica a estrutura comum de uma "reação em cadeia". Essa capacidade de ver analogias entre conceitos aparentemente díspares, Hinton acredita, é "de onde vem a criatividade". Além disso, ele destaca que esses modelos podem até superar seus dados de treinamento, muito parecido com um aluno inteligente discernindo a verdade de um conselheiro falho. Ele aponta para um experimento onde uma rede neural treinada com 50% de dados errôneos ainda assim alcançou apenas 5% de erro. "Eles podem fazer muito melhor do que seus dados de treinamento, e a maioria das pessoas não percebe isso."

Principais Mudanças:

• Uma mudança profunda de perspectiva em relação ao poder monumental dos dados e da escala computacional, mesmo em detrimento de algoritmos inovadores por si só.
• Reavaliar a "previsão do próximo símbolo" de uma tarefa superficial para um mecanismo que força um entendimento profundo.
• Reconhecer a criatividade emergente de grandes modelos através de sua capacidade de identificar analogias não óbvias.
• Compreender que a IA pode generalizar e corrigir erros em seus dados de treinamento, superando exemplos fornecidos por humanos.

Engenharia da Imortalidade: O Futuro do Raciocínio, Multimodalidade e Computação

Olhando para o futuro, Hinton vislumbra o raciocínio da IA avançando através de um processo semelhante ao aprendizado humano: usando o raciocínio para corrigir intuições iniciais, muito parecido com como o AlphaGo refina sua função de avaliação através de simulações Monte Carlo (Monte Carlo rollouts). Ele afirma: "Acho que esses grandes modelos de linguagem têm que começar a fazer isso... obtendo mais dados de treinamento do que apenas imitar o que as pessoas fizeram." A integração de dados multimodais – imagens, vídeo, som – melhorará dramaticamente isso, particularmente para o raciocínio espacial. "Se ele estiver tanto vendo quanto estendendo a mão e pegando coisas, entenderá os objetos muito melhor."

A compreensão evolutiva de Hinton sobre a própria linguagem também é fascinante. Ele descarta a antiga visão simbólica e a abordagem puramente baseada em vetores de "vetores de pensamento". Sua crença atual postula que "você pega esses símbolos e os converte em embeddings... esses embeddings muito ricos, mas os embeddings ainda estão ligados aos símbolos... isso é o que é o entendimento". Essa mistura mantém a estrutura superficial da linguagem enquanto a infunde com um significado profundo e baseado em vetores. A conversa também aborda sua defesa inicial das GPUs, uma história envolvendo Rick Szeliski, hardware de jogos, uma palestra na NIPS e uma GPU gratuita atrasada de Jensen Huang. No entanto, ele então contrasta esse sucesso digital com sua busca malsucedida por computação analógica de baixa energia. Isso levou a uma realização profunda: "sistemas digitais podem compartilhar pesos, e isso é incrivelmente mais eficiente... então eles são muito superiores a nós na capacidade de compartilhar conhecimento". Essa "imortalidade" dos pesos digitais permite um aprendizado coletivo sem precedentes.

Principais Percepções:

• As capacidades de raciocínio da IA se aprofundarão ao refinar iterativamente suas intuições através da autocorreção, espelhando como os humanos usam o raciocínio para verificar a intuição.
• O aprendizado multimodal, especialmente envolvendo interação física, é crucial para desenvolver uma compreensão espacial e de objetos robusta.
• O verdadeiro entendimento em IA (e possivelmente no cérebro humano) reside em embeddings ricos e contextuais de símbolos, em vez de pura lógica simbólica ou "vetores de pensamento" isolados.
• Sistemas digitais de IA possuem uma "imortalidade" inerente e uma eficiência incomparável no compartilhamento de conhecimento devido a pesos intercambiáveis, uma vantagem fundamental sobre os cérebros biológicos.

A Mente Curiosa: Desvendando os Mistérios do Cérebro e Guiando a Pesquisa

Mesmo com os rápidos avanços da IA, Hinton acredita que uma grande fronteira permanece: incorporar "pesos rápidos" – mudanças temporárias e dependentes do contexto nas forças sinápticas que o cérebro usa para a memória de curto prazo. "Essa é uma das maiores coisas que temos que aprender." Essa capacidade poderia desbloquear formas inteiramente novas de memória e processamento ainda não vistas em modelos de IA. Seu trabalho também impactou profundamente sua visão do cérebro, demonstrando que a ideia de uma "grande rede neural aleatória" aprendendo coisas complexas a partir de dados é "completamente errada" – um desafio direto a teorias como a estrutura inata da linguagem de Chomsky.

Hinton até se aventura no domínio da consciência e dos sentimentos, oferecendo uma perspectiva provocadora. Ele sugere que os sentimentos podem ser entendidos como "ações que realizaríamos se não fossem as restrições". Ele relembra um robô de 1973 em Edimburgo que, frustrado por sua incapacidade de montar um carrinho de brinquedo de uma pilha dispersa, "bateu seu pegador e os derrubou para que ficassem espalhados e então pôde montá-los". Hinton observou: "Se você visse isso em uma pessoa, diria que ela estava irritada com a situação porque não a entendia e então a destruiu." Para Hinton, essa foi uma clara demonstração de um robô exibindo uma emoção. Quando se trata de selecionar problemas, seu método é refrescantemente simples: "Eu procuro por algo em que todos concordaram e que me parece errado." Ele então tenta "fazer uma pequena demonstração com um pequeno programa de computador que mostra que não funciona como você esperaria". Sua área "suspeita" atual é a falta de pesos rápidos na IA. Em última análise, a pergunta que o consumiu por três décadas persiste: "o cérebro faz backpropagation?" É um testemunho de sua curiosidade duradoura, mesmo enquanto ele reconhece os danos potenciais da IA, juntamente com seu imenso bem em áreas como a saúde. Para Hinton, a busca pelo entendimento sempre foi o principal motivador.

Principais Aprendizados:

• Integrar "pesos rápidos" para memória temporária e aprendizado em múltiplas escalas de tempo é uma área crucial e subdesenvolvida para a IA.
• O sucesso de grandes redes neurais desafiou fundamentalmente crenças antigas sobre estruturas inatas no aprendizado, particularmente para a linguagem.
• Sentimentos em IA podem ser conceitualizados como ações inibidas, oferecendo uma estrutura tangível para compreender "emoções" de robôs.
• A estratégia de pesquisa de Hinton envolve identificar ideias amplamente aceitas que parecem instintivamente "erradas" e então refutá-las com demonstrações simples.
• Sua curiosidade mais profunda e contínua gira em torno de como o cérebro implementa o aprendizado baseado em gradiente, especificamente o backpropagation.

"Eu só queria entender como diabos o cérebro pode aprender a fazer as coisas – é isso que eu quero saber – e de certa forma falhei. Como efeito colateral dessa falha, obtivemos uma boa engenharia, mas sim, foi uma boa, boa, boa falha para o mundo" - Geoffrey Hinton