Entrevista con Geoffrey Hinton

Geoffrey Hinton, a menudo aclamado como el "Padrino de la IA", se sentó recientemente para una conversación franca que desveló las capas de su extraordinario viaje, las verdades sorprendentes que ha descubierto y las profundas preguntas que siguen impulsándolo. Desde las discretas decepciones de sus primeras búsquedas académicas hasta los bulliciosos laboratorios de Carnegie Mellon, obsesionados con el futuro, Hinton ofrece una visión profundamente personal e intelectualmente estimulante de la evolución de la inteligencia artificial, salpicada por su característica mezcla de humildad, perspicacia aguda y una buena dosis de escepticismo hacia la sabiduría convencional.

El Camino Accidental Hacia la IA: Dudas, Decepciones e Intuiciones Profundas

El camino de Hinton para convertirse en un investigador pionero de la IA estuvo lejos de ser lineal. Su búsqueda inicial para entender la inteligencia comenzó en Cambridge, estudiando fisiología. Sin embargo, rápidamente le resultó "muy decepcionante" cuando todo lo que aprendió fue "cómo las neuronas conducen potenciales de acción, lo cual es muy interesante pero no te dice cómo funciona el cerebro". Un giro hacia la filosofía para entender la mente resultó igualmente frustrante. No fue hasta que se encontró en Edimburgo, adentrándose en la IA, que sintió una verdadera chispa: "al menos podías simular cosas para poder probar teorías".

Esta decepción temprana forjó una intuición fundamental. Leyó a Donald Hebb sobre las fortalezas de conexión de las redes neuronales y a John von Neumann sobre cómo el cerebro computa de manera diferente a las computadoras tradicionales. Hinton se apartó instintivamente del enfoque de lógica simbólica predominante para la inteligencia. "Me parecía que tenía que haber una forma en que el cerebro aprende y claramente no es teniendo todo tipo de cosas programadas en él y luego usando reglas lógicas de inferencia, eso me parecía una locura desde el principio." Su enfoque se redujo, en cambio, a la cuestión fundamental de cómo los cerebros aprenden a modificar las conexiones dentro de una red neuronal para realizar tareas complejas, una simplicidad elegante que sustentaría gran parte de su trabajo posterior.

Key Learnings:

• Las primeras decepciones académicas catalizaron un cambio hacia la simulación y las pruebas empíricas en la IA.
• Hinton desarrolló una intuición temprana y sólida contra la lógica simbólica como modelo principal para la función cerebral.
• Su interés fundamental radicaba en comprender cómo operaciones neuronales simples podían conducir a un aprendizaje complejo.

Forjando Conexiones: De las Máquinas de Boltzmann a las "Capas Ocultas"

La atmósfera en Carnegie Mellon a finales de los años 70 era eléctrica, un marcado contraste con sus experiencias anteriores en Inglaterra. Hinton recuerda ir al laboratorio un sábado por la noche a las 9 PM y encontrarlo "repleto... todos los estudiantes estaban allí y todos estaban allí porque lo que estaban investigando era el futuro". Este terreno fértil propició colaboraciones cruciales, notablemente con Terry Sejnowski en Máquinas de Boltzmann – un período que Hinton describe como "la investigación más emocionante que he hecho". Aunque ahora cree que las Máquinas de Boltzmann "no son cómo funciona el cerebro", la elegancia teórica del algoritmo de aprendizaje sigue siendo un motivo de profundo orgullo.

Otra interacción fundamental fue con Peter Brown, un estadístico que trabajaba en reconocimiento de voz. Brown introdujo a Hinton a los Modelos Ocultos de Markov (HMMs), un concepto que proporcionó la inspiración lingüística perfecta. Hinton ya estaba utilizando redes multicapa para las que no tenía un nombre, y decidió que el "oculto" de los HMMs era "un gran nombre para variables de las que no sabes lo que están haciendo". Así nacieron las omnipresentes "capas ocultas" en las redes neuronales. Hinton humildemente da crédito a sus estudiantes, reflexionando: "Creo que aprendí más de él de lo que él aprendió de mí". Esta disposición a aprender de aquellos a quienes tutorizaba se demostró de forma más vívida con un estudiante llamado Ilya. Ilya Sutskever irrumpió en la oficina de Hinton con un "golpe urgente" un domingo, declarando que preferiría estar en el laboratorio que "cocinando patatas fritas durante el verano". Después de recibir un artículo sobre backpropagation, la retroalimentación inmediata y profunda de Ilya no fue que no entendía la regla de la cadena, sino: "Simplemente no entiendo por qué no le das el gradiente a un optimizador de funciones sensato". Este salto inmediato a un problema más profundo y fundamental prefiguró las extraordinarias "intuiciones brutas de Sutskever sobre las cosas [que] siempre fueron muy buenas".

Key Practices:

• Abrazar la investigación colaborativa, incluso a través de distancias significativas, fue crucial para los avances científicos.
• Aprender de los estudiantes y darles crédito por sus conocimientos y contribuciones únicos resultó inestimable.
• La denominación de conceptos fundamentales de la IA a menudo surgió de necesidades prácticas e inspiración interdisciplinaria.
• Valorar la intuición innata y cruda de un estudiante, incluso cuando desafía ideas establecidas, es esencial para el progreso.

El Poder Imprevisto de la Escala: Más Allá de la Predicción de la Siguiente Palabra

Un tema recurrente en la carrera posterior de Hinton fue el profundo impacto de la escala. Aunque Hinton inicialmente pensó que el mantra de Ilya Sutskever – "simplemente hazlo más grande y funcionará mejor" – era "un poco de evasiva" y que "las nuevas ideas ayudan", finalmente concedió el poder monumental de la computación y los datos. "Resulta que yo tenía básicamente razón, las nuevas ideas ayudan, cosas como los Transformers ayudaron mucho, pero fue realmente la escala de los datos y la escala de la computación". Relata un artículo de 2011 de Ilya y James Martins, que utilizó la predicción a nivel de carácter en Wikipedia: "nunca pudimos creer del todo que entendiera algo, pero parecía que sí lo hacía".

Hinton refuta enérgicamente la noción de que predecir la siguiente palabra es una tarea superficial. Argumenta que es precisamente porque estos modelos se ven obligados a predecir el siguiente símbolo en un contexto complejo que desarrollan una comprensión profunda. "Para predecir el siguiente símbolo tienes que entender lo que se ha dicho. Así que creo que lo estás forzando a entender al hacer que prediga el siguiente símbolo y creo que está entendiendo de una manera muy similar a la nuestra". Lo ilustra con una analogía convincente: preguntarle a GPT-4 por qué un montón de compost es como una bomba atómica. Mientras la mayoría de los humanos tienen dificultades, GPT-4 identifica la estructura común de una "reacción en cadena". Esta capacidad de ver analogías entre conceptos aparentemente dispares, cree Hinton, es "de donde se obtiene la creatividad". Además, destaca que estos modelos pueden incluso superar sus datos de entrenamiento, muy parecido a un estudiante inteligente que discierne la verdad de un asesor defectuoso. Señala un experimento donde una red neuronal entrenada con un 50% de datos erróneos aún lograba solo un 5% de error. "Pueden hacerlo mucho mejor que sus datos de entrenamiento y la mayoría de la gente no se da cuenta de eso".

Key Changes:

• Un cambio profundo de perspectiva con respecto al poder monumental de los datos y la escala computacional, incluso por encima de los algoritmos novedosos por sí solos.
• Reevaluar la "predicción del siguiente símbolo" de una tarea superficial a un mecanismo que fuerza una comprensión profunda.
• Reconocer la creatividad emergente de los modelos grandes a través de su capacidad para identificar analogías no obvias.
• Entender que la IA puede generalizar y corregir errores en sus datos de entrenamiento, superando los ejemplos proporcionados por humanos.

Ingeniería de la Inmortalidad: El Futuro del Razonamiento, la Multimodalidad y la Computación

Mirando hacia el futuro, Hinton visualiza el razonamiento de la IA avanzando a través de un proceso similar al aprendizaje humano: usando el razonamiento para corregir intuiciones iniciales, muy parecido a cómo AlphaGo refina su función de evaluación mediante Monte Carlo rollouts. Afirma: "Creo que estos grandes modelos de lenguaje tienen que empezar a hacer eso... obteniendo más datos de entrenamiento que simplemente imitar lo que hicieron las personas". La integración de datos multimodales —imágenes, video, sonido— mejorará drásticamente esto, particularmente para el razonamiento espacial. "Si lo tienes tanto realizando visión como extendiendo la mano y agarrando cosas, entenderá mucho mejor los objetos".

La comprensión evolutiva de Hinton sobre el lenguaje mismo también es fascinante. Descarta la antigua visión simbólica y el enfoque puramente basado en vectores de "vector de pensamiento". Su creencia actual postula que "tomas estos símbolos y los conviertes en embeddings... estos embeddings muy ricos, pero los embeddings siguen siendo para los símbolos... eso es lo que es la comprensión". Esta combinación mantiene la estructura superficial del lenguaje mientras lo impregna de un significado profundo y basado en vectores. La conversación también aborda su temprana defensa de las GPUs, una historia que involucra a Rick Szeliski, hardware para juegos, una charla en NIPS y una GPU gratuita tardía de Jensen Huang. Sin embargo, luego contrasta este éxito digital con su infructuosa búsqueda de la computación analógica de baja potencia. Esto llevó a una profunda realización: "los sistemas digitales pueden compartir pesos y eso es increíblemente mucho más eficiente... por lo tanto, son muy superiores a nosotros en la capacidad de compartir conocimiento". Esta "inmortalidad" de los pesos digitales permite un aprendizaje colectivo sin precedentes.

Key Insights:

• Las capacidades de razonamiento de la IA se profundizarán refinando iterativamente sus intuiciones mediante la autocorrección, reflejando cómo los humanos usan el razonamiento para verificar la intuición.
• El aprendizaje multimodal, especialmente el que implica interacción física, es crucial para desarrollar una comprensión espacial y de objetos robusta.
• La verdadera comprensión en la IA (y posiblemente en el cerebro humano) reside en embeddings ricos y contextuales de símbolos, en lugar de una lógica puramente simbólica o "vectores de pensamiento" aislados.
• Los sistemas de IA digitales poseen una "inmortalidad" inherente y una eficiencia sin igual en el intercambio de conocimientos debido a pesos intercambiables, una ventaja fundamental sobre los cerebros biológicos.

La Mente Curiosa: Desentrañando los Misterios del Cerebro y Guiando la Investigación

Incluso con los rápidos avances de la IA, Hinton cree que queda una frontera importante: la incorporación de "pesos rápidos" – cambios temporales y dependientes del contexto en las fuerzas sinápticas que el cerebro utiliza para la memoria a corto plazo. "Esa es una de las cosas más grandes que tenemos que aprender". Esta capacidad podría desbloquear formas completamente nuevas de memoria y procesamiento aún no vistas en los modelos de IA. Su trabajo también ha impactado profundamente su visión del cerebro, demostrando que la idea de una "gran red neuronal aleatoria" aprendiendo cosas complejas a partir de datos es "completamente incorrecta" – un desafío directo a teorías como la estructura lingüística innata de Chomsky.

Hinton incluso se aventura en el ámbito de la conciencia y los sentimientos, ofreciendo una perspectiva provocadora. Sugiere que los sentimientos pueden entenderse como "acciones que realizaríamos si no fuera por las limitaciones". Relata un robot de 1973 en Edimburgo que, frustrado por su incapacidad de ensamblar un coche de juguete a partir de un montón disperso, "golpeó con su pinza y los dispersó, y luego pudo unirlos". Hinton observó: "Si vieras eso en una persona, dirías que estaba frustrada con la situación porque no la entendía, así que la destruyó". Para Hinton, esta fue una clara demostración de un robot exhibiendo una emoción. Cuando se trata de seleccionar problemas, su método es refrescantemente simple: "Busco algo en lo que todo el mundo esté de acuerdo y me parece incorrecto". Luego intenta "hacer una pequeña demostración con un pequeño programa de computadora que muestre que no funciona como cabría esperar". Su área "sospechosa" actual es la falta de pesos rápidos en la IA. En última instancia, la pregunta que lo ha consumido durante tres décadas persiste: "¿el cerebro hace backpropagation?". Es un testimonio de su curiosidad duradera, incluso mientras reconoce los daños potenciales de la IA junto con su inmenso bien en áreas como la atención médica. Para Hinton, la búsqueda del entendimiento siempre ha sido la principal motivación.

Key Learnings:

• Integrar "pesos rápidos" para la memoria temporal y el aprendizaje en múltiples escalas de tiempo es un área crucial y subdesarrollada para la IA.
• El éxito de las grandes redes neuronales ha desafiado fundamentalmente creencias arraigadas sobre las estructuras innatas en el aprendizaje, particularmente para el lenguaje.
• Los sentimientos en la IA pueden conceptualizarse como acciones inhibidas, ofreciendo un marco tangible para entender las "emociones" de los robots.
• La estrategia de investigación de Hinton implica identificar ideas ampliamente aceptadas que instintivamente le parecen "incorrectas" y luego refutarlas con demostraciones simples.
• Su curiosidad más profunda y continua gira en torno a cómo el cerebro implementa el aprendizaje basado en gradientes, específicamente la backpropagation.

"Solo quería entender cómo diablos el cerebro puede aprender a hacer cosas, eso es lo que quiero saber y, en cierto modo, fracasé, y como efecto secundario de ese fracaso obtuvimos buena ingeniería, pero sí, fue un buen, buen, buen fracaso para el mundo" - Geoffrey Hinton