Entretien avec Alexandr Wang

Lors d'une conversation captivante et franche avec Harry Stebbings sur 20VC, Alexandr Wang, CEO de Scale AI, a décrypté le paysage actuel de l'IA, remettant en question les idées reçues et mettant en lumière le véritable goulot d'étranglement pour la performance des modèles de nouvelle génération. Alors que le monde est obsédé par la puissance de calcul, Wang affirme que la véritable course – et le potentiel différenciateur – ne réside pas dans le silicium, mais dans les données.

Le Mur de Données : Pourquoi la puissance de calcul ne suffit plus

L'interview a abordé de front une question provocatrice : assistons-nous à des rendements décroissants en matière de performance des modèles d'IA, où plus de puissance de calcul ne garantit plus de meilleurs résultats ? La réponse de Wang a été un "oui" retentissant. Il a souligné que malgré une augmentation exponentielle des dépenses en GPU Nvidia depuis fin 2022 (passant de 5 milliards de dollars à plus de 20 milliards par trimestre), nous n'avons pas vu de modèle de base "incroyablement meilleur" que GPT-4, qui est antérieur à cette inflexion massive de la puissance de calcul.

Wang a expliqué que le progrès de l'IA repose sur trois piliers : la puissance de calcul, les algorithmes et les données. Alors que la puissance de calcul a considérablement augmenté, les deux autres n'ont pas suivi le rythme. Il estime, de manière cruciale, que l'industrie a atteint un "mur de données". Les "données faciles" – tout ce qui est facilement disponible sur l'internet ouvert, collecté à partir de crawls courants ou de torrents – ont été en grande partie consommées. Ces modèles sont désormais "exceptionnellement bons pour émuler internet", mais cela ne suffit pas pour les tâches complexes et le raisonnement requis pour une véritable AGI ou des agents IA efficaces.

Key Insights:

• Le progrès de l'IA repose sur l'avancement simultané de la puissance de calcul, des données et des algorithmes.
• Les investissements massifs en puissance de calcul après GPT-4 n'ont pas produit de sauts proportionnels dans la performance des modèles de base.
• L'industrie a en grande partie épuisé les "données faciles" (données internet), conduisant à un plateau de performance.

Conquérir la Frontière : Cultiver l'abondance de données

Pour surmonter ce mur de données, Wang a introduit le concept de "données de Frontière". Il a souligné qu'une grande partie du raisonnement complexe et de la résolution de problèmes qui animent l'économie actuelle – comme le processus déductif d'un analyste de fraude – n'est pas consignée en ligne. Cela signifie que les modèles entraînés uniquement sur des données internet n'ont pas la capacité d'apprendre de cette intelligence humaine plus profonde.

Alors, comment capter ces insaisissables données de Frontière ? Wang a décrit deux voies principales. Premièrement, il existe un trésor colossal de données propriétaires enfermées au sein des entreprises. Il a cité les 150 pétaoctets de données internes de JPMorgan, éclipsant le jeu de données internet de moins d'un pétaoctet de GPT-4. Ces données, cependant, sont très sensibles et exigeraient des entreprises de les extraire et de les affiner pour leurs propres systèmes d'IA, probablement sur site (on-premise) ou avec de solides garanties contre toute utilisation externe. Deuxièmement, et plus crucial pour les percées généralisées, est la "production proactive de données". Il ne s'agit pas seulement de collecter des données existantes, mais de créer de nouvelles données très complexes. Cela implique un "processus hybride humain-synthétique" où l'IA génère des données, et des experts humains agissent comme des "conducteurs de sécurité", guidant l'IA, corrigeant les erreurs et fournissant des informations cruciales lorsque les modèles sont bloqués. Wang considère ces "formateurs d'IA" ou "contributeurs" comme détenant certains des postes ayant le plus grand levier pour l'impact sociétal. "En tant qu'expert humain", a-t-il noté, "vous avez la capacité d'avoir un impact à l'échelle de la société en produisant des données pour aider à améliorer ces modèles".

Key Changes:

• La transition des "données faciles" facilement disponibles vers les "données de Frontière" est essentielle pour l'IA avancée.
• Les données de Frontière englobent des chaînes de raisonnement complexes, l'utilisation d'outils et un comportement d'agent introuvables sur l'internet ouvert.
• L'abondance de données sera atteinte en extrayant des données d'entreprise propriétaires et en produisant activement de nouvelles données de haute qualité.
• De nouveaux rôles humains émergeront pour guider et corriger les systèmes d'IA dans la génération de données synthétiques, à l'instar des conducteurs de sécurité des véhicules autonomes.

La Course Géopolitique aux Données : Une Nouvelle Guerre Froide ?

La conversation a pris un tournant vers les profondes implications géopolitiques de l'IA, un sujet que Wang estime sous-discuté. Il a déclaré sans ambages : "Au fond, cette technologie d'IA a le potentiel d'être l'un des plus grands atouts militaires que l'humanité ait jamais vus, potentiellement même plus qu'un atout militaire que les armes nucléaires." Il a dépeint un scénario glaçant où un régime totalitaire doté d'une AGI pourrait conquérir une nation qui n'en disposerait pas.

Wang a exprimé une vive inquiétude face aux progrès rapides de la Chine en matière d'IA. Alors qu'il y a deux ans, ils n'étaient "nulle part près" des capacités de GPT-4, un modèle chinois récent, Yi-Large de 0101, est désormais classé parmi les meilleurs au monde, juste derrière GPT-4o, Gemini et Claude 3 Opus. Il a attribué cela à la capacité exceptionnelle du PCC à mettre en œuvre "une action centralisée très agressive et une politique industrielle centralisée pour faire avancer les industries critiques". Ce schéma, observé dans le solaire et les véhicules électriques, suggère que la Chine a "une chance claire de nous dépasser et de prendre de l'avance". Compte tenu de cela, Wang estime qu'une "dichotomie doit émerger" : les systèmes d'IA de pointe, véritablement puissants, devraient être maintenus fermés pour des raisons militaires et géopolitiques, tandis que les modèles ouverts moins avancés peuvent continuer à générer de la valeur économique.

Key Learnings:

• L'IA, en particulier l'AGI, pourrait être l'atout militaire le plus puissant de l'humanité, avec de profondes conséquences géopolitiques.
• La politique industrielle centralisée de la Chine permet un avancement rapide de l'IA, réduisant rapidement l'écart avec les capacités occidentales.
• Une distinction stratégique entre les systèmes d'IA ouverts et fermés est cruciale : les modèles de pointe pourraient devoir être fermés pour des raisons de sécurité, tandis que les moins puissants peuvent rester ouverts pour un large bénéfice économique.

Redéfinir la concurrence : Les données comme avantage concurrentiel ultime

Dans le monde farouchement concurrentiel des modèles de fondation, Wang croit fermement que les données seront le différenciateur ultime. Il a expliqué que les algorithmes peuvent éventuellement être rétro-conçus ou devenir de la connaissance commune, et que la puissance de calcul peut simplement être achetée. "Les données sont l'un des rares domaines", a-t-il affirmé, "où vous pouvez réellement produire un avantage concurrentiel durable à long terme". Il a cité les partenariats d'Open AI avec le Financial Times et Axel Springer comme des indicateurs précoces de ce changement.

Wang a audacieusement prédit un avenir où les leaders de l'IA ne se vanteront pas de leur nombre de GPU, mais "des données auxquelles ils ont accès et de leurs droits uniques sur différentes sources de données". Cet accent mis sur les données uniques et propriétaires stimulera la différenciation du marché. De plus, il anticipe un changement significatif dans le logiciel, passant du SaaS "jardin clos" à des applications hautement personnalisées et conçues sur mesure pour les entreprises, rappelant l'approche initiale de Palantir. Cela sera alimenté par l'IA qui réduira considérablement les coûts de création de logiciels, menant à une nouvelle ère de solutions logicielles personnalisées. Par conséquent, le modèle de tarification par utilisateur (per-seat) de longue date cédera probablement la place à une tarification basée sur la consommation, reflétant le travail effectué par les employés humains et les agents IA.

Key Insights:

• Les données apparaissent comme l'avantage concurrentiel principal et le plus durable dans la course aux modèles de fondation.
• La future concurrence tournera autour de l'accès aux données propriétaires, de leur possession et de la capacité à produire des jeux de données uniques.
• La banalisation de la création de logiciels conduira à des applications sur mesure et personnalisées pour les entreprises, dépassant les SaaS génériques.
• Les modèles de tarification des logiciels évolueront du par utilisateur (per-seat) au basé sur la consommation, s'alignant sur la valeur délivrée par les humains et les agents IA.

Naviguer dans le bruit : Canaux directs et Confiance

Changeant de sujet pour aborder la création d'entreprise, Wang a partagé son approche non conventionnelle des relations publiques : "la meilleure RP, c'est l'absence de RP". Il a soutenu que les médias traditionnels, souvent guidés par les clics, ont tendance à sensationaliser et à déformer les récits, faisant monter et descendre les entreprises pour l'engagement. Il a révélé une expérience personnelle surprenante : "J'ai reçu un traitement plus juste en témoignant devant le Congrès que de divers médias au fil des ans".

Cette perspective a conduit Scale AI à privilégier les canaux directs, comme les podcasts et les blogs d'entreprise, où ils peuvent transmettre leur message de manière authentique et sans altération. Cette maîtrise de leur récit garantit que leur histoire est "la plus pure" et intacte, favorisant la confiance et la clarté auprès de leur public.

Key Practices:

• Adopter une stratégie de "pas de RP" ou d'engagement minimal avec les médias traditionnels pour éviter le sensationnalisme et la distorsion du récit.
• Privilégier les canaux de communication directs (podcasts, contenu d'entreprise) pour un message authentique et non altéré.
• Les fondateurs et les entreprises doivent activement maîtriser et gérer leur récit dans un paysage informationnel de plus en plus bruyant.

"Au fond, cette technologie d'IA a le potentiel d'être l'un des plus grands atouts militaires que l'humanité ait jamais vus, potentiellement même plus qu'un atout militaire que les armes nucléaires." - Alexandr Wang