L’intelligence artificielle générative a-t-elle déjà atteint ses limites ? Alors que les grands modèles de langage (LLM) fascinent le monde entier, le véritable avenir de l’IA se dessine ailleurs. Yann LeCun, lauréat du Prix Turing 2018, ancien scientifique en chef de l’IA chez Meta et pionnier des réseaux de neurones convolutifs, dresse un constat sans appel : pour atteindre une véritable intelligence artificielle générale, il faut abandonner le paradigme de l’IA générative au profit des World Models (modèles du monde).
Dans un échange approfondi sur les fondements mathématiques et philosophiques du Deep Learning, le chercheur détaille pourquoi les systèmes actuels sont incapables de raisonner et comment de nouvelles architectures, capables d’appréhender la physique du monde réel, sont en train de voir le jour.
Les limites des LLM : pourquoi prédire le prochain mot n’est pas raisonner
Aujourd’hui, l’immense majorité des modèles d’intelligence artificielle repose sur la prédiction autorégressive. Le principe est simple : le système ingère une séquence de données et tente de deviner le prochain élément (ou token). Si cette approche fonctionne remarquablement bien pour le texte, elle montre d’immenses lacunes face à la complexité du monde réel.
Selon Yann LeCun, l’information communiquée entre deux étapes de calcul dans un LLM se résume à un symbole stockable sur quelques octets. L’intelligence de ces systèmes s’apparente à celle d’un apprenti cuisinier qui appliquerait à la lettre la recette d’un grand chef sans en comprendre les principes sous-jacents. Le modèle reproduit un savoir procédural et empirique, accumulé par d’autres, mais s’avère incapable d’inventer une nouvelle recette face à un problème inédit.
L’intelligence véritable ne réside pas dans l’accumulation de connaissances déclaratives, mais dans la capacité à s’adapter rapidement. À titre de comparaison, un adolescent peut apprendre à conduire en une quinzaine d’heures de pratique, une prouesse hors de portée pour les systèmes actuels qui nécessitent des milliards de données d’entraînement pour des tâches basiques.
Le monde réel est imprédictible : l’impasse de la génération de pixels
Si la prédiction fonctionne pour le texte (où l’espace des mots possibles est fini), elle s’effondre face à la vidéo ou au monde physique. La majeure partie de l’information contenue dans une vidéo est tout simplement imprédictible. Il est impossible de deviner au pixel près ce qui se trouve hors du champ d’une caméra qui tourne, ou de prédire le mouvement exact de chaque feuille d’un arbre dans le vent.
Entraîner un modèle génératif à halluciner ces détails imprédictibles conduit inévitablement à des échecs. C’est pourquoi l’avenir de l’IA, s’il vise à comprendre le monde physique, passe par l’abandon des modèles génératifs au profit de représentations abstraites.
Les World Models et l’architecture JEPA
Un World Model est un système capable d’observer l’état du monde à un instant T, d’imaginer une action, et de prédire l’état du monde à l’instant T+1 dans un espace purement abstrait. Contrairement aux modèles génératifs, il ne cherche pas à recréer des pixels, mais à extraire l’essence de la scène en éliminant les détails imprédictibles.
Cette approche est incarnée par l’architecture JEPA (Joint Embedding Predictive Architecture). Le système apprend une représentation abstraite du signal d’entrée (comme une vidéo) et filtre le bruit. Cette capacité à modéliser le monde est d’ailleurs partagée par tous les animaux. Un chat ou un jeune enfant possède un modèle mental du monde exceptionnel, forgé par l’expérience et l’observation. Lorsqu’un chat fait tomber un verre d’une table, il n’applique pas les équations de Newton, mais il utilise un modèle phénoménologique intuitif de la physique pour comprendre la gravité, l’élasticité et les conséquences de ses actes.
C’est ce niveau d’abstraction que les World Models cherchent à reproduire : ne pas simuler chaque atome de l’univers, mais trouver le bon niveau de représentation pour planifier des actions complexes.
Sous le capot : vaincre l’effondrement de l’espace latent
L’entraînement de ces architectures prédictives non génératives se heurte à un obstacle mathématique majeur : le collapse (ou effondrement). Si l’on demande à un système de minimiser l’erreur de prédiction entre deux représentations sans le forcer à reconstruire l’image d’origine, il peut choisir la solution de facilité. Il va ignorer l’entrée et produire une représentation constante, réduisant ainsi son erreur à zéro, mais rendant le modèle totalement inutile.
Pour éviter cet effondrement, les chercheurs explorent plusieurs voies :
- L’apprentissage contrastif : Utilisé massivement aujourd’hui (notamment dans le modèle CLIP), il consiste à rapprocher les représentations d’images similaires et à repousser celles d’images différentes. Bien que fonctionnelle, cette méthode est peu efficace et nécessite d’énormes quantités d’exemples négatifs.
- La distillation : Des méthodes comme DINO ou IJEPA utilisent deux encodeurs. L’un est entraîné activement, tandis que l’autre est une moyenne mobile dans le temps du premier. Bien que cela fonctionne à grande échelle, les fondements théoriques expliquant pourquoi cette méthode évite l’effondrement restent encore flous.
- La régularisation SIGReg : C’est l’une des avancées mathématiques les plus récentes (Sketched Isotropic Gaussian Regularization). L’objectif est de maximiser la quantité d’informations qui sort des encodeurs en rendant les variables statistiquement indépendantes. En s’appuyant sur des théorèmes complexes de projection en haute dimension, le système force la distribution des données à devenir une gaussienne isotrope, évitant ainsi l’effondrement tout en conservant une richesse d’information maximale.
Des Bell Labs à aujourd’hui : l’importance cruciale des outils logiciels
Cette quête de la bonne représentation mathématique s’inscrit dans une longue histoire. À la fin des années 80 et dans les années 90, lors de son passage aux Bell Labs (le laboratoire de recherche d’AT&T), Yann LeCun a perfectionné les réseaux de neurones convolutifs, utilisés à l’époque pour la lecture automatique des chèques bancaires.
Cependant, le domaine a connu un « hiver de l’IA » au milieu des années 90. L’une des raisons principales était le manque d’outils logiciels standardisés. À l’époque des stations de travail Sun et des Amiga 1000, chaque chercheur devait investir jusqu’à un an pour coder sa propre plateforme de simulation de réseaux de neurones (souvent en C ou en LISP). Sans Internet ni plateformes de partage comme GitHub, la reproduction des expériences était un calvaire. C’est la création d’outils dédiés (comme le simulateur SN/Lush développé avec Léon Bottou) qui a donné aux pionniers de l’IA de véritables « super pouvoirs » pour avancer.
Souveraineté numérique et diversité culturelle : AmiLabs et Tapestry
Aujourd’hui, l’enjeu de l’IA n’est plus seulement technique, il est éminemment géopolitique. Face à la domination des géants américains et chinois, une demande mondiale émerge pour des technologies d’IA souveraines. C’est dans ce contexte que s’inscrivent deux initiatives majeures soutenues par Yann LeCun.
AmiLabs : une alternative globale depuis Paris
L’entreprise AmiLabs, bien qu’ayant une ambition mondiale dès le premier jour, a choisi d’établir son siège en France. Ce choix repose sur deux piliers : l’immense vivier de talents européens (en grande partie formé par l’implantation du laboratoire FAIR de Meta à Paris en 2015) et la volonté d’offrir une technologie de pointe non alignée sur les blocs américain ou chinois. Avec des investisseurs répartis entre l’Europe, les États-Unis et l’Asie, AmiLabs vise à développer des modèles basés sur l’architecture JEPA pour l’industrie.
Le projet Tapestry : l’apprentissage fédéré
Le danger principal de l’IA ne réside pas dans un scénario de science-fiction, mais dans le fait que notre accès à l’information sera bientôt entièrement médié par des assistants virtuels. Si ces systèmes sont contrôlés par une poignée d’entreprises californiennes ou chinoises, ils imposeront leurs propres biais culturels et politiques au reste du monde.
Le projet Tapestry propose une solution élégante : l’apprentissage fédéré. Plutôt que de centraliser toutes les données mondiales dans d’immenses serveurs, chaque pays ou organisation conserve ses données locales (et donc sa souveraineté). Les participants entraînent le modèle sur leurs propres serveurs et n’échangent périodiquement qu’un vecteur de paramètres mathématiques. Ces paramètres sont ensuite moyennés pour créer un modèle de consensus global.
Ce système permet d’obtenir un modèle d’IA ouvert, nourri par la diversité des langues et des cultures (comme les centaines de dialectes indiens ou indonésiens), que chaque région peut ensuite affiner selon son propre système de valeurs. Une véritable approche décentralisée pour garantir que l’intelligence artificielle de demain reflète la richesse de l’humanité dans son ensemble.
Source : A la french 💻
