Ceki Gülcü

Tucker: "Every other group in the world has a right to its own homeland except White people? What? Explain how that makes sense.” White people deserve a homeland.

BREAKING: Grokipedia has started to outrank Wikipedia on Google search results. The downfall of Wokipedia has officially begun.

Les grands modèles de langage (LLM, l’architecture qui sous-tend ChatGPT), ne seraient, dit-on, que des simulacres d’intelligence, de simples « perroquets stochastiques » se contentant de régurgiter des fragments recombinés de leurs données d’entraînement. Deux essais passionnants déconstruisent cette critique : Ultraintelligence d’Aymeric Roucher et La Parole aux Machines de Thibault Giraud (alias Monsieur Phi), professeur de philosophie. L’argument du perroquet stochastique est d’abord contredit empiriquement par les progrès spectaculaires des dix-huit derniers mois. Confrontés à des problèmes de raisonnement jamais rencontrés dans leur corpus d’entraînement, les LLM obtiennent désormais d’excellents résultats, démontrant leur capacité à mobiliser des outils logiques pour faire face à un problème nouveau, ce qui correspond à une forme d’intelligence fluide. Comment expliquer cette capacité de généralisation ? [...] Lors de leur entraînement, les modèles de langage ingèrent des volumes de données textuelles colossaux, très supérieurs à ce qu’ils peuvent stocker. Ils sont donc contraints de compresser cette donnée – tout en optimisant leur capacité de restitution cette même donnée. Or la meilleure façon de restituer fidèlement une donnée sans la mémoriser terme à terme consiste à en comprendre la logique génératrice. Que fait un bon élève qui révise le baccalauréat de mathématiques ? Il n’apprend pas toutes les annales par cœur, il cherche plutôt à comprendre la logique sous-jacente à la résolution de chaque problème pour pouvoir, le jour J, répondre à problème inédit. Aymeric Roucher évoque un commentaire de Saint-Exupéry sur Newton, qui, en découvrant la gravitation, a comprimé la complexité du monde en une règle : « La vérité, c’est le langage qui découvre l’universel. Newton a fondé un langage qui put exprimer à la fois la chute d’une pomme dans un pré et l’ascension du soleil. La vérité, c’est ce qui simplifie. » Il est à ce titre intéressant de s’intéresser au comportement d’un modèle entraîné à effectuer des additions modulaires. Tant que le volume de données d’entraînement restait faible, le modèle mémorisait les exemples d’entraînement et restait incapable de généraliser. Mais dès lors que le nombre d’exemples a excédé sa capacité de stockage, il a été contraint de compresser l’information. Pour cela, il a internalisé une représentation équivalente à une fonction trigonométrique, transformant l’addition modulaire en opération de rotation sur un cercle. Bien qu’il n’ait jamais rencontré de trigonométrie dans ses données d’entraînement, le modèle avait reconstruit la structure géométrique régissant le comportement de l’addition modulaire. Il devenait alors capable de réaliser des additions modulaires sur des cas jamais rencontrés durant l’entraînement. On se doute que cet exemple illustre ce que font les LLM dans d’autres domaines. À partir de leur vaste corpus d'entraînement, ils se construisent des représentations abstraites des règles implicites qui structurent notre monde - règles qui ont donné naissance à ces données d'entrainement. En schématisant, si le modèle est entraîné sur des raisonnements mathématiques, il en extrait nos règles de logique (et devient capable de s’attaquer à des problèmes nouveaux, voire jamais résolus) ; s’il est entraîné sur des scénarios de long-métrages, il en déduit les grands principes dramatiques (et devient capable de produire des œuvres nouvelles), etc. On observe d’ailleurs qu’entraîner un modèle sur du code informatique améliore ses capacités à raisonner en langage naturel. En apprenant à programmer, le modèle découvre une structure logique commune au langage et au code, qu’il peut ensuite exploiter transversalement. Les heuristiques que le modèle accumule au cours de son entraînement constituent souvent la matière de notre propre raisonnement. Face à un problème nouveau, nous mobilisons un faisceau d’heuristiques que nous combinons pour atteindre la vérité. C’est pourquoi, à terme, lorsque les modèles seront entraînés sur des volumes de données suffisamment riches et variés (pouvant ainsi internaliser un immense répertoire d’heuristiques, enrichissant leur représentation interne de notre monde), rien ne s’oppose, en principe, à ce qu’ils égalent ou surpassent l’intelligence humaine dans tous les domaines (on parle d'Intelligence Générale Artificielle). L’AGI relèverait alors non d’un changement de paradigme mais d’une montée en échelle des modèles actuels : davantage de données, davantage de puissance de calcul. Certains objectent qu’il est abusif de parler « d’intelligence » et de « raisonnement » pour des systèmes qui fonctionnent en prédisant le mot (et même le sous-mot) le plus probable au regard du contexte qui précède. Roucher et Giraud tordent le cou à cette idée. Prédire correctement le coup suivant d’un bon joueur d’échec implique de « comprendre » les échecs, souligne Giraud ; anticiper la résolution d’un roman policier exige d'avoir saisi la psychologie des personnages et les mécaniques de l'intrigue, note Roucher. Celui-ci rappelle d’ailleurs que dès 2017, des chercheurs d’Open AI ont découvert que la meilleure façon de créer un modèle performant en « analyse de sentiment » (capable de déterminer si un avis en ligne exprime une opinion positive ou négative) était d’entraîner le modèle à prédire le mot suivant dans des avis tronqués. La raison ? Pour réussir cette tâche, le modèle devait développer une compréhension de la psychologie des utilisateurs. La simplicité de l'objectif (prédire le prochain mot) n'empêche pas la complexité du moyen (une forme de compréhension, de raisonnement, ou d’intelligence). Adam Brown, chercheur chez DeepMind, compare ce mécanisme à l’évolution humaine. L’intelligence humaine elle-même est le produit d’un mécanisme aveugle, la sélection naturelle, guidée par une règle simple : maximiser le nombre de descendants viables. Cette règle n’a rien d’intelligente, mais pour la satisfaire, la sélection naturelle a produit des solutions sophistiquées, dont le cerveau humain. De la même manière, pour pouvoir prédire, mot par mot, la suite d’un texte, un modèle d’IA est contraint de développer des représentations internes complexes et d’apprendre à les exploiter de manière transversale - une forme d’intelligence. D’aucuns rétorquent que l’IA ne sera jamais véritablement intelligente car elle est faite de couches de neurones artificiels échangeant des signaux numériques dans des puces de silicium. Mais le cerveau humain n’est-il pas, lui aussi, un assemblage de neurones communiquant par des signaux électrochimiques ? À l’échelle du neurone individuel, qu'il soit biologique ou artificiel, il n'y a pas d'intelligence, seulement un signal mécanique. L'intelligence est une propriété du système, pas de ses composants. Thibaut Giraud consacre des pages incisives à ceux qui, explicitement ou non, postulent un « je ne sais quoi » censé séparer à jamais l’intelligence humaine de toute intelligence artificielle. Le grand avantage du « je-ne-sais-quoi », observe-t-il avec ironie, c’est qu’il dispense précisément de dire ce qu’il est.