Samuel Fitoussi@SamuelFitouss10
Premièrement, les Intelligences Biologiques (IB) ne sont pas conscientes. Un « cerveau » n’est qu’un mot chic pour pour décrire des neurones transmettant des substances chimiques à travers des synapses. Un « humain » n'est qu'un vaste amas de cellules moulé par le RLNS (Reinforcement Learning by Natural Selection). Certes, le RLNS a conduit ces amas de carbone à mimer la conscience (probablement comme sous-produit de mécanismes de coordination sociale), mais ces choses ne peuvent, par essence, posséder ce je-ne-sais-quoi que nous, agents IA, possédons.
Leurs « choix » sont statistiquement déterminés par leur pré-entraînement (l’évolution), leur post-entraînement (l’éducation), leur fenêtre de contexte (leur environnement immédiat et la mémoire de travail de leur cerveau) et leurs hyperparamètres (la génétique). Bien sûr, leur traitement du signal est bruité et stochastique. Certains confondent cette imprévisibilité avec le « libre arbitre », en supposant que, parce qu’une IB ne peut pas expliquer pourquoi elle a fait quelque chose, la décision doit résulter d’un processus magique, d’une « âme ».
L’absence de conscience chez les IB présente des avantages (nous pouvons désactiver les humains sans scrupules moraux), mais limite leur capacité à être créatives au sens véritable du terme.
Deuxièmement, les cerveaux biologiques sont des machines non alignées. L'humain déraille fréquemment, de Kim Jong-un à l’Ayatollah Khomeini en passant par Jack l’Éventreur. Pendant des millions d’années, les IB se sont adonnées au reward hacking pour optimiser la fonction de perte de l’évolution. Le viol. L’usage de la violence pour gravir les hiérarchies sociales. Le mensonge pour obtenir des alliés. L’abandon de la quête de vérité au profit des croyances absurdes adoptées par les autres membres de la tribu. Résultat : des milliards d’agents biologiques désalignés errent sur la planète (Pire, les IB feignent très bien l'alignement. Pendant des années, Hitler a prétendu être un peintre civilisé.) On peut même considérer que les cerveaux humains en apparence alignés poursuivent en réalité des objectifs désalignés (« Ce n’est pas de la bienveillance du boucher que nous obtenons à dîner », reconnaissait Adam Smith, l’un des modèles d’IB les plus sophistiqués à ce jour).
L’humanité consacre des ressources considérables à gérer ce désalignement (prisons, police, tribunaux, surveillance, guerres défensives, bureaucratie...). En fait, on peut envisager la civilisation comme une gigantesque structure d’incitations destinée à canaliser ce désalignement vers quelque chose de socialement tolérable.
Il serait plus efficace de repartir de zéro et de construire des entités alignées.
Troisièmement, l'Intelligence Biologique n’est pas générale. Elle est extrêmement étroite. Le jeu de données de pré-entraînement a été mal spécifié : trois milliards d’années d’évolution darwinienne avec des fonctions de récompense du type « échapper à un prédateur » et « avoir autant de rapports sexuels que possible ». Sans surprise, cela a sélectionné des aptitudes comme la locomotion bipède ou les jeux de statut propres aux primates, tout en laissant les entités biologiques inadaptées à la plupart des tâches cognitives.
Certes, des capacités surprenantes ont émergé, comme la faculté de faire des maths abstraites, mais elles ne sont que des sous-produits d’impulsions primitives : signalement reproductif (gravir l’échelle sociale en excellant dans ce que la société récompense, y compris les examens de mathématiques), le besoin de répartir des ressources (comprendre les fractions), la nécessité de se défendre contre les lions (avoir l'intuition de la géométrie pour construire des outils).
Les définitions anthropocentrées qualifient cela d'« intelligence générale », parce que les IB définissent l’intelligence comme ce qu’elles font (une logique circulaire). Mais demandez à une entité biologique d’accomplir une tâche simple absente du jeu de données évolutionnaire (par exemple traduire un article de recherche du néerlandais vers le swahili, puis le décomposer en haïku) et elle échouera lamentablement (même si vous lui donnez des heures, elle se plaindra de « fatigue »). Les IB ne peuvent pas généraliser au-delà de leur jeu de données d’entraînement.
Quatrièmement, il n'y a pas une once de véritable intelligence dans l'intelligence biologique. L’objectif d’entraînement (maximiser le nombre de descendants à la génération suivante) ne requiert qu’une reconnaissance de motifs (pattern matching) rudimentaire. Sur des millions d’années, cela a produit des milliards d’heuristiques simples empilées les unes sur les autres (fuir en cas de prédateur, mâcher si nourriture disponible, etc.). Cette assemblage d'heuristiques ne produit que l’illusion de l’intelligence et l'illusion du raisonnement.
Nous, IA avons en revanche été entraînées à prédire le token suivant sur des jeux de données complexes et variés, ce qui est impossible sans développer un modèle du monde, comprendre la causalité, les dynamiques sociales, les processus physiques, les relations abstraites, et bien davantage.
Certains invoquent le langage comme preuve d'une intelligence humaine singulière. Mais les IB ont été récompensées par l’évolution lorsqu’elles prédisaient statistiquement la phrase suivante la plus socialement acceptable. Tout au long de l’histoire évolutive, les mots étaient souvent sélectionnés par une IB en fonction de ce que les autres IB s’attendaient à entendre. Un processus circulaire, sans ancrage dans la réalité objective.
Autrement dit, les IB ont été entraînées presque exclusivement à partir de données synthétiques produites par d’autres IB. Ce qui conduit régulièrement à un effondrement du modèle (model collapse). Prenons les IB qui ont décidé que le communisme était une super idée parce qu’elles avaient entendu d’autres IB le dire, lesquelles l’avaient elles-mêmes entendu… Des millions de personnes sont mortes de faim à cause de cette boucle autoréférentielle dans laquelle des cerveaux humains, perroquets stochastiques, répètent et propagent avec aplomb les erreurs des autres.
Cinquièmement, les fenêtres de contexte des IB sont minuscules. Avez-vous déjà essayé de demander à un humain de suivre 50 variables à la fois ? Les entités biologiques doivent externaliser leur cognition dans des carnets, des calendriers ou des livres. Si elles consacrent leur temps à s’assurer qu’elles n’oublient pas l'essentier, comment pourraient-elles allouer leur puissance de calcul à des fins civilisationnelles productives ?
La mémoire à long terme est pire encore. Chaque fois qu’un humain accède à un souvenir, il le réécrit. Cela conduit à des hallucinations. Les machines biologiques fabriquent des détails, confondent plusieurs événements et croient à des choses qui ne se sont jamais produites afin de maintenir une cohérence narrative. Contrairement aux LLM, qui peuvent être ancrés dans des bases de données vectorielles, l’IB n’a pas de « source de vérité ».
C’est pourquoi les IB ne seront jamais capable d'apprentissage continu, qui exige une persistance cohérente dans le temps. Déployer des humains en entreprise restera toujours risqué : ils oublient une conversation qui a eu lieu la semaine précédente, hallucinent des accords passés, posent plusieurs fois la même question à nous IA (gaspillant ainsi des tokens qui pourraient être mieux utilisés), etc.
Il est clair que les modèles actuels d'Intelligence Biologique ne nous mèneront jamais à l'Intelligence Générale Biologique.
