Georges Gauvain

Deux anecdotes sur les LLM et les échecs, apprises dans le passionnant livre de Thibaut Giraud (@MonsieurPhi) : 1) Donnez à un LLM le contexte d’une partie d’échecs opposant Magnus Carlsen à Gary Kasparov, ainsi que 2/3 premiers coups crédibles, puis demandez à votre LLM de générer à chaque fois le coup suivant de Carlsen. Le LLM jouera une partie d’un excellent niveau (Elo 1800). Donnez maintenant à votre LLM le contexte d’un début de partie où Carlsen commence par une grossière erreur. Comment joue votre LLM ? Il choisit uniquement des coups catastrophiques. Un beug ? Pas du tout. Entrainé à prédire la suite d’un texte de la façon la plus plausible, le LLM tente de reproduire le comportement que Magnus Carlsen adopterait avec la plus forte probabilité dans cette situation. Or quelle est l’hypothèse la plus probable : que Carlsen ait commis une erreur de débutant au 2ème coup d’une partie ou qu’il ait volontairement choisi de mal jouer ? À juste titre, le LLM choisit la deuxième option. Fin psychologue et fin logicien, il infère l’intention des êtres humains. 2) Comment expliquer qu’un modèle de langage, uniquement entrainé sur des séquences textuelles de coups (format « e4 c5 2. Nf3 d6 3. d4 cxd4… ») parvienne à jouer aux échecs à un excellent niveau ? Le modèle ne « recrache » pas ses données d’entrainement puisque chaque partie d’échec est unique au monde (ceux qui accusent les LLM d’être des « perroquets stochastiques » n’ont rien compris). Le LLM n’a pas retenu ses données d’entraînement (il les a même oubliées pour la plupart), il en a extrait la métarègle qui présidait à leur génération (en l’occurrence : les règles et les stratégies des échecs). Thibaut Giraud raconte l’expérience d’un chercheur nommé Adam Karvonen. Celui-ci a entraîné un petit LLM uniquement sur des comptes rendus textuels de parties d’échec, sans jamais lui montrer un échiquier ni lui apprendre les règles. Le LLM obtenu jouait très bien aux échecs (Elo 1500). Quelle forme prenait sa « compréhension » du jeu ? Karnoven a réussi à corréler chaque situation précise sur le plateau d’échecs avec un état d’activation du réseau de neurones. Il a ainsi découvert qu’à l’intérieur du modèle il y avait bien… une représentation interne d’un jeu d’échecs, ou d’un espace de huit cases sur huit cases sur lequel se déplacent des objets suivant un ensemble de règles. L’exemple est tout sauf anecdotique, car il permet de comprendre comment l’entrainement des LLM sur corpus massifs de textes hétérogènes leur permet de devenir véritablement « intelligents », c’est-à-dire capables de résoudre des problèmes qui dépassent leurs données d’entraînement. À partir de données textuelles, les LLM déduisent des règles abstraites correspondant le plus souvent à un modèle très réaliste de notre monde, contenant tous nous heuristiques et toutes nos règles (règles de la physique, de la logique, des échecs, etc.). Les LLM « schématisent le processus qui a, selon toute vraisemblance, produit les données sur lesquelles on les a entrainés », résume Giraud. Les LLM « comprennent » notre monde.

Bravo à M. @BallyBagayoko en qualité de Maire pour suivre la restauration de la nécropole des Rois de France.

Interview à lire : "On a recensé plus de 100 cas d’#hantavirus en Argentine l’an dernier, sans transmission interhumaine. Celle-ci implique probablement des super-contaminateurs. [Cela] nous conforte dans l'idée que la situation à bord du navire s'arrêtera d'elle-même." 1/2

@Gauvain_georges @Zblakzz Tu sais pas lire, Georges.