lesarborescents

L'IA ne ferait que recracher des variations de sa donnée d'entraînement. Elle ne créerait jamais vraiment, elle produirait des pastiches. Il y a je pense plusieurs problèmes avec cet argument. D'abord, l'être humain est lui aussi entraîné uniquement sur de la donnée passée, et pourtant, il est capable de créer des choses nouvelles. Beethoven n'avait été "entraîné" que sur des sonorités déjà existantes, cela ne l'a pas empêché de créer la 9ème. Peut-être que ce qui est possible pour l'humain ne le sera jamais pour la machine, mais il faut alors tenter d'expliquer pourquoi (sinon c'est une position de principe irréfutable). Quel "je ne sais quoi" distinguera pour toujours le réseau de neurones des IA de celui du cerveau humain ? En quoi cette différence rendra-t-elle impossible un "véritable" acte de création dans un cas, et pas dans l'autre ? Deuxièmement, affirmer que les LLM ne peuvent que moyenner leur donnée d'entraînement, c'est méconnaître le phénomène du "grokking". À un certain stade du processus d'entraînement, le réseau de neurones cesse de mémoriser les exemples et découvre les régularités qui structurent sa donnée d'entraînement. Par exemple, un réseau de neurones entraîné à effectuer des additions modulaires internalise dans ses poids des fonctions trigonométriques, car l'addition modulaire est au fond une opération de rotation sur un cercle. Il peut ensuite additionner des nombres plus longs que ceux sur lesquels il a été entraîné, ce qui serait impossible s'il se contentait de "moyenner" sa donnée d'entraînement. De même, entraîné sur la production musicale du passé, un réseau de neurone peut sans doute extraire certains principes premiers (présents implicitement dans la donnée) comme le cycle des quintes, les fonctions harmoniques, les principes de conduite des voix, la gravité tonale, les régularités rythmiques et formelles, etc. Ce sont ces principes qu'il peut ensuite exploiter pour créer; ce sont ces mêmes principes que Beethoven exploitait pour créer. Autrement dit, au cours de son entraînement, l'IA acquiert des briques de logique, (à des niveaux d'abstraction de plus en plus élevés) qu'elle peut ré-utiliser de manière transversale pour créer des choses véritablement nouvelles, comme un humain (dont tout acte de création consiste à remonter à des principes premiers pour recombiner l'existant en une forme inédite et harmonieuse). Troisièmement, les LLM ne sont pas qu'entraînés que sur la donnée du passé. L'apprentissage par renforcement (entre autres) permet de créer de la donnée nouvelle : on demande des milliers de fois au LLM de créer des choses nouvelles, et quand, par chance, il crée de choses belles, on le ré-entraine sur ce qu'il a produit. C'est une source (presque) infinie de donnée nouvelle (responsable d'une bonne partie des progrès des modèles depuis 12 mois), et qui ne semble pas heurter de mur. Quatrièmement, il suffit désormais d'utiliser quelques minutes un LLM pour voir que les IA sont déjà capables de créer des choses nouvelles et impressionnantes. Ceux qui s'accrochent à la construction théorique selon laquelle une IA ne pourra jamais être "véritablement" créative me font penser à l'universitaire qui demande : "Ok, cela fonctionne en pratique, mais est-ce que cela fonctionne en théorie ?"