Les LLMs sont les premiers systèmes capables d'approximer des jugements humains sur la nature d'un discours
Les LLMs savent reproduire les caractéristiques qualitatives du langage humain, y compris des jugements sur la nature d’un discours, mais pas vérifier des faits. Le texte précise cette affirmation, ses limites et son usage possible pour analyser les biais médiatiques.
Cet article date de plus d’un an. Certains constats ont pu évoluer depuis.
Clarification sur les capacités fondamentales et les limites des grands modèles de langage
Je suis surpris que cette affirmation ne fasse pas encore l'unanimité, même parmi des journalistes experts du sujet. Une clarification s'impose.
Les limites de notre langage pour décrire les LLMs
Avant tout, reconnaissons les limites de notre langage pour décrire les LLMs. Ces systèmes, à l'instar du cerveau humain, opèrent à un niveau de complexité qui défie les descriptions mécanistes simples (comme la plupart des systèmes physiques). Je ne peux donc qu'offrir une approximation linguistique de leur fonctionnement, avec la conscience que ces mots résonneront différemment selon l'expérience et les connaissances de chaque lecteur.
La capacité fondamentale d'approximation
Lorsque j'affirme que les LLMs sont des systèmes «capables d'approximer un jugement humain sur la nature d'un discours», j'évoque leur capacité fondamentale à reproduire d'innombrables caractéristiques qualitatives du langage humain (stylistiques, rhétoriques, etc.). C'est peut-être l'aspect le plus incontestable de leur comportement, puisque ces systèmes sont entraînés précisément à formuler une suite de mots (tokens) qui imite au mieux ce qu'un humain formulerait, dans le cadre de leur corpus d'entraînement.
Les LLMs ont donc la capacité fondamentale d'imiter de façon convaincante la manière de s'exprimer de différents groupes humains, incluant des jugements sur la nature d'un discours.
Faites le test et demandez à un LLM: «Sans autre contexte, ce texte te paraît-il ironique?» Sa réponse s'alignera remarquablement avec celle qu'un groupe humain représentatif des données d'entraînement formulerait. Avec un cadrage approprié, ces systèmes peuvent même s'approcher des performances d'experts dans l'analyse de caractéristiques qualitatives spécifiques.
Pourquoi les «premiers» de l'histoire?
J'affirme aussi que les LLMs sont les premiers systèmes de l'histoire avec de telles capacités. Pourquoi? Parce que toutes nos tentatives précédentes (des décennies d'efforts en analyse automatique de sentiments, filtrage de spam, ou classification de genres textuels) n'ont jamais atteint ni cette polyvalence ni cette précision.
C'est la révolution du deep learning qui a transcendé ces limitations: au même titre qu'on n'avait jamais réussi à écrire des programmes capables de distinguer un chien d'un chat, on s'en est sorti en passant à de grands modèles universels entraînés sur un gros volume de données, par pure émergence (pour les éventuels physiciens).
La limite cruciale
Les LLMs ne sont pas capables de reproduire des caractéristiques quantitatives. Dans le jargon technique, on dit qu'ils ne sont pas capables de vérification formelle sur des aspects qui ne sont pas approximables, comme des faits ou des chaînes de raisonnement spécifiques. Pour cela, il faut les combiner avec des outils de vérification formelle, comme des bases de données ou des outils de planification. Avec une analyse risques-avantages bien étayée.
Une discipline de recherche entière
Ce qui rend mon affirmation principale évidente aux yeux des spécialistes va au-delà de la théorie: c'est l'existence d'une discipline de recherche entière qui utilise désormais les LLMs comme évaluateurs de propriétés qualitatives diverses. Des frameworks comme OMNI-EPIC montrent que ces systèmes peuvent même juger approximativement bien de dimensions aussi subjectives que le caractère novateur ou stimulant d'une idée.
L'incompréhension médiatique face à cette réalité scientifique révèle un retard inquiétant dans la vulgarisation scientifique. Pour ceux qui souhaitent combler ce fossé, je vous invite à commencer ici et comme toujours, à continuer sur Google Scholar en explorant les articles cités/citant.
Détection de la désinformation
J'ai aussi affirmé que «combinés à des moteurs de recherche traditionnels, les LLMs représentent la seule possibilité technologique actuelle de détecter la désinformation à grande échelle». Non pas en termes de faits, bien évidemment, mais en termes qualitatifs de biais médiatiques divers, notamment.
Le sous-domaine dédié à l'analyse des biais médiatiques par LLMs demeure étonnamment sous-exploré malgré les capacités démontrées dans d'autres domaines d'évaluation par LLMs. Je soupçonne que la plupart des chercheurs évitent délibérément ces applications, anticipant des réactions hostiles d'une industrie médiatique plus encline à scruter démesurément les biais des algorithmes plutôt qu'à se laisser évaluer par ces mêmes outils. Un point de départ possible (décrivant une approche naïve de non-techniciens mais efficace).
Puisque certains abordent des sujets techniques par le culte de la personnalité, j'ai un argument encore plus «fort» pour appuyer mon affirmation: Yann LeCun l'a dit: («En matière de désinformation, l'IA n'est pas le problème mais la solution»).
Une proposition concrète
Pour les médias sincèrement engagés dans l'amélioration de leur traitement de l'information: AI Swiss se rend volontiers disponible pour échanger comme nous le faisons avec l'ensemble de la communauté suisse. Mieux encore, nous vous tendons la main avec une proposition concrète: vous aider à mettre en place un outil permettant à vos lecteurs d'évaluer eux-mêmes, via des LLMs, les caractéristiques qualitatives de vos publications.