Les LLMs face aux barrières fondamentales de la complexité
La théorie de la complexité rappelle que le calcul de la plupart des systèmes, LLMs inclus, ne peut pas être réduit à des calculs plus simples. Il n’y a pas de raccourci pour comprendre ou contrôler des systèmes émergents.
Cet article date de plus d’un an. Certains constats ont pu évoluer depuis.
Pourquoi la théorie de la complexité nous rappelle qu'il n'existe pas de raccourci pour comprendre les systèmes émergents
Même les grands du monde des LLMs semblent oublier les barrières fondamentales de la science: au même titre que la thermodynamique, la théorie de la complexité nous dit que le calcul fait par la plupart des systèmes qui nous entourent, LLMs inclus, ne peut fondamentalement pas être réduit à des calculs plus simples; il n'y a tout simplement pas de raccourci possible.
L'échec répété du réductionnisme
On essaye tous les jours avec la matière quantique en se cassant les dents. On a essayé avec le cerveau, ça n'a rien donné. On a essayé avec des circuits qu'on a pourtant créés nous-mêmes, ça n'a pas marché non plus (voir cette étude sur l'impossibilité de reverse-engineer un microprocesseur).
L'illusion du contrôle des systèmes émergents
On essaie maintenant avec les LLMs et on pense que ça va permettre une compréhension profonde ou plus absurde encore, un contrôle de systèmes complexes émergents??
Il n'y a tout simplement pas de raccourci possible pour comprendre la complexité émergente.
Les leçons de la théorie de la complexité
La théorie de la complexité computationnelle nous enseigne une vérité fondamentale: certains calculs ne peuvent être simplifiés sans perdre leur essence. Cette réalité s'applique autant aux systèmes quantiques qu'aux réseaux de neurones biologiques ou artificiels. Prétendre pouvoir réduire ces systèmes à des mécanismes plus simples relève de l'hubris scientifique.
Les LLMs, malgré leur sophistication apparente, restent soumis à ces mêmes lois fondamentales. Leur comportement émergent ne peut être prédit ou contrôlé par des méthodes réductionnistes, pas plus que nous ne pouvons prédire le comportement d'un cerveau en analysant ses neurones individuels.
Accepter la complexité irréductible
Plutôt que de chercher vainement des raccourcis impossibles, nous ferions mieux d'accepter la nature irréductiblement complexe de ces systèmes. Cette acceptation n'est pas une défaite, mais une reconnaissance mature des limites fondamentales imposées par les lois de la physique et de l'informatique théorique.