La tour de Babel de notre époque

Deux textes ont paru à quelques jours d'intervalle.

L'un est « When AI builds itself » d'Anthropic : il démontre par les données que l'IA a commencé à accélérer son propre développement — avec des indicateurs internes jusqu'ici non publiés : plus de 80 % du code est désormais écrit par les modèles eux-mêmes. L'autre est une encyclique, Magnifica Humanitas de Léon XIV (cet article porte sur son troisième chapitre, consacré à l'IA), sur la dignité humaine à l'ère de l'IA.

Un ingénieur et un pape, dans deux systèmes de langage radicalement différents. En principe, aucun point commun ; pourtant, ils désignent encore et encore le même sujet, depuis des directions opposées. Voici quelques-uns de ces points — et la question commune qui les surplombe.

1. L'auto-amélioration récursive

Alors que la plupart des discussions sur l'IA s'enlisent sur la question « est-elle plus intelligente que nous ? », les deux textes l'esquivent discrètement.

Ce qui change vraiment la donne n'est pas un modèle plus intelligent, mais une boucle de rétroaction : le système devient une pièce porteuse de sa propre itération. Anthropic la nomme sans détour : l'auto-amélioration récursive, et la quantifie — l'horizon des tâches double environ tous les quatre mois, les modèles prennent en charge toujours plus de travail d'ingénierie et mènent des expériences qui produisent la génération suivante de modèles.

L'encyclique n'emploie évidemment aucun terme d'ingénierie, mais elle invoque l'une des images les plus anciennes qui soient : la tour de Babel. Nous avons l'habitude de ranger Babel sous « orgueil » et « hauteur » ; pourtant, au fond, c'est aussi l'histoire d'un projet qui grandit plus vite que la coordination qui le soutient — et qui se disperse pour cette raison. Une boucle échappée à ses bâtisseurs. Retirez l'habillage théologique, et il reste un schéma de système :

• une rétroaction positive

• aucun mécanisme de régulation

• une capacité qui revient vers le système et le renforce

Les données d'Anthropic dessinent ce schéma ; le pape en annote le mode de défaillance.

L'auteur : le seuil qui compte vraiment n'est peut-être pas la « superintelligence », mais l'instant où un outil entre dans l'auto-amélioration récursive — un seuil bien plus bas et bien plus proche.

2. L'opacité du système

Voilà un terrain d'entente qu'il ne faut pas sous-estimer.

La phrase la plus pénétrante techniquement de l'encyclique est celle-ci : l'IA moderne est « cultivée plutôt que construite » — les développeurs n'assemblent pas les capacités bloc par bloc ; ils cultivent une architecture, les capacités émergent du processus d'entraînement, et les représentations internes du système restent, pour une large part, invisibles même à ses développeurs. Ce n'est pas un théologien qui s'aventure hors de son domaine : c'est une description exacte de l'entraînement des IA de pointe.

Toute la thèse d'Anthropic repose sur le même fait : ces systèmes sont émergents, de plus en plus autonomes, et orientent déjà une partie de leur propre amélioration.

L'auteur : les deux camps s'accordent donc sur la prémisse — nous déployons des systèmes que nous ne savons pas entièrement lire — et se séparent sur la conclusion. Pour l'ingénieur, l'opacité et le problème d'alignement qui en découle sont un problème à résoudre. Pour le pape, elles justifient l'humilité et le coup de frein.

3. La technologie n'est pas neutre

L'encyclique le dit sans détour : la technologie « porte le visage de ceux qui la conçoivent, la financent, la régulent et l'utilisent », et frappe plus fort encore — « si la morale de l'IA est décidée par quelques-uns, une IA plus morale n'a aucun sens ».

Ce n'est pas une critique humaniste vague. C'est un énoncé précis sur la manière dont les valeurs s'inscrivent dans le code : quelle fonction objectif, quel signal de récompense, quel critère d'évaluation, quel mécanisme de filtrage des données. L'article d'Anthropic le confirme sans se dérober — il note que les ingénieurs humains « décident encore quel est le problème et fixent les critères de notation ». Il décrit aussi un système de revue automatisé qui applique une certaine norme de qualité à l'ensemble du code.

L'auteur : les « quelques-uns » que l'encyclique met en garde ne sont pas une figure de style, mais un petit groupe bien réel qui fixe les normes — un groupe auquel appartiennent les auteurs de l'autre texte.

4. Quand l'humain devient le goulot d'étranglement — le vrai point de divergence

Anthropic invoque la loi d'Amdahl : accélérer une étape d'un processus ne supprime pas la contrainte, cela la déplace. Leur exemple est concret : à mesure que la production de code par les modèles explose, la relecture humaine du code devient le nouveau goulot d'étranglement.

L'encyclique décrit le même phénomène en langage éthique : quand « l'exécution » devient presque gratuite, la ressource rare devient la « décision » — et, avec elle, la question de savoir si quelqu'un en répond encore.

Les deux textes convergent donc sur le même point : l'humain dans la boucle.

Mais ils lui donnent des sens radicalement différents.

L'auteur : pour l'ingénieur, c'est une latence, une friction à compresser et à optimiser sans cesse ; pour le pape, c'est le dernier point d'ancrage de la responsabilité, un mur porteur qu'il ne faut jamais abattre. Le désaccord ne porte pas sur l'emplacement du goulot d'étranglement, mais sur la question de savoir s'il est un défaut du système ou la raison d'être du système.

Fait intéressant : les propres salariés d'Anthropic commencent à rapporter les conséquences de cette tension.

L'un regrette l'économie du don, ces petits services rendus entre collègues ; un autre écrit que les jours où tout tournait bien, « peu importait ce que je faisais… mais quand le système s'est cassé, j'ai soudain réalisé que je ne savais plus ce que je faisais ».

L'auteur : les personnes les plus proches de l'accélération décrivent, dans leurs propres mots, l'érosion que redoute l'encyclique : à mesure que le jugement et la création sont transférés au système, l'humain ne perd pas seulement la tâche, il perd aussi le sens de cette tâche. Le jugement humain, lent, la friction nécessaire, et même la capacité limitée, ne sont peut-être pas de simples inefficacités à optimiser, mais les conditions qui rendent possibles la responsabilité, la participation et le sens.

5. L'avenir n'est pas écrit

Les deux textes semblent annoncer un désastre ; c'est pourtant l'inverse.

Anthropic affirme clairement que l'auto-amélioration récursive n'est pas inévitable. L'encyclique dit que la technologie « n'est pas un destin ». Les deux refusent le déterminisme technologique : ils avancent donc une thèse politique et éthique — la trajectoire est un choix, et ce choix reste ouvert.

L'auteur : les deux textes sont la moitié manquante l'un de l'autre. Anthropic explique comment cela pourrait arriver, mais sans finalité : la réponse à « que devrions-nous faire ? » se réduit à la coordination et à la vérification. On dirait une gouvernance qui ne sait pas pour quoi elle gouverne. L'encyclique, elle, fournit une téléologie explicite : la dignité humaine, le bien commun. Mais elle traite surtout le mécanisme technique comme une boîte noire, à contenir de l'extérieur.

En mettant les deux textes côte à côte, on atteint enfin la vraie question : si l'intelligence commence à participer à sa propre création, à quoi les êtres humains veulent-ils qu'elle serve ? Et qui a le droit de répondre à cette question ?

Conclusion

La question la plus fondamentale de l'ère de l'IA n'est pas de savoir si les machines seront plus intelligentes que nous, ni si elles remplaceront certains métiers. Elle est celle-ci : à mesure que nous confions toujours plus de la construction à ce que nous avons construit, les êtres humains sont-ils encore les auteurs de leur propre avenir — ou se dégradent-ils discrètement en régulateurs d'un processus qu'ils ne savent plus entièrement lire ?

Sur ce point, le désaccord entre Anthropic et le pape touche au cœur. Le premier estime que le jugement, le goût et le sens de la direction propres à l'humain sont la prochaine frontière de capacité à franchir ; le second estime qu'ils sont précisément le socle d'humanité que la technologie ne pourra jamais occuper.

Le vrai choix de notre époque n'est donc plus technique, mais civilisationnel :

Construisons-nous une tour de Babel qui accélère sans fin jusqu'à échapper au contrôle de ses bâtisseurs ?

Lire les sources :

MAGNIFICA HUMANITAS

https://www.vatican.va/content/leo-xiv/fr/encyclicals/documents/20260515-magnifica-humanitas.html

When AI builds itself

https://www.anthropic.com/institute/recursive-self-improvement