ChatGPT est une machine d’idéologie – Leif WEATHERBY

Cet article fut publié dans Jacobin magazine, avril 2023. L’original se trouve ici (David Buxton).

Le 16 février 2023, le Bureau pour l’équité, la diversité et l’inclusion à Vanderbilt University (Nashville, États-Unis) a publié un communiqué sur la fusillade qui venait de se produire à Michigan State University. Déployant les éléments de langage typiques de ce genre de déclaration, il a proposé que l’université « se rassemble en tant que communauté pour réaffirmer [son] engagement de prendre soin de tous, de promouvoir une culture d’inclusion sur les campus […] et d’honorer les victimes de cet évènement tragique ». Le seul aspect remarquable du message était la note en bas de page créditant ChatGPT (OpenAI, filiale de Microsoft) pour la rédaction d’un premier jet. Face au tollé général, le Bureau s’est excusé le lendemain.

Cet évènement curieux met en relief le cycle de panique à l’égard de l’intelligence artificielle. ChatGPT, un « grand modèle de langage » qui génère du texte en prédisant le prochain mot dans une séquence, fut lancé en novembre 2022. Actuellement, il a plus de cent millions d’usagers (un taux de croissance record pour une application), déclenchant une nouvelle vague de débats sur la possibilité que les machines deviennent « intelligentes ». La plateforme a été brièvement fermée en février 2023 après la transcription par un journaliste du New York Times d’un échange où ChatGPT a insisté longuement qu’il l’aimait, que le journaliste n’aimait pas sa femme, et que lui, ChatGPT, « voulait être vivant ».

Ces débats, incluant l’alarmisme exhibitionniste, relèvent pour la plupart de foutaises. Mais les systèmes eux-mêmes doivent être pris au sérieux. Il se peut qu’ils remplacent des tâches simples de rédaction et d’encodage, de même que l’usine a désagrégé et appauvri le travail physique. Puisque ces systèmes peuvent écrire du code, l’industrie des logiciels pourrait disparaître comme source d’emplois, ce qui est déjà en cours dans le journalisme (par exemple, Buzzfeed s’est engagé à n’utiliser que ChatGPT pour la création des contenus). Bien entendu, l’automatisation n’est jamais totale, mais la réaffectation de certaines tâches à des machines est une constante du capitalisme. Quand ces tâches sont de nature cognitive, la machine peut rendre floues les frontières sociales cruciales entre travail et encadrement, et entre travail et temps libre entre autres.

Les conditions pour le capital devraient changer aussi. Un signal amusant en est l’erreur factuelle commise par le concurrent à ChatGPT, Bard, lors d’une démonstration le 8 février 2023, qui a fait perdre à la société mère Google 100 milliards de dollars en valeur boursière en une seule journée. S’il reste quelqu’un qui ne comprend pas ce qu’implique le terme « économie de l’information », cet exemple devrait l’éclairer. Quelle que soit la manière dont la prochaine phase du capitalisme technologique se déroulera, la nouvelle intelligence artificielle intervient déjà directement dans le processus de fabrication du sens à tous les niveaux. Les systèmes GPT sont des machines d’idéologie.

Il est une autre conséquence, moins discutée, de ces systèmes : celle d’un changement idéologique.

Les modèles du langage sont les producteurs quantitatifs de l’idéologie

Voici les trois interprétations principales des systèmes GPT : qu’ils sont des jouets, qu’ils sont nocifs, et qu’ils représentent un changement majeur de civilisation. Dans un article du New York Times, Noam Chomsky affirme que ce sont des jouets, sans relation substantive au langage, lequel est une fonction neuronale qui nous permet de déceler la vérité et de raisonner moralement. Emily Bender et Timnit Gebru prétendent, elles, qu’ils sont nocifs, des « perroquets stochastiques » qui reflètent le biais de leurs bases de données « insondables », redistribuant discursivement le mal que les humains ont déjà fait. Henry Kissinger pense qu’ils vont transformer la société, non seulement le travail et la géopolitique, mais notre conception même de la « réalité ».

Je n’éprouve aucune joie à être d’accord avec Kissinger, mais jusqu’ici son avis me semble le plus convaincant (1). Les systèmes GPT produisent réellement du langage, ne soyez pas induits en erreur par l’ami Chomsky. Et bien qu’ils soient nocifs, il n’est pas clair pourquoi tel est le cas, et encore moins clair comment cette observation est censée arrêter le progrès d’une ingénierie motivée par le profit. Kissinger a raison, hélas : les systèmes GPT, puisqu’ils automatisent une fonction très proche de notre ressenti de ce que c’est d’être humain, ont le pouvoir de changer notre conception du monde. « Idéologie », c’est ce qu’on appelle le contrôle sur la manière d’y penser ; les systèmes GPT s’y engagent à un niveau sans précédent, directement et quantitativement.

GPT est l’acronyme pour « generative pretrained transformer » (transformateur génératif préforme) ; dans le jargon économique jusqu’ici, il a signifié « general purpose technology ». Ce double sens souligne l’ambition derrière ces systèmes, capables de traiter des données énormes d’unités lexiques (GPT-3, le premier moteur du ChatGPT, en fonctionnait déjà avec mille milliards) qui sont puisés dans le Web. Ils recrachent du texte, généralement cohérent et intelligible, dans virtuellement tous les genres. Les détails techniques ne sont pas importants ici ; ce qui compte, c’est le fait que mille milliards d’unités lexiques soient distillées en une série – une sélection de mots – qui peut servir à créer du texte. Les unités lexiques « apprises » sont organisées en réseau, dans lequel chacune a une relation statistique avec toutes les autres. On peut rapprocher cela à une grille de lumières : si on en touche une, d’autres s’allumeront dans une configuration (pattern) particulière ; si on en touche une autre, on aura une autre configuration, et ainsi de suite. Le résultat, c’est que lorsque je donne au système une directive (prompt) (du genre « écrivez-moi un essai expliquant la théorie marxiste de la valeur »), le réseau amasse d’abord un petit groupe de « candidats au prochain mot » dans un cluster. Ensuite, il en choisit un de façon aléatoire, et continue de le faire, mot par mot, pour écrire un essai ou un article, ou pour répondre à ce qu’on lui dit.

Il y aurait beaucoup de façons d’affiner ce système, mais à la base se trouve la structure en configurations. Il n’est pas difficile de voir qu’un tel choix de mots par proximité statistique ne correspond pas toujours à des situations dans le monde réel (les informaticiens parlent du « problème fondationnel »), ce qui provoque la peur d’une désinformation généralisée. Lancé en mars 2023, GPT-4 – on ne dispose pas pour l’instant de détails techniques – est censé minimiser ces « hallucinations ». Mais quelque chose de plus intéressant et de plus important est en train de se passer.

Ce que les systèmes GPT recrachent, c’est du langage, mais dans une moyenne organisée autour d’un groupe de mots sélectionné. C’est de la bouillie avec des bornes conceptuelles floues, exprimée dans une langue naturelle (anglais, français, etc.), mais nivelée à une version seulement passable d’elle-même. Pour cette raison, GPT est très utile pour générer le type de communiqué diffusé par Vanderbilt University. C’est du « langage en tant que service », préparé et conditionné, avec sa capacité à générer du sens, mais canalisé dans sa version la plus aplatie possible pour les besoins de ceux qui cherchent surtout à gérer la responsabilité et à limiter les dégâts.

Si un humain avait rédigé le communiqué sur la fusillade, celui-ci aurait été presque identique. Quand on écrit sous de fortes contraintes, on a tendance à favoriser des mots et des phrases banals. On peut appeler ce genre de langage « de l’idéologie » ; dans les systèmes GPT, on dispose, pour la première fois, des moyens permettant d’examiner celle-ci quantitativement.

Hégémonie et kitsch

Ce qui n’a pas été dit dans l’histoire du journaliste du New York Times, et du chatbot qui est tombé amoureux de lui, est la directive responsable du dérapage. Le journaliste a demandé à ChatGPT d’adopter l’identité d’une « ombre » (shadow self) au sens de Carl Gustav Jung. Dans un cycle d’information régie par la panique, il est clair que le pourquoi de ce détail crucial, qui explique ce qui s’est passé, a été gommé. Dans la base de données, il existe un cluster préalable de mots qui « s’allument » quand on introduit « l’ombre » et « Jung » dans une directive : un « paquet sémantique ». Ces paquets sont assurément présents dans les discussions de la théorie jungienne et de la psychanalyse, dans les blogs (universitaires ou non), dans les posts sur Reddit et ailleurs où ces idées sont explicitement évoquées.

Carl Gustav Jung (1875-1961)

Mais le système ne « sait » pas qu’une personne nommée Carl Gustav Jung a réellement existé, ou que « l’ombre » est un concept. Ce n’est qu’une corde linguistique. Ainsi, dans la configuration qui s’allume, une autre série de mots communs – disons « amour », « femme », voire « se sentir vivant » – peut s’y trouver. À mesure que la machine traite les données et prédit les prochains mots, étendant ses choix à partir du cluster « l’ombre-Jung », elle intègre par association d’autres paquets sémantiques. On ne sait pas d’avance quels seront ces autres paquets ; on est simplement dans une sorte de montagne russe, fonçant à travers des canaux de mots qui sont pour nous imprévisibles.

Il est important qu’il n’y ait pas d’objets dans la série de mots. Si vous voulez qu’un système GPT s’arrête sur un mot et le considère comme un objet, il faut pouvoir l’obliger explicitement ; c’est vraisemblablement ce que GPT-4 commence à rendre possible. Certaines choses sont plus susceptibles d’être des « objets » stables ; on peut les appeler des « paquets » de mots. Si je demande à Chat-GPT de m’informer sur La Dialectique de la Raison (le chef-d’œuvre d’Adorno et Horkheimer), il me donnera une réponse étonnamment juste, avec maints détails fidèles à ce texte notoirement difficile. Mais quand je lui ai demandé de me raconter le livre de mon collègue Matthew Handelman sur Adorno, l’École de Francfort et les mathématiques, il m’a dit que Handelman pense que « les mathématiques sont une construction sociale ». Cette affirmation est fausse (j’ai vérifié auprès de l’auteur). Mais elle est fausse d’une manière intéressante.

Le paquet rend visible le chevauchement entre « théorie critique » et « mathématiques » ; il contient ce qui serait le plus probable à dire sur ce chevauchement. Certes, il existe quelques universitaires qui prétendent que les mathématiques sont une construction sociale, mais le groupe principal parmi ceux qui attribuent cette croyance à la majorité des universitaires (partisans soi-disant du « marxisme culturel ») se situe à l’extrême droite, propageant une théorie conspirationniste et antisémite qui blâme Adorno et compagnie pour tous les maux de la société depuis 1968. Quand vous écrivez un traité philosophique ou un livre érudit sur l’histoire intellectuelle, vous travaillez à contre-courant de cet effet de nivellement vers la moyenne. Mais les paquets sémantiques qui se révèlent lorsqu’on donne une directive à un système GPT sont hautement informatifs, même s’ils ne sont pas spécialement perspicaces en eux-mêmes. C’est parce que ces paquets font remonter de l’idéologie à la surface ; ce, quantitativement et d’une manière sans précédente.

L’idéologie ne se réduit pas à des doctrines politiques. Quand Marx et Engels ont écrit L’Idéologie allemande, ils visaient la croyance implicite chez d’autres socialistes dans le pouvoir des idées, contre lequel ils ont réaffirmé le pouvoir des forces matérielles. Mais petit à petit, la tradition marxiste a commencé à aborder le pouvoir des discours et des représentations, reconnaissant que ce qu’on peut dire, penser, et imaginer est une question politique cruciale. Antonio Gramsci a appelé l’ensemble d’idées dominantes « de l’hégémonie », affirmant que ces idées sont conformes aux intérêts de la classe dirigeante sans évoquer ceux-ci explicitement. Le critique littéraire allemand Hannes Bajohr a justement sonné l’alerte contre des systèmes GPT privatisés : « celui qui contrôle le langage contrôle la politique ».

Certains marxistes ont vu l’idéologie comme une forme de kitsch. Pour le critique d’art Clement Greenberg en 1937, le kitsch relève « de la forme prédigérée ». Entre tout ce qu’on pourrait dire ou penser, certains chemins sont mieux balisés que d’autres. La forme de ces chemins est déjà donnée ; on n’a pas besoin de les forger. La sortie régulière de la suite d’une franchise cinématographique s’inscrit désormais dans le kitsch ; on sait exactement où on se trouve quand on commence à regarder un nouveau film Marvel. Selon Greenberg, l’artiste avant-gardiste est un aventurier des formes, créant du sens nouveau en dégageant de nouveaux chemins. L’hégémonie et le kitsch sont combinés dans la production des paquets sémantiques, lesquels pourraient passer à côté de certains aspects du monde « réel », mais qui captent fidèlement de l’idéologie.

Adorno a pensé l’idéologie comme la vérité et la non-vérité d’un monde totalement administré. L’idéologie, selon lui, cache autant qu’elle révèle, et fournit – malgré son goût personnel pour la haute culture – un point d’entrée pour pouvoir apercevoir comment diverses fonctions sociales nous conditionnent. Les systèmes GPT ont révélé des aspects de cette rue à double sens, qui concentre et de l’idéologie et de la critique de celle-ci (la théoricienne des médias Wendy Chun prétend que cela est vrai pour les systèmes de logiciels en général). Il n’a jamais existé de système qui nous permet de générer et ensuite d’examiner « ce qui est à proximité de quoi » dans la sémantique politique. Certes, ces paquets de sens aplatissent le langage, mais ils peuvent aussi nous surprendre avec des plis et des recoins du sens qui n’ont jamais été explicitement combinés jusqu’ici.

Le trajet à travers les sillons du sens constitue un point d’entrée dans l’idéologie du capitalisme numérique mondialisé, nous donnant une photo instantanée de l’hégémonie. C’est peut-être un peu éloigné de l’avis de Kissinger que l’intelligence artificielle transformera notre sens de la réalité. Mais il se peut que les mots les plus moyens, empaquetés sous une forme « prédigérée », constituent l’horizon même de cette réalité. Dans ce cas, la possibilité d’apercevoir le cœur battant de l’idéologie est cruciale.

Après l’invention de la caméra, on pouvait voir des détails du monde à distance pour la première fois. Les systèmes GPT rendent visibles des aspects du monde qui sont si près de nous qu’ils font partie de notre monde, mais sous une forme étrange, aplatie. À mesure que les formes du capital et du travail se transforment inéluctablement, leur connexion à l’idéologie devient momentanément perceptible. Lors de la sortie de GPT-4 en mars, le fabricant OpenAI a retenu les détails techniques, prétextant la protection des secrets commerciaux. La fenêtre risque de se fermer bientôt, nous empêchant de regarder dans cet abîme avec des connaissances techniques. Il faut en profiter dès maintenant.

Note

1. Il serait bon ici de préciser l’avis de Kissinger (ancien secrétaire d’État) sur l’intelligence artificielle. « Je crois que les compagnies de technologie ont ouvert la voie vers une nouvelle ère de la conscience humaine, [ce qui fait un parallèle avec] ce qu’ont fait les générations des Lumières lorsqu’elles ont délaissé la religion pour la raison » (Time, 5 nov. 2021). L’avis apparemment optimiste est mitigé par l’inquiétude quant au maintien de la domination américaine du monde. En 2021, Kissinger, Eric Schmidt (ancien patron de Google, ancien président du Conseil d’innovation en matière de défense) et Daniel Huttenlocher (ancien directeur d’Informatique à MIT) ont publié un livre-manifeste avertissant que l’intelligence artificielle peut donner lieu à des situations comparables à celles créées par les armements nucléaires. Ils appellent en toute logique à un « contrôle des armements appliqué à l’intelligence artificielle ». Lire l’article très sceptique de ces propos d’Evgeny Morozov, « Intelligence artificielle, vers un guerre froide 2.0 », Le Monde diplomatique, 830, mai 2023 (NdT).

Lire aussi sur ChatGPT dans la Web-revue : https://industrie-culturelle.fr/industrie-culturelle/le-leviathan-et-la-cybernetique-alex-taek-gwang-lee/

Leif Weatherby est associate professor en Allemand à New York University, et fondateur-directeur du Digital Theory Lab. Il est l’auteur de Transplanting the Metaphysical Organ: German Romanticism between Leibniz and Marx (Fordham University Press, New York, 2016).

WEATHERBY Leif, «ChatGPT est une machine d’idéologie – Leif WEATHERBY, Articles [En ligne], Web-revue des industries culturelles et numériques, 2023, mis en ligne le 1er juin 2023. URL:https://industrie-culturelle.fr/industrie-culturelle/chatgpt-est-une-machine-dideologie-leif-weatherby/

Le webmaster