La dystopie est-elle le modèle politique de l’IA ?
1984 n’était pas censé être un manuel politique !
Quand Orwell écrit 1984, son projet est de lancer un avertissement contre les totalitarismes, notamment pour la gauche britannique à laquelle il appartenait et qu’il soupçonnait de complaisance envers le stalinisme. Mais si 1984 est un avertissement glaçant de ce que le pire de la surveillance peut être, le roman en dessine aussi les possibles, en esquisse également le modèle. Tant et si bien que l’on peut se demander si la dénonciation de cet univers de surveillance totalitaire et concentrationnaire ne diffuse pas seulement une prévention, mais également une appétence. L’ambivalence des imaginaires fait qu’ils sont aussi des supports particulièrement puissants des idées qu’ils portent ou qu’ils dénoncent. Le raffinement des techniques de propagande de 1984 permet aussi de montrer que, même poussées à leurs extrémités, celles-ci peuvent encore être efficaces. Tant et si bien que le pire de la réalité semble parfois avoir largement dépassé le pire qu’Orwell imaginait.
En fait, assez souvent, ce qui est imaginé fixe un point d’ancrage pour les idées, à partir duquel celles-ci pourront bourgeonner. Cet ancrage n’est pas nécessairement fixe d’ailleurs. Les interprétations d’une même idée depuis une même œuvre peuvent diverger. Ainsi par exemple, les lecteurs peuvent ne pas faire la même interprétation politique d’un auteur. Tolkien par exemple, peut être lu comme un bréviaire écologiste et multiculturel par les uns, ou comme un manifeste identitaire pour d’autres [1].
L’IA compagne Samantha, dansle film Her, a été imaginée après que le réalisateur Spike Jones ait testé sur internet une messagerie instantanée automatisée intégrant une intelligence artificielle rudimentaire. Eugenia Kuyda, la créatrice de Replika, ne semble pas avoir été inspirée par le film pour créer son service d’IA compagne à laquelle elle ressemble fortement. C’est la mort d’un proche qui l’a conduit à imaginer un service intégrant tous les textes de son ami pour pouvoir continuer à discuter avec lui, par delà la mort [2]. Si on remonte encore plus loin, les modèles de chatbots imaginés par Turing avec le jeu de l’imitation ou Joseph Weizenbaum avec Eliza sont devenus le modèle dominant, alors que l’un comme l’autre prévenaient de leurs écueils intrinsèques. Les deux modèles proposaient à la fois un jeu de simulation et de leurre, un dispositif pour nous tromper et nous induire en erreur. Le piège était donc lisible dès l’origine. La dystopie était écrite, cela ne nous a pas empêché de nous y précipiter.
On pourrait d’ailleurs se demander si les dystopies ne sont pas, finalement, plus constitutives des évolutions de la technologie que ses promesses de progrès, d’émancipation, d’autonomie, de libération. Il est indéniablement plus facile d’utiliser le numérique pour bloquer des mots clefs par exemple et interdire des accès que pour libérer les potentiels des utilisateurs de toutes contraintes. Avec le numérique, plus que jamais, le pouvoir est un script [3], une séquence d’instructions, qui se déploie instantanément, qui s’instancie, comme un programme informatique. La réalité elle-même ne semble être qu’un algorithme, qu’un ensemble de variables qu’il suffirait d’ajuster, d’adapter. Comme les programmes des grands cabinets de conseils déploient leurs logiciels sur les systèmes sociaux nationaux, d’un pays à l’autre [4].
Depuis les révélations d’Edward Snowden sur les pratiques de surveillance généralisées, depuis la mainmise des plateformes et des géants de la tech sur le numérique voire le cynisme assumé de ces acteurs, force est de constater qu’internet a surtout été utilisé pour renforcer les possibilités de surveillance et les étendre, jusqu’à produire des machines parfaitement totalitaires, comme Palantir, Clearview ou Pegasus [5].
Le risque est que les machines totalitaires ne soient pas que celles-ci. Qu’elles se disséminent partout, derrière l’obsession sécuritaire, dans l’usage d’un outil l’autre, d’une interface de programmation l’autre, à l’image des inférences que produit Google Vision disponibles pour interpréter toutes les images du monde [6]. Si la dystopie semble se retrouver partout, peut-être est-ce bien lié au fait que nos machines d’interconnexion globales aident bien plus à disséminer le pire qu’à produire le meilleur ?
L’IA, une longue histoire d’imposture ?
L’IA, une longue histoire d’imposture ?
L’imposture fait intrinsèquement partie de l’histoire de l’IA. Des mythes des premières machines autonomes aux premières poupées parlantes [7], du turc mécanique en passant par le canard de Vaucanson [8], les automates ont longtemps fait reposer leur « magie » sur la fraude. Dans son article fondateur, Turing lui-même définit l’intelligence artificielle par la tromperie, puisqu’il propose que l’imitation capable de leurrer un humain suffise à définir l’authenticité [9]. « Simulacre et simulation font partie de l’écriture informatique en son niveau le plus immédiat », rappelait l’archéologue Clarisse Herrenschmidt. Le but même du jeu de l’imitation est non seulement de nous tromper, mais également de produire de « l’indécidabilité » : c’est-à-dire de nous confondre, de nous faire hésiter, précise Elsa Boyer [10]. Dès l’origine, l’IA n’est donc rien d’autre qu’un art de la simulation !
Nous n’en avons pas fini de cette histoire qui vise à leurrer notre intelligence plutôt que la supplanter. Des robots qui marchent parce qu’ils sont télécommandés, aux postes de contrôle distants des voitures autonomes en passant par les systèmes de reconnaissance vidéo qui emploient des assistants humains à l’autre bout du monde [11], la distinction entre un automate réellement autonome et un automate qui fait semblant n’est pas si franche. Tout comme l’IA aujourd’hui invisibilise ceux qui la font fonctionner, à savoir les travailleurs du clic [12] qui corrigent les données, qui valident ce qu’elle est censée observer, mis à distance à l’autre bout de la machine. Les « réseaux de neurones » de l’IA nous font plus croire qu’ils copient le fonctionnement du cerveau, qu’ils ne le copient vraiment [13].
C’est à croire que ce jeu de l’imitation vise surtout à nous tromper, nous humains. De Siri ou Alexa qui imitent la voix humaine, les artifices des machines nous rappellent que la fiction est à la fois générée par les machines, mais aussi par le fait que nous pensons que ces machines n’en sont pas [14]. L’imitation est finalement un procédé et on peut se demander s’il n’est pas au cœur du leurre de ce que produisent les “perroquets stochastiques” [15]. Turing insiste sur l’importance de la surprise, du leurre, mais également du réalisme, qui a souvent fait par exemple la force du roman du XIXe siècle, de Dickens à Zola. Dansle film Blade Runner, les réplicants se font passer pour des humains, comme les personnes de couleur à la peau claire se sont souvent fait passer pour des blancs pour contourner les lois raciales. La révolte des robots et des IA fait écho aux révoltes des esclaves. Les uns comme les autres apparaissent comme une menace « car ils s’intègrent, osent prétendre être ce qu’ils ne sont pas et ne sont pas facilement identifiables comme une menace » [16].
L’imitation est toujours perçue comme une mystification parce qu’elle permet de prétendre être ce qu’elle n’est pas. Tout comme le chatbot nous fait croire en sa conscience, alors qu’il ne fait que berner ses utilisateurs. C’est le principe même de l’effet Eliza que démontra Joseph Weizenbaum en construisant le premier d’entre eux. Eliza [17], son chatbot, sous forme de robot psychothérapeute, était capable de soutenir une conversation avec ses interlocuteurs en leur renvoyant sans cesse des questions depuis les termes qu’ils employaient. Alors que Weizenbaum considérait sa machine comme basique et trompeuse, il fut surpris de l’implication émotionnelle de gens qui échangeaient avec elle et passa le reste de sa vie à alerter du subterfuge que déclenchait cette fausse empathie [18]. Une capacité d’empathie qui continue de conduire certains utilisateurs à décrocher de la réalité en s’enfermant dans des discussions sans frictions avec les chatbots [19]. Comme le disent les chercheuses Emily Bender et Alex Hanna, depuis ses débuts, l’IA est une discipline de manipulation [20].
Leurres et mystifications de l’automatisation
L’IA : moteur de mystification
L’une des fables que l’on trouve dans Le Vrai Classique du Vide parfait deLie-Tzeu [21] datant du IIe siècle avant JC au IIIe siècle après JC rapporte que dans la Chine ancienne un ouvrier nommé Yen-cheu créa des marionnettes capables de danser et de chanter, faites de bois et de cuir. Non seulement les marionnettes ressemblaient à des humains, mais elles pouvaient aussi se déplacer et danser à la demande. Lors d’une performance devant l’empereur et son harem, les marionnettes tiraient des œillades aux dames, irritant l’empereur. Pour apaiser sa colère, Yen-cheu démonta ses automates et montra qu’ils n’étaient faits que de cuir et de bois. La magie de leur animation était ailleurs.
L’automate joueur d’échec ou turc mécanique [22] est une célèbre mystification construite à la fin du XVIIIe siècle se présentant comme un automate doté de la faculté de jouer aux échecs alors que la marionnette mécanique était manipulée par un humain. En 2005, Amazon lance un site web du même nom [23], qui vise à faire effectuer par des humains contre rémunération des tâches que les machines ne savent pas faire, pour les compléter ou les entraîner : étiquetage de photos de mots clefs, modération de contenus… Cette application phare du micro-travail génère elle aussi des formes de mystification, faisant croire que les applications d’intelligence artificielle fonctionneraient parfaitement bien alors qu’elles ont massivement recours à ce travail humain, invisibilisé, délocalisé et précarisé [24]. C’était par exemple le cas des magasins sans caisse d’Amazon Fresh où les clients pouvaient acheter ce qu’ils souhaitaient sans même passer à la caisse, le système de vidéo-surveillance débitant automatiquement de leurs comptes les articles qu’ils emportaient. Quand en fait, ces vidéos étaient surveillées par des travailleurs du clic indien. C’est également le cas des robots Optimus d’Elon Musk, manipulés à distance, ou des véhicules dits « autonomes » Waymo et Cruise [25]…
L’intelligence artificielle est bien souvent le paravent technologique d’une simple délocalisation. Derrière la fable de l’automatisation, il y a toujours des travailleurs cachés, rappelle avec constance, le sociologue Antonio Casilli. La mystification, qui vise à abuser de notre crédulité, reste l’un des grands moteurs de l’automatisation, de l’innovation… et du progrès.
Notes :
[1] Sébastien Fontenelle, Tolkien contre les machines, Écologie et antifascisme en Terre du Milieu, Lux éditeur, 2025. Et c’est le cas de nombre d’auteurs de SF d’ailleurs… comme le montrait avec pertinence Julien Laroche-Joubert dans ses Musk Fictions : https://www.lemonde.fr/musk-fictions/
[2] Chris DeVille, “How prophetic was Her ?”, The Ringer, 18 décembre 2023 : https://www.theringer.com/2023/12/18/movies/her-movie-10th-anniversary-ai-dating-romance-relationships
[3] Nastasia Hadjadji et Olivier Tesquet, Apocalypse Nerds, Comment les technofascistes ont pris le pouvoir, Divergences, 2025.
[4] Les systèmes de détection de fraude sociale constituent une part importante de l’industrie nébuleuse des “govtech”, ces entreprises qui vendent de la technologies aux autorités publiques en promettant de rendre l’administration publique plus efficace. Morgan Meaker, “The Fraud-Detection Business Has a Dirty Secret”, Wired, 7 mars 2023 : https://www.wired.com/story/welfare-fraud-industry/
[5] Palantir est l’entreprise d’analyse de données cofondée par Alex Karp et Peter Thiel en 2003. Lancée pour répondre à la déroute des services de renseignement américains suite aux attentats du 11 septembre, Palantir est devenue l’une des entreprises américaines les plus profitables. Ses logiciels servent avant tout à armer les polices et services de renseignements. https://fr.wikipedia.org/wiki/Palantir_Technologies Clearview est une entreprise spécialisée dans la reconnaissance faciale qui fournit une solution dédiée aux forces de l’ordre alors que la reconnaissance faciale n’est pas toujours autorisée par la loi. https://fr.wikipedia.org/wiki/Clearview_AI
Pegasus est un logiciel espion conçu et commercialisé dès 2013 par l’entreprise israélienne NSO Group, utilisée par de nombreux pays à des fins d’espionnage et de surveillance de personnalités civiles. https://fr.wikipedia.org/wiki/Pegasus_(logiciel_espion)
[6] Hubert Guillaud, “Inférences : comment les outils nous voient-ils ?”, 18 mars 2025 : https://danslesalgorithmes.net/2025/03/18/inferences-comment-les-outils-nous-voient-ils/
[7] Les premières machines automatiques, comme celles qui accompagnent le dieu boiteux Héphaïstos, chez Homère, sont des servantes mécaniques en or qui l’aident à se déplacer. Des robots d’assistance avant l’heure donc. Voir par exemple Alexandre Marcinkowski et Jérôme Wilgaux, « Automates et créatures artificielles d’Héphaïstos : entre science et fiction », Techniques & Culture, 2004 , http://journals.openedition.org/tc/1164 Si les premières poupées parlantes remontent au XVIIIe siècle – Cf. Sussman, Mark J. « Performing the Intelligent Machine: Deception and Enchantment in the Life of the Automaton Chess Player. » TDR: The Drama Review, vol. 43 no. 3, 1999, p. 81-96. Project MUSE, https://muse.jhu.edu/article/32960 -, c’est l’invention du phonographe qui va permettre à Edison d’en lancer la construction à la fin du XIXe siècle avant d’être perfectionné par le fabricant français Emile Jumeau. https://fr.wikipedia.org/wiki/Poup%C3%A9e_parlante_d%27Edison
[8] Le Canard de Vaucanson, également appelé le Canard digérant est un automate, créé par Jacques de Vaucanson vers 1734 simulant la digestion et la défécation https://fr.wikipedia.org/wiki/Canard_de_Vaucanson
[9] Alan Turing, « Computing machinery and intelligence », Mind, Oxford University Press, vol. 59, no 236, octobre 195. Voir https://fr.wikipedia.org/wiki/Computing_Machinery_and_Intelligence Dans son article séminal, Turing propose un jeu de l’imitation où un homme doit tromper un examinateur en se faisant passer pour une femme, tout comme la machine doit tromper l’homme en se faisant passer pour un être humain.
[10] Clarisse Herrenschmidt, Les Trois Écritures, Langue, nombre, code, Gallimard, Paris, 2007, Folio essais, 2023. Elsa Boyer, Turing, éditions les pérégrines, 2023. Erik Brynjolfsson, “The Turing Trap : The Promise & Peril of Human-Like Artificial Intelligence”, 12 janvier 2022 : https://digitaleconomy.stanford.edu/news/the-turing-trap-the-promise-peril-of-human-like-artificial-intelligence/
[11] Cade Metz, Jason Henry,Ben Laffin, Rebecca Lieberman, Yiwen Lu, “How Self-Driving Cars Get Help From Humans Hundreds of Miles Away”, New York Times, 3 septembre 2024 : https://www.nytimes.com/interactive/2024/09/03/technology/zoox-self-driving-cars-remote-control.html Alexandre Piquard, “Magasins sans caisses : Amazon fait marche arrière”, Le Monde, 3 avril 2024 : https://www.lemonde.fr/economie/article/2024/04/03/amazon-abandonne-sa-technologie-de-magasins-sans-caisses_6225794_3234.html
[12] Antonio Casilli, En attendant les robots : Enquête sur le travail du clic, Paris, Seuil, 2019.
[13] Les « neurones artificiels », ne portent ce nom que parce qu’ils ont été créés pour fonctionner sur le modèle d’un neurone. Mais on a bien plus appliqué le lexique du cerveau aux ordinateurs qu’on n’a copié leur fonctionnement. Cf. Albert Moukheiber, Neuromania, Allary éditions, 2024.
[14] Adriana Cavarero, For More than One Voice : Toward a Philosophy of Vocal Expression, Stanford university Press, 2005.
[15] Du nom attribuée à l’IA générative par les chercheuses Emily Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell dans leur article célèbre “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big ?” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. https://dl.acm.org/doi/10.1145/3442188.3445922 Voir aussi Alexandre Piquard, « Les chatbots sont comme des perroquets, ils répètent sans comprendre », Le Monde, 7 octobre 2024 : https://www.lemonde.fr/economie/article/2024/10/07/les-chatbots-sont-comme-des-perroquets-ils-repetent-sans-comprendre_6345570_3234.html On parle de perroquets parce qu’ils répètent les textes à partir desquels les chatbots ont appris, et stochastiques car ils font appel à des probabilités pour répondre.
[16] Isaiah Lavender, Race in American Science Fiction, Indiana University Press, 2011, cité par Kanta Dihal, “Enslaved Minds: Artificial Intelligence, Slavery, and Revolt” in Stephen Cave, Kanta Dihal, Sarah Dillon (ed.), AI Narratives: A History of Imaginative Thinking about Intelligent Machines, Oxford Academic Press, 2020.
[17] Le nom du chatbot Eliza fait référence à Eliza Doolittle, l’héroïne de Pygmalion, la pièce de George Bernard Shaw. Dans la pièce, Eliza Doolittle est la petite fleuriste prolétaire qui apprend à imiter le discours de la classe supérieure… Encore une histoire d’imitation.
[18] Voir notamment Ben Tarnoff, “Weizenbaum’s nightmares: how the inventor of the first chatbot turned against AI”, The Guardian, 25 juillet 2023 : https://www.theguardian.com/technology/2023/jul/25/joseph-weizenbaum-inventor-eliza-chatbot-turned-against-artificial-intelligence-ai Zoé Terouinard, “Eliza, la véritable histoire du premier chatbot”, FishEye, 28 avril 2025 : https://fisheyeimmersive.com/article/eliza-la-veritable-histoire-du-premier-chatbot/ Voir également Eliza Archeology Project : https://sites.google.com/view/elizaarchaeology
[19] De nombreuses affaires médiatiques ont souligné les risques que les chatbots peuvent faire peser sur certains utilisateurs, en exploitant leurs faiblesses psychiques et en les faisant perdre pied avec la rationalité. Voir par exemple le cas d’Allan Brooks : Kashmir Hill et Dylan Freedman, “Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens“, New York Times, 8 août 2025 : https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html ou celui plus dramatique qui a conduit au suicide du jeune Adam G. : Kashmir Hill, “A teen was suicidal. ChatGPT was the friend he confided in”, New York Times, 26 août 2025 : https://www.nytimes.com/2025/08/26/technology/chatgpt-openai-suicide.html Voir également Nicolas Six, “De Meta AI à ChatGPT, le jeu dangereux d’une personnalisation toujours plus poussée des IA”, Le Monde, 26 août 2025 : https://www.lemonde.fr/pixels/article/2025/08/26/de-meta-ai-a-chatgpt-le-jeu-dangereux-d-une-personnalisation-toujours-plus-poussee-des-ia_6635154_4408996.html
[20] Emily Bender et Alex Hanna, The AI con, HarperCollins, 2025.
[21] Le Vrai Classique du Vide parfait de Lie-Tzeu : https://fr.wikisource.org/wiki/%C5%92uvre_de_Lie-tzeu/Texte_entier#Chap._5._Le_continu_cosmique#M
[22] https://fr.wikipedia.org/wiki/Turc_m%C3%A9canique
[23] Le Turc mécanique d’Amazon était qualifié, non sans cynisme, d’artificial artificial intelligence pour dire qu’il était une intelligence artificielle artificielle, c’est-à-dire produite par de véritables êtres humains.
[24] Antonio Casilli, En attendant les robots : Enquête sur le travail du clic, Le Seuil, 2019. Voir également la série documentaire, Henri Poulain, Invisibles, les travailleurs du clic, StoryCircus, 2020 : https://www.france.tv/slash/invisibles/3302449-invisibles-les-travailleurs-du-clic-version-longue-2022.html ainsi que Henri Poulain, Les sacrifiés de l’IA, StoryCircus, 2025 : https://www.france.tv/documentaires/documentaires-societe/6888928-les-sacrifies-de-l-ia.html
[25] Alexandre Piquard, “Magasins sans caisse : Amazon fait marche arrière”, Le Monde, 3 avril 2024 : https://www.lemonde.fr/economie/article/2024/04/03/amazon-abandonne-sa-technologie-de-magasins-sans-caisses_6225794_3234.html Matt Novak, “Elon Musk’s Beer-Pouring Optimus Robots Are Not Autonomous“, Gizmodo, 11 octobre 2024 : https://gizmodo.com/elon-musks-beer-pouring-optimus-robots-are-not-autonomous-2000510899
Waymo et Cruise ont des flottes de techniciens d’assistance à distance. Chez Cruise, chaque taxi est assisté par 1,5 travailleur qui intervient pour aider les véhicules tous les 2 à 5 kilomètres. Cade Metz, Jason Henry, Ben Laffin, Rebecca Lieberman et Yiwen Lu, “How Self-Driving Cars Get Help From Humans Hundreds of Miles Away”, New York Times, 3 septembre 2024 : https://www.nytimes.com/interactive/2024/09/03/technology/zoox-self-driving-cars-remote-control.html
