L’intelligence artificielle fait beaucoup de promesses qui ancrent un imaginaire très prégnant sur ce qu’elles peuvent et pourraient accomplir. En réalité, il est bien souvent nécessaire de déconstruire ces promesses, en comprenant qu’elles masquent des idéologies qui les dépassent et ancrent des perspectives partiales et partielles. Derrière les espérances que portent l’IA, il faut à la fois interroger ce que ces IA font vraiment et au bénéfice de qui. Pour déconstruire les imaginaires de l’IA, il est donc nécessaire d’interroger certaines de ses plus vives promesses : l’efficacité, l’objectivité, la prédictibilité, la productivité, le contrôle, et la créativité. Autant de promesses d’opérationnalité d’une neutralité technique et scientifique, par nature inatteignable.
La sempiternelle promesse d’efficacité
Parmi les nombreux symboles de la promesse d’efficacité du déploiement de l’IA, il en est un qui a peut-être marqué les esprits plus que d’autres, c’est celui du Département de l’efficacité gouvernementale (Doge) [1] une organisation temporaire fondée aux États-Unis par le président Trump en janvier 2025 et, un temps « dirigée [2] » par l’entrepreneur multimilliardaire Elon Musk. Le terme de Doge fait également référence à une cryptomonnaie (rachetée par Musk d’ailleurs) ainsi qu’à un mème récurrent d’internet, relative à un chien shiba, dont la signification, évolutive, est « dépourvue de logique ou de sens profond [3] ». Le sourire énigmatique du shiba est venu illustrer autant l’indifférence que l’ironie ou l’absurdité de la démarche. L’image du Doge est venue symboliser la politique mise en place par Musk, à la fois d’une manière ironique et subversive. En plaçant au cœur de son action politique la question de l’efficacité, le Doge a permis de questionner l’omniprésence de cette promesse d’efficacité dans le marketing de l’IA.
L’efficacité pour le Doge a en effet été circonscrite à la seule réduction des coûts des services publics, qu’il faudrait donc « tronçonner [4] » pour les réduire. Or, la question de l’efficacité renvoie toujours à la question de l’objectif poursuivi et à l’angle sous lequel on le regarde, c’est-à-dire depuis quel indicateur (au détriment de tous les autres). Mais ni les coupes budgétaires, ni la lutte contre la fraude, ni le licenciement de fonctionnaires ne signifient pour autant produire de l’efficacité [5]. Dans le cadre du Doge américain, le licenciement des fonctionnaires pour faire des économies et leur remplacement par des programmes d’IA fait une promesse d’efficacité supputée, mais a surtout pour objectif de rendre le changement à l’œuvre sans recours, en éliminant la résistance des corps institués aux transformations des services. Dans le cadre du Doge, le but a visé bien plus à réduire les dépenses pour des raisons politiques que de les réduire depuis des preuves de fraudes, d’abus ou d’efficacité économique. C’est ce qui explique que la mission du Doge se soit évanouie peu à peu. Reste que la promesse, elle, est restée. Si le Doge a disparu de l’actualité, ce n’est pas le cas de ses actions ni du modèle. Aux États-Unis, des « missions d’efficacité », inspirées du Doge, se sont démultipliées dans de nombreux États et administrations [6]. On pourrait même dire que les actions du Doge, à introduire des outils d’IA pour exercer des fonctions étatiques fondamentales et mettre fin au cloisonnement des données des administrations américaines a finalement bénéficié non pas au Doge lui-même, mais à d’autres administrations, notamment l’ICE, la police de l’immigration et des douanes, qui est devenue l’agence fédérale la mieux financée des Etats-Unis. Elle n’en a pas bénéficié pour faire des économies, mais au contraire, pour poursuivre une politique de répression des personnes d’origines étrangères [7].
Cette histoire symbolique nous montre que l’efficacité est souvent une notion instrumentée. La question de « l’efficacité » est une question qui traverse l’IA et qui nous est toujours proposée comme un moyen pour en produire plus, oubliant d’interroger de quelle efficacité nous parlons, vue depuis quel point de vue. Or, l’efficacité est toujours située [8], elle agit sur un critère au détriment d’autres. Dans le domaine de la santé par exemple, on nous explique souvent que les systèmes de détection par IA fonctionnent mieux que les spécialistes, détectent des tumeurs plus tôt ou en faisant moins d’erreurs que ceux-ci. Mais ces scores élevés ont tendance à identifier des tumeurs de plus en plus bénignes et donc à augmenter le taux de patients à traiter au risque de développer des coûts de santé injustifiés [9].
Cela rappelle à nouveau que l’efficacité des systèmes est toujours à interroger. Le développement du diagnostic automatisé ne vise pas seulement à améliorer la précision de la médecine, elle peut aussi la déborder. Et surtout, elle ne s’évalue pas indépendamment d’autres critères, par exemple : les coûts, le manque de personnel et les défaillances des systèmes de santé… qui ne sont pas pris en compte dans l’équation de la seule efficacité des systèmes d’analyses d’images de radiologie.
Bref, l’équation de l’efficacité à tendance à valoriser un enjeu en en invisibilisant tous les autres, nous faisant oublier que cette efficacité est toujours localisée, orientée, défend toujours certains enjeux et certains intérêts au détriment d’autres, qu’elle est toujours celle de celui qui l’invoque depuis l’angle par laquelle il l’invoque. Ainsi, la promesse que l’IA permettra de faire des progrès en médecine ou dans nombre d’autres domaines est toujours répétée pour justifier des investissements, mais bien peu démontrée. En vérité, les progrès demeurent surtout incrémentaux et lents et ne pourront pas être effectifs, si le système de soin, lui, s’effondre. Pour le dire autrement, le progrès et l’efficacité médicales ne sont pas qu’une question d’innovation technique, mais également de disponibilité d’une infrastructure de soins pour tous [10]. En n’observant l’IA que comme un progrès, on ne discute pas de toutes les transformations qu’elle induit qui n’en relèvent pas et qui favorisent le pouvoir de quelques-uns sur tous les autres.
Pour le dire plus simplement encore, derrière le terme d’efficacité ne se cachent pas que des processus à optimiser, mais bien des pouvoirs qui s’affrontent. L’efficacité des uns cache toujours l’impuissance imposée aux autres.
L’Illusion d’objectivité
Compas, le logiciel de prédiction de risque de récidive criminel américain [11], utilisé dans de nombreuses juridictions de l’autre côté de l’Atlantique, est assurément l’un des emblèmes de la pseudo « objectivité » des calculs et donc de leurs défaillances du fait des biais [12] qu’ils embarquent. La promesse d’objectivité de cette prédictibilité nous fait oublier que les calculs ne sont jamais neutres : ils produisent toujours des décisions orientées selon les critères depuis lesquels ils sont construits, les objectifs qu’ils visent et les données avec lesquelles ils sont nourris.
Le calcul de risque [13] de récidive de Compas s’appuie sur un questionnaire comportant plus de 110 questions auxquelles doivent répondre les assistant.e.s sociaux qui accompagnent les personnes condamnées. Ces questions et surtout leurs réponses estiment que le risque de récidive serait inhérent aux caractéristiques individuelles des individus, à leur histoire, à leur parcours, à leur identité, plutôt qu’à des conditions socio-économiques exogènes. Le traitement de ces réponses par le logiciel donne un résultat augmenté d’un code couleur qui prédit le risque de récidive violente. Celui-ci est imprimé et ajouté au dossier et les magistrats le consultent pour prendre leurs décisions. Il se présente donc bien comme un outil d’aide à la décision opaque, biaisé et performatif [14] qui optimise une forme de décision sur d’autres [15]. Le calcul de risque de récidive de Compas a été dénoncé par nombre d’organisations et de chercheurs comme étant particulièrement biaisé au détriment des personnes de couleurs, déjà malmenées par le système judiciaire américain [16].
Tous les systèmes de calculs de risque déployés dans les domaines du social ont montré des défaillances problématiques, des algorithmes d’atténuation des risques bancaires à ceux de recherche de fraudes de la CAF [17].
Dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… Partout ces modèles restent englués dans leurs biais [18], en produisant des résultats assez pauvres. Trop souvent, ces systèmes de prédiction des risques utilisent des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins [19] où les risques de récidives criminelles depuis des données sur l’emprisonnement des proches.
Les outils de prédiction, derrière leur apparente neutralité et leur volonté de scientificité, amplifient les biais qu’ils véhiculent. En 2018, une enquête de Reuters [20] avait montré que le système de recrutement d’Amazon était fortement biaisé au détriment des femmes : ses données d’entraînement (les CV des gens déjà recrutés par Amazon) comportaient trop peu de femmes et le système écartait les candidates par défaut. Malgré les tentatives de l’équipe d’Amazon pour réparer le système d’embauche, l’équipe a fini par abandonner le projet, faute d’y parvenir. C’est dire que réparer les défaillances et les biais n’est pas si simple. L’exemple montre bien que pour corriger les biais, encore faut-il pouvoir les mesurer ou déterminer quelles corrections appliquer [21]. La neutralité des calculs n’est donc pas tant un problème technique à corriger, une question de modélisation à ajuster, de données à élargir ou de calculs à améliorer. Elle consiste au contraire à reconnaître que nos calculs sont situés et défaillants, et à trouver des solutions qui ouvrent des perspectives plutôt qu’elles ne les referment pour ceux qui sont impactés par les calculs. « Les biais sont la nature même des classifications » disait Kate Crawford [22].
La promesse d’objectivité est également une promesse de neutralité, celle d’une science des données et des traitements « qui pense être capable de produire le monde sans avoir à le convoquer » [23], et auquel il suffirait d’appliquer une froide raison sur le calcul pour neutraliser ce qu’il produit. Comme le dit l’historien des sciences Theodore Porter, « la quantification est une technologie de la distance », c’est-à-dire qui met à distance sous principe d’objectivité. La neutralité en est l’idéal, qui promeut un point de vue surplombant, oubliant qu’il constitue surtout le point de vue du groupe dominant, au détriment des contextes, de la diversité des situations. Oubliant que la connaissance se construit bien plus par la diversité des perspectives que par le rejet de certaines, ou par la prise en compte des incertitudes que par l’affirmation qu’il n’y en aurait aucune. Le narratif sur l’objectivité de l’IA sert à opacifier ses effets, explique Dan McQuillan [24]. Il nous pousse à croire que l’optimisation statistique serait le summum de la rationalité, qu’il permettrait d’éliminer nos biais quand il ne fait que les accélérer. Pour Couldry et Mejias, l’IA sert surtout à dissimuler les limites de la rationalité, à la parer de neutralité et à automatiser la violence et la discrimination qu’elle produit [25]. Pour le dire autrement, l’IA n’est que la nouvelle étape d’une production coloniale ou impériale de connaissances qui prend toutes les productions humaines pour générer un savoir qui nous est présenté comme son apothéose, quand elle est avant tout un moyen d’assurer la continuité de son appropriation par certains au détriment de tous.
Notes :
[1] En anglais, Department of Government Efficiency (Doge). https://fr.wikipedia.org/wiki/D%C3%A9partement_de_l%27Efficacit%C3%A9_gouvernementale
[2] Le « département » non officiel n’a jamais été dirigé par Elon Musk mais par Amy Gleason. Musk n’en a été que le conseiller de janvier à mai 2025, même si ce sont ses équipes et visiblement lui, qui a dirigé pendant les 6 premiers mois les actions du Doge. Le terme de département correspond à ce que nous appellerions un ministère, mais, malgré son nom, le Doge n’a pas été un véritable ministère puisque sa création aurait nécessité l’approbation du Congrès américain, ce qui n’a pas été le cas.
[3] A l’image du terme lui-même, concaténation du terme Dog (chien) auquel est ajouté un « e » qui ne signifie rien et rend le mot absurde. Voir la définition du mème Doge sur Wikipédia : https://fr.wikipedia.org/wiki/Doge_(m%C3%A8me) ainsi que Pierre Trouvé, « Mort de Doge, le chien devenu l’un des mèmes les plus connus d’internet », Le Monde, 24 mai 2024 : https://www.lemonde.fr/pixels/article/2024/05/24/mort-de-doge-le-chien-devenu-l-un-des-memes-les-plus-connus-d-internet_6235237_4408996.html
[4] Sur le modèle du programme du président ultralibéral argentin Javier Milei dont la tronçonneuse est devenue l’emblème des coupes drastiques accomplies dans les services publics.
[5] Hubert Guillaud, « Doge : l’efficacité, vraiment ? », Danslesalgorithmes.net, 4 mars 2025 : https://danslesalgorithmes.net/2025/03/04/doge-lefficacite-vraiment/
[6] Voir notamment, Hubert Guillaud, « Après le Doge, les Doges ! », Danslesalgorithmes.net, 15 octobre 2025 : https://danslesalgorithmes.net/2025/10/15/apres-le-doge-les-doges/
[7] Hubert Guillaud, « Doge : la fin du cloisonnement des données » Danslesalgorithmes.net, 13 mai 2025 : https://danslesalgorithmes.net/2025/05/13/doge-la-fin-du-cloisonnement-des-donnees/ Michael Macher, « Wages of Citizenship », 10 avril 2025 : https://phenomenalworld.org/analysis/wages-of-citizenship/
[8] Donna Haraway, Savoirs situés, Wildproject, 2026.
[9] La neurologue irlandaise, Suzanne O’Sullivan, auteure de The Age of Diagnosis: Sickness, Health and Why Medicine Has Gone Too Far (Penguin Random House, 2025), estime que l’essor technologique nous permet désormais d’améliorer les diagnostics. Mais, tempère-t-elle, cet essor « ne semble pas s’être accompagné d’une amélioration de notre santé ». Si nous détectons et traitons davantage de cancers à des stades plus précoces, ce qui sauve la vie de certaines personnes, en revanche, d’autres reçoivent des traitements inutiles, et il se pourrait que la proportion des personnes surtraitées soit plus forte que la réduction de la mortalité. En fait, des études à grande échelle montrent que l’amélioration du dépistage ne conduit pas à une amélioration des taux de survie. La spécialiste dénonce une dérive diagnostique. Nos outils sont devenus plus précis, au risque de générer d’innombrables faux-positifs.
[10] Voir notamment Alexandre Monnin, « Ne plus soigner : une tendance actuelle », AOC, 12 juin 2025 : https://aoc.media/analyse/2025/06/11/ne-plus-soigner-une-tendance-actuelle/
[11] Développé par la société Northpointe devenue Equivant, Compas est un acronyme pour « Correctional Offender Management Profiling for Alternative Sanctions » pour désigner un outil de Gestion de profilage de sanctions alternatives pour délinquants en correctionnel :
https://en.wikipedia.org/wiki/COMPAS_(software)
[12] Le terme de « biais » fait référence au phénomène selon lequel les algorithmes produisent des distorsions faussant la neutralité et l’objectivité des résultats. Ces biais peuvent provenir autant des données utilisées qui ne sont pas toujours représentatives (par exemple sur des facteurs tels que l’appartenance ethnique, le sexe ou d’autres caractéristiques sociaux-démographiques comme le niveau de revenus, l’âge…) ainsi que selon les modalités d’agencement, de traitement ou de calculs, pouvant conduire à des traitements injustes et à renforcer ou faire perdurer les inégalités sociales.
[13] Le calcul de risque d’erreurs, de fraudes, d’abus, d’indus… sont des techniques de production statistiques nées dans les domaines de l’assurance, de la banque et de la téléphonie mobile pour identifier les erreurs, fraudes et abus. Elles sont désormais également très utilisées dans nombre d’autres domaines du social, comme l’emploi, les impôts, la sécurité sociale pour déclencher des contrôles. Leur principe consiste à extraire des dossiers identifiés comme porteurs de risques pour produire des critères et variables qui les caractérisent, puis d’appliquer ces éléments à l’ensemble des cas pour que les systèmes signalent automatiquement les dossiers qui s’en rapprochent et ainsi limiter les risques avant qu’ils ne surviennent. Cf. Vincent Dubois, Contrôler les assistés, genèses et usages d’un mot d’ordre, Raisons d’agir, 2021 ainsi que Hubert Guillaud, « Le calcul de risque, cette révolution industrielle de l’administration publique produite à notre insu », InternetActu.net, 22 juin 2021 : https://www.internetactu.net/2021/06/22/le-calcul-de-risque-cette-revolution-industrielle-de-ladministration-publique-produite-a-notre-insu/ Voir aussi Jathan Sadowski, The Mechanic and the Luddite : a ruthless criticism of technology and capitalism, University of California Press, 2025.
[14] Ces systèmes sont opaques parce que les modalités de leurs fonctionnements ne sont pas documentées ni publics et parce que les scores que les calculs produisent ne sont pas communiqués aux prévenus et que ceux-ci ne disposent d’aucune modalité pour les contester. Ils sont biaisés car nombres de variables utilisées sont reliées à l’appartenance ethnique, que ce soit par le biais de questions formelles simples, comme l’indication du code postal, ou par le biais de questions plus complexes, comme les relations familiales. Ils sont biaisés également parce qu’ils entérinent et renforcent l’inégalité sociale de la justice américaine qui incarcère les noirs et les pauvres plus massivement que d’autres catégories de population. Enfin, ils sont performatifs, parce qu’en cherchant des récidivistes potentiels, ils en créent. Pour la chercheuse Angèle Christin, ces outils ne sont « ni neutres, ni impartiaux, ni objectifs, ni efficaces ». Voir par exemple : Angèle Christin.« Algorithms in Practice: Comparing Web Journalism and Criminal Justice. » Big Data & Society, 2017 : https://journals.sagepub.com/doi/pdf/10.1177/2053951717718855
[15] D’autres systèmes concurrents à Compas ont été élaborés. Par exemple un système qui propose pour chaque prévenu la meilleure solution pour qu’il ne récidive pas où se présente au tribunal, en recommandant pour chacun les aides les mieux adaptées plutôt que de chercher à les empêcher de sortir de prison du fait du risque que le système leur attribue. Un autre système, ESAS, propose lui de ne pas donner accès aux juges un score de risque pour chaque prévenu – dont ils suivent trop souvent les recommandations, mais plutôt un logiciel qui leur donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements.
[16] Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, « Machine Bias », ProPublica, May 23, 2016 : https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing Gaston Bidou, Quentin Hillebrand, Zhanbo Hu, Hugo Pouzet, Justine Rayssac, Raphaël Rozenberg, Jianan Shi, Morgane Turlan, « Compas, un outil impartial ou biaisé ? », Les controverses de Mines Paris, 2022 : https://controverses.minesparis.psl.eu/public/promo21/COMPAS.pdf Valérie Beaudouin et Winston Maxwell, « La prédiction du risque en justice pénale aux Etats-Unis : l’affaire propublica-Compas », Revue Réseaux, 2023/4, n°240 : https://shs.cairn.info/revue-reseaux-2023-4-page-71 Hubert Guillaud, « Vers la justice analytique (2/3) : prédiction et régulation en leurs limites », InternetActu.net, 24 juillet 2017 : https://www.internetactu.net/2017/07/24/vers-la-justice-analytique-23-prediction-et-regulation-en-leurs-limites/
[17] Sur les limites des outils d’atténuation de risque bancaire, voire notamment la série de podcasts produite par l’AFP et Algorithm Watch, « Faux positifs », janvier 2025 : https://podcasts.afp.com/afp-audio-sur-le-fil/202503110400-comprendre-les-fermetures-abusives-de-comptes-en-banque-redi. Sur les algorithmes de la CAF, voir les travaux de l’association Changer de Cap : https://changerdecap.net. Ainsi que Gabriel Geiger, Soizic Pénicaud, Manon Romain et Adrien Sénécat, « Profilage et discriminations : enquête sur les dérives de l’algorithme des caisses d’allocations familiales », Le Monde, 4 décembre 2023 : https://www.lemonde.fr/les-decodeurs/article/2023/12/04/profilage-et-discriminations-enquete-sur-les-derives-de-l-algorithme-des-caisses-d-allocations-familiales_6203796_4355770.html. Nous invitons également à se référer aux travaux pionniers de Virginia Eubanks, Automating Inequality, MacMillan, 2018.
[18] Comme l’expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans AI Snake Oil, Princeton University Press, 2024. Pour eux, on pourrait utiliser deux données seulement pour produire un outil qui donnerait des résultats « aussi précis » que celui de Compas : l’âge et le nombre d’infractions antérieures. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.
[19] Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il ait montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. » Ces systèmes reposent sur des préjugés omniprésents, par exemple, dans les systèmes qui priorisent les arrivées aux urgences ou ceux qui tentent d’identifier les patients qui ne se présentent pas à leurs rendez-vous. Les chercheurs parlent de « problème systémique », pour expliquer que la neutralité est un objectif difficilement atteignable et qui nécessite une attention constante. Hubert Guillaud, « En médecine, l’IA est en plein essor, mais pas crédibilité », InternetActu.net, 3 juin 2021 : https://www.internetactu.net/a-lire-ailleurs/en-medecine-lia-est-en-plein-essor-mais-pas-sa-credibilite/ Ainsi que David Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022.
[20] Jeffrey Dastin, « Amazon scraps secret AI recruiting tool that showed bias against women », Reuters, 11 octobre 2018 : https://www.reuters.com/article/idUSKCN1MK0AG/
[21] Catherine D’Ignazio et Lauren Klein dans leur livre Data Feminism (MIT Press, 2020), estiment que parler de biais laisse croire qu’on pourrait les corriger : elles préfèrent donc parler d’oppression. Même constat chez d’autres auteurs comme Sasha Constanza-Chock dans Design Justice : community-led practices to build the worlds we need (MIT Press, 2020), ou Ruha Benjamin dans Race after technology (Polity, 2019)… qui parlent elles plutôt de justice, pour pointer également l’importance des rapports de pouvoir masqués par les traitements.
[22] Kate Crawford, Contre-Atlas de l’intelligence artificielle, Zulma, 2021.
[23] Lauren Klein et Catherine D’Ignazio, Data Feminism, MIT Press, 2020. Ainsi que Hubert Guillaud, « Pour un féminisme des données », 09 juillet 2024 : https://danslesalgorithmes.net/2024/07/09/pour-un-feminisme-des-donnees/
[24] Dan McQuillan, Resisting AI : An Anti-fascist Approach to Artificial Intelligence, Bristol University Press, 2022.
[25] Ulises A. Mejias et Nick Couldry, Data Grab : the new colonialism of Big Tech (and how to fight back), WH Allen, 2024.
