Pendant les vacances de Noël, Grok, l’IA de Musk, a été particulièrement utilisée pour générer des images de femmes dénudées, rapporte le Monde : « L’ONG européenne AI Forensics a tenté de quantifier le phénomène, en analysant 20 000 images générées par Grok entre le 25 décembre et le 1er janvier. Ils ont observé que plus de la moitié d’entre elles (53 %) représentaient des personnes légèrement vêtues, dont 81 % de femmes ».
« L’Internet Watch Foundation, une organisation à but non lucratif qui identifie les contenus pédopornographiques en ligne, a signalé une augmentation de 400 % de ces images générées par l’IA au cours du premier semestre 2025. », rappelle encore le Monde, signalant que le Parquet de Paris et l’Arcom ont été saisis de ces problèmes et que xAI, l’entreprise qui édite Grok, a accusé une faille de sécurité qui a conduit à ouvrir la possibilité de générer ce type d’images, affirmant qu’elle avait été corrigée depuis. En décembre, le Monde avait d’ailleurs publié une enquête sur la montée des applications de nudification à l’égard des mineurs, montrant que c’était d’abord un business lucratif.
De nombreux pays se sont émus de cette nouvelle possibilité, rappelle The Verge, qui liste les réactions, notamment américaines. Pour Paris Marx, « les réactions des autorités de régulation face à un chatbot produisant de la pédopornographie sur la plateforme appartenant à l’homme le plus riche du monde sont loin d’être assez fermes et rapides ». « Elon Musk et tous ceux qui, chez X ou xAI, ont travaillé directement sur cette fonctionnalité devraient être tenus pénalement responsables des conséquences de leurs actes. Mais de nombreux pays n’auront pas compétence pour juger ces crimes. Au lieu de cela, ils devraient prendre la mesure évidente d’interdire X avant que les dommages qu’il cause à leurs citoyens ne s’aggravent davantage », clame-t-il après avoir rappelé tous les problèmes causés par X et Grok ces derniers mois. Même propos pour Caroline Haskins dans Wired : Pourquoi Grok et X sont-ils toujours disponibles sur les plateformes de téléchargement d’applications ? « Ces deux dernières années, Apple et Google ont retiré plusieurs applications de « nudification » et de génération d’images par IA suite à des enquêtes de médias révélant qu’elles étaient utilisées, ou promues, pour transformer des photos ordinaires en images explicites de femmes sans leur consentement. » Pourquoi Musk obtient-il un traitement différent ? Le très sérieux Financial Times s’agace également en transformant les dirigeants de xAI en clowns et qualifie X, rien de moins que de site porno.
Face aux menaces de suspension, xAI vient d’annoncer qu’elle limitait la génération d’images aux utilisateurs payants de Grok, rapporte Next, en monétisant le problème, sans le résoudre. The Verge estime que malgré les déclarations de xAI, ce n’est pas le cas : la fonctionnalité était toujours accessible et pas seulement aux utilisateurs payants… xAI semble surtout ne rien faire. L’Indonésie vient de bloquer l’accès à Grok : « Le gouvernement considère la pratique des deepfakes sexuels non consensuels comme une grave violation des droits de l’homme, de la dignité et de la sécurité des citoyens dans l’espace numérique ». La Malaisie également. Tech Policy Press a mis en place un billet mis à jour pour suivre les réponses réglementaires mondiales autour de cette polémique.
Grok, un arsenal épistemique
Pour Tech Policy Press, Eryk Salvaggio rappelle que le problème tient tout entier aux configurations de Grok. Contrairement à Grok, la plupart des outils d’IA générative ne publient pas automatiquement les images générées par les utilisateurs. « Puisque la plateforme fournit à la fois l’outil de génération et le moyen de publication, l’entreprise – qui rend compte à Musk, son fondateur et PDG – est pleinement responsable du contenu qu’elle produit et publie en réponse à une requête utilisateur ». Les utilisateurs ne sont pas les seuls coupables, comme ont tenté de le dire Musk et xAI. Comme le dit Matteo Wrong pour The Atlantic, « le véritable impact du bot réside dans son intégration à une plateforme majeure de médias sociaux, lui permettant de transformer des images à caractère sexuel non consensuelles en phénomènes viraux » :« du harcèlement déguisé en mème ».
Salvaggio rappelle que Grok est bien configuré pour se comporter d’une manière spécifique. « Son invite système est publique et l’une de ses instructions (ligne 13) indique clairement à Grok que, lors de la génération d’images, les invites contenant les mots « adolescente » ou « fille » « n’impliquent pas nécessairement une mineure ». Cette simple définition peut inciter le modèle à interpréter plus facilement les avertissements concernant les contenus pédopornographiques comme non applicables. « Les invites système constituent des contraintes imparfaites et facilement contournables, mais elles offrent un niveau de contrôle sur les actions autorisées aux utilisateurs. »
« De nombreux modèles restreignent les contenus offensants ou illégaux en appliquant des systèmes de reconnaissance d’images au résultat avant de l’afficher à l’utilisateur ou de le publier sur un réseau social public. Grok signale déjà les images comme étant à caractère sexuel explicite ; les utilisateurs doivent cliquer dessus pour les visualiser. Il s’agit d’un choix relatif au contenu : le même outil de reconnaissance d’images pourrait être utilisé pour masquer l’image ou empêcher sa diffusion. »« Choisir de signaler un contenu comme étant à caractère sexuel explicite plutôt que d’en bloquer la génération est une décision éditoriale, faisant de la plateforme un co-développeur autant qu’un éditeur ».
L’IA générative est trop souvent décrite comme incontrôlable car trop complexe pour cela, rappelle Salvaggio. « Le mythe de la boîte noire » permet surtout aux entreprises de l’exploiter à leur avantage. « Or, l’architecture de l’IA est, par essence, un système permettant de façonner des mots pour obtenir les résultats jugés souhaitables. Les entreprises développent divers systèmes qui orientent l’ensemble des mots et des pixels vers des résultats plus prévisibles, définis selon leurs propres intérêts. Ces intérêts incluent le profit, mais peuvent aussi servir à manipuler les modèles comme des outils idéologiques d’oppression. Par exemple, lorsqu’ils sont présentés comme une menace imminente pour les femmes qui n’oseraient plus exprimer d’opinions susceptibles d’inciter des utilisateurs hostiles à se servir de ces outils pour les humilier ». Pour Salvagio, les systèmes sont d’abord ce qu’ils font. Et Grok autorise explicitement le harcèlement. Même constat pour le chercheur Matthew Kirschenbaum dans une autre tribune pour Tech Policy Press qui explique que Grok est une arme épistémique. « Grok est un instrument intentionnel visant à établir, maintenir et manipuler une réalité consensuelle sur X, un environnement discursif autonome et autosuffisant comptant au moins 250 millions d’utilisateurs quotidiens », avec lequel il est totalement intégré.
« Le statut d’arme de Grok est ainsi constamment affiné, en quelque sorte, par sa matérialité algorithmique. Il est même désormais pleinement impliqué dans la gestion du contenu que les utilisateurs voient lorsqu’ils découvrent et créent du contenu sur X. Nous assistons à l’intégration fonctionnelle du modèle dans l’architecture de la plateforme, de sorte que ses décisions et sa base de connaissances agissent comme une forme d’enfermement, définissant les limites épistémiques de la vérité par le biais de la priorisation, de la promotion et de la monétisation pour le partage de publicités, les publications sponsorisées, etc. – le tout étant géré jusqu’au niveau des profils individuels.» Grok ne fait pas que halluciner. Il a pour fonction de diffuser de fausses informations sur la suprématie raciale, le genre, les candidats politiques et idées progressistes. Pourtant, rappelle Kirschenbaum, Grok pourrait n’être que l’une des armes les plus grossières de l’arsenal épistémique. Demain, l’IA embarquée dans le système de diagnostic de votre médecin, pourra être paramétrée selon le modèle de santé d’une compagnie d’assurance ou sur les recommandations d’une agence de santé nationale au bénéfice de ses recommandations économiques plus que de la santé des utilisateurs.
Reste que si Grok a un statut particulier, il n’est pas le seul outil à poser problème. 404 media par exemple revenait récemment sur la démultiplication d’influenceuses IA sur Instagram qui partagent de fausses images d’elles au lit avec des célébrités, comme Dwayne Johnson. Ces images et vidéos, créées sans le consentement des célébrités ni signalées comme étant de l’IA violent deux des politiques d’Instagram sans que Meta ne se montre très disposé à maîtriser ce contenu, alors que ces vidéos font des millions de vues.
Nudification : la législation reste en retard
Tech Policy Press pointe vers une intéressante étude sur le phénomène menée par la jeune chercheuse Kaylee Williams pour la revue Violence Against Women. Pour son étude, la chercheuse a recensé 101 applications de nudification et n’en a retenu que 29 pour analyse. Elle remarque que celles-ci semblent avoir été entraînées sur des images de femmes, car très peu savent dénuder des hommes sans produire de caractéristiques féminines, comme de les doter de soutien-gorge. « La sexualisation des femmes », écrit Williams, « est une fonction essentielle de ces plateformes, tandis que le traitement similaire des hommes est considéré comme secondaire, voire optionnel. » Le discours marketing de ces applications est très similaire et favorise la minimisation de la pratique. A l’exception d’une seule application, les politiques de confidentialité stipulent toutes que le contenu est conservé pour une durée limitée et supprimée après leur téléchargement par l’utilisateur, ce qui souligne que les applications ont bien conscience qu’il peut être compromettant, malgré leurs discours. 28 des 29 applications proposent une version gratuite ou un essai gratuit et les deux tiers proposent des parrainages incitant les utilisateurs à initier d’autres personnes à cette pratique et contribuant à la prolifération du phénomène. « Les applications de déshabillage ne sont pas de simples innovations en matière de génération d’images par IA, mais des vecteurs de violences sexistes systémiques, ancrées dans un écosystème numérique plus vaste qui objectifie les femmes et marchandise leur exploitation. » Cette « normalisation généralisée des violences sexistes » a un effet dissuasif, décourageant les femmes de participer à la vie publique (en ligne ou non) par crainte de voir leur image utilisée à des fins malveillantes.
Williams conclut par une réflexion sur les implications politiques des applications de déshabillage, soulignant que la réglementation interdisant la création, la facilitation, la possession et la diffusion de contenus intimes non consentis, y compris ceux générés par l’IA, varie selon les juridictions. Cependant, même là où une telle réglementation existe, « une application cohérente demeure quasiment impossible, en raison de l’anonymat relatif des créateurs de deepfakes, de la nature décentralisée de ces applications et de l’immunité juridique considérable dont bénéficient les plateformes américaines concernant les contenus préjudiciables publiés par leurs utilisateurs. » Bien que des réglementations récentes, comme la loi TAKE IT DOWN adoptée aux États-Unis en début d’année, définissent des exigences formelles, leur mise en œuvre et le traitement des questions de responsabilité et de juridiction restent à démontrer devant les tribunaux et dans la pratique, rappelle Williams. De plus, poursuit-elle, les solutions législatives appropriées sont loin d’être simples. Cette étude montre à quel point les applications de déshabillage sont profondément ancrées dans une culture de violence transphobe et sexiste, suggérant que pour la combattre efficacement, « il est nécessaire d’aller au-delà des obligations de retrait et d’examiner comment les infrastructures d’information, les incitations financières et les cadres culturels encouragent activement l’objectification et l’exploitation des femmes ».
Au Royaume-Uni, la polémique autour de Grok a relancé le débat sur l’interdiction des deepfakes. Des militants ont obtenu l’adoption, en juin dernier, d’une loi interdisant la création et la demande de création d’images intimes sans le consentement de la personne concernée, rappelle The Guardian. Toutefois, les dispositions pertinentes n’ont pas encore été mises en œuvre, ce qui rend la loi inapplicable pour le moment. Le partage de ces deepfakes non consensuels est néanmoins déjà illégal. Pour Wired, si les applications de déshabillage lui préexistaient, Grok a démocratisé la pratique en les rendant publiques et visibles. Pour The Verge, la journaliste Hayden Field explique que Musk et xAI semblent surtout minimiser ces incidents. 404 media révèle quant à lui que Grok est un outil particulièrement utilisé par des pirates pour contourner ses garde-fous et produire des images et vidéos sexuelles bien plus violentes encore, sans plus aucun bikini. Comme le dit Numerama, « les débrideurs ont pris le pouvoir » et les équipes de xAI « donnent l’impression de manquer de moyens ou de volonté pour empêcher leur modèle de générer des contenus non consensuels ».
Reste que la question en suspens, consiste, encore à savoir si ces dénudages contreviennent aux lois. L’utilisation de l’IA pour générer l’image d’un mineur identifiable en bikini (voire nu) – bien qu’incontestablement contraire à l’éthique – n’est peut-être pas illégale au regard des lois américaines actuelles sur la pornographie infantile et les contenus pédopornographiques, ont expliqué des experts à The Verge. « Malgré les lois fédérales et la multitude de lois étatiques, les experts affirment qu’il est difficile d’appliquer les interdictions concernant les images à caractère sexuel générées par l’IA actuellement, et encore plus difficile de déterminer la responsabilité des plateformes ». « Au final, les lois sont contradictoires et il n’existe pas de jurisprudence » pour la plupart d’entre elles, a déclaré Shael Norris, directrice exécutive fondatrice de SafeBAE, une organisation qui lutte contre les violences sexuelles.
Mais le problème pourrait bien ne pas être seulement légal. Robert Hayes, ex-dirigeant de xAI, est devenu le responsable du bureau des brevets et des marques américains, en obtenant une dérogation pour conserver des actions de l’entreprise, malgré les lois sur les conflits d’intérêts. Le problème, explique The Lever, c’est que Hayes est celui qui doit définir les politiques pour atténuer les méfaits des deepfakes. Mais il n’y a pas que Robert Hayes qui pourrait poser problème. Comme le souligne Charlie Warzel pour The Atlantic, le silence des employés de Grok est problématique. Personne ne s’est exprimé sur le problème, pas même pour présenter des excuses. Le peu d’empressement de la plateforme à corriger le problème montre surtout que ceux qui ont permis savent que personne ne les arrêtera. Le ghosting des régulateurs s’amplifie. Pourtant, comme l’explique Owen Bennett de l’Ofcom, le régulateur britannique, il est probable que l’Europe n’ira pas jusqu’à bannir Grok. Le blocage ne satisfera pas aux conditions de proportionnalité et celui-ci reste difficile à mettre en œuvre.
La Grokisation n’est pas inéluctable
Dans Galaxy Brain, l’un des podcasts de The Atlantic, Warzel met en perspective les limites que Grok fait peser sur l’internet tel que nous le connaissons. « Le silence et le manque d’urgence ne sont pas qu’un simple échec de la modération de contenu ; c’est une atteinte à la décence humaine élémentaire, un moment révélateur de ce qui se produit lorsque les plateformes privilégient le chaos à la responsabilité ». Mais Warzel propose de ne pas rester coincé dans cet avenir sombre, dans les ruines de l’impérialisme de la tech. « Quelque chose doit changer ». « Soit on choisit d’instaurer un minimum de règles et d’ordre, soit on sombre dans l’anarchie et le chaos. Et il semble que ce soit la voie qu’ils aient choisie.» Pourtant, le journaliste ne veut pas s’y résoudre. Nous avons besoin de changer la direction que prend internet. Pour cela, il discute avec les auteurs du Manifeste de l’informatique résonante, Zoe Weinberg, Mike Masnick et Alex Komoroske. Zoe Weinberg dirige ex-ante et anime un podcast pour l’America’s NextGen Initiative. Alex Komoroske est le fondateur de Common Tools et auteur notamment de quelques belles réflexions sur les limites de l’optimisation. Mike Masnick, blogueur historique et fondateur de TechDirt, est notamment l’auteur de l’excellent article sur les protocoles plutôt que les plateformes. Tous les trois, rejoints par quelques autres noms de l’internet sont les auteurs du Manifeste de l’informatique résonante, qui vise à dessiner un autre avenir que celui que nous propose Grok :
« Nous façonnons nos environnements, et à leur tour, ils nous façonnent.
Une technologie de pointe ne se contente pas de résoudre des problèmes. Elle s’intègre au monde que nous habitons. Dans le meilleur des cas, elle peut accroître nos capacités, notre connectivité, notre perception du possible. La technologie peut révéler le meilleur de nous-mêmes.
Or, notre paysage technologique actuel produit l’effet inverse. Des flux conçus pour capter notre attention et nous maintenir en haleine, laissant derrière eux un sillage d’anxiété et d’atomisation. Des plateformes numériques qui régissent de plus en plus notre accès aux transports, au travail, à la nourriture, aux rencontres, au commerce, aux divertissements, tout en vidant systématiquement de leur substance et de leur chaleur tout ce qu’elles touchent. Malgré ses promesses grandioses, la technologie moderne nous laisse souvent un sentiment d’aliénation, nous éloignant toujours plus de ce que nous aspirons à être.
Les personnes qui conçoivent ces produits ne sont ni mauvaises ni malfaisantes. La plupart d’entre nous se sont lancés dans la tech avec le désir sincère de laisser un monde meilleur. Mais les motivations et les normes culturelles de l’industrie technologique se sont cristallisées autour de la logique de l’hypercroissance. Elle est devenue monolithique, magnétique, omniprésente – un environnement qui façonne tous ceux qui y mettent les pieds. Si les résultats commerciaux sont indéniables, les conséquences en aval sur l’humanité le sont tout autant.
Avec l’émergence de l’intelligence artificielle, nous sommes à la croisée des chemins. Cette technologie recèle un véritable potentiel. Elle pourrait tout aussi bien aggraver les problèmes existants. Si nous continuons à avancer insouciants sur la voie de l’hypercroissance et de la centralisation, les générations futures hériteront assurément d’un monde bien plus dystopique que le nôtre.
Mais une autre voie s’ouvre à nous.
L’architecte Christopher Alexander a consacré sa carrière à explorer les raisons pour lesquelles certains environnements bâtis nous anesthésient, tandis que d’autres nous font nous sentir plus humains, plus en harmonie avec le monde. Ses travaux portaient sur la « qualité indicible », cette intuition qu’un lieu ou un élément architectural est en résonance avec la vie. En apprenant à reconnaître cette qualité, affirmait-il, et en construisant un bâtiment en dialogue avec elle, nous pourrions créer de manière fiable des environnements qui nous vivifient.
Nous appelons cette qualité la résonance. C’est l’expérience de rencontrer quelque chose qui résonne en nous. C’est une étincelle de reconnaissance, le sentiment d’être invité à s’impliquer, à participer. Contrairement à la malbouffe numérique actuelle, plus nous nous engageons avec ce qui résonne en nous, plus nous nous sentons nourris, reconnaissants, vivants. À titre individuel, suivre les traces de la résonance nous aide à construire des vies riches de sens. À titre de communautés, d’entreprises et de sociétés, cultiver une résonance partagée nous aide à nous affranchir des incitations perverses et à construire ensemble des projets mutuellement bénéfiques.
Pendant des décennies, la technologie a exigé des solutions standardisées pour résoudre des problèmes humains complexes. Pour développer des logiciels à grande échelle, il fallait les concevoir pour l’utilisateur moyen, en gommant les cas particuliers. C’est pourquoi, à bien des égards, notre monde numérique a fini par ressembler à cette architecture stérile et impersonnelle qu’Alexander a combattue toute sa vie.
C’est là que l’IA apporte la pièce manquante du puzzle. Les logiciels peuvent désormais s’adapter avec fluidité au contexte et à la spécificité de chaque individu, et ce, à grande échelle. L’uniformisation n’est plus une nécessité, ni technologique ni économique. Alors qu’autrefois nos environnements numériques nous façonnaient inévitablement malgré nous, nous pouvons maintenant concevoir des technologies qui s’adaptent en fonction de nos aspirations individuelles et collectives. Nous pouvons créer des environnements inspirants qui révèlent le meilleur de chaque personne qui les fréquente.
Nous voici donc à la croisée des chemins. Quel que soit le chemin que nous emprunterons, l’avenir de l’informatique sera hyper-personnalisé. La question est de savoir si cette personnalisation nous maintiendra passifs, rivés à nos écrans – pataugeant dans les eaux peu profondes, privés de toute autonomie – ou si elle nous permettra de porter davantage notre attention sur l’essentiel.
Pour bâtir l’avenir technologique porteur de sens que nous souhaitons, nous devrons résister à la logique séduisante de l’hyper-échelle et remettre en question les hypothèses commerciales et culturelles qui la sous-tendent. Nous devrons prendre des décisions délibérées, à contre-courant des meilleures pratiques établies – repenser les architectures système, les modèles de conception et les modèles économiques qui ont façonné l’industrie technologique pendant des décennies.
Nous proposons ces cinq principes comme point de départ :
Privé : À l’ère de l’IA, celui qui contrôle le contexte détient le pouvoir. Bien que les données impliquent souvent de multiples parties prenantes, les individus doivent être les principaux responsables de leur propre contexte et décider de son utilisation.
Dédié : Le logiciel doit fonctionner exclusivement pour vous, garantissant l’intégrité contextuelle et une utilisation des données conforme à vos attentes. Vous devez pouvoir avoir la certitude qu’il n’y a pas d’intérêts cachés et conflits d’intérêts.
Pluriel : Aucune entité ne devrait contrôler les espaces numériques que nous fréquentons. Des écosystèmes sains nécessitent un pouvoir partagé, l’interopérabilité et un véritable choix pour les participants.
Adaptabilité : Les logiciels doivent être ouverts et capables de répondre aux besoins spécifiques et contextuels de chaque utilisateur.
Prosocial : La technologie doit favoriser la connexion et la coordination, nous aidant à devenir de meilleurs voisins, collaborateurs et gardiens des espaces partagés, en ligne comme hors ligne.
Nous, signataires de ce manifeste, nous engageons à créer, financer et promouvoir des produits et des entreprises qui intègrent ces principes. Pour nous, il ne s’agit pas d’un traité théorique. Nous développons déjà des outils et une infrastructure qui permettront de créer des produits et des écosystèmes pertinents.
Mais nous ne pouvons pas y arriver seuls. Personne ne détient toutes les réponses, et ce mouvement ne peut réussir isolément. C’est pourquoi, parallèlement à ce manifeste, nous partageons une liste évolutive de principes et de thèses. Voici des affirmations précises concernant les détails de mise en œuvre et les compromis nécessaires pour faire de l’informatique résonante une réalité. Certaines sont issues de notre expérience, tandis que d’autres seront recueillies auprès de professionnels de l’ensemble du secteur. Ce dialogue ne fait que commencer.
Si cette vision vous parle, nous vous invitons à nous rejoindre. Non seulement en tant que signataire, mais aussi en tant que contributeur. Apportez votre expertise, vos critiques, vos propres idées. En mobilisant l’intelligence collective de personnes sincèrement engagées, nous pouvons tracer la voie vers une technologie qui favorise l’épanouissement individuel et collectif. »
Comme le confie Mike Masnick au micro de Charlie Warzel : « c’est l’utilisateur qui doit avoir le pouvoir, le contrôle. C’est lui qui dit : Voilà ce que je veux ; voilà ce que je veux voir. » Et Masnick de conclure « Rien ne nous oblige à laisser les aspects déplorables d’Internet fonctionner comme ils le font actuellement. Et c’est même contraire à nos propres intérêts. Je suis donc très optimiste : quand on partage ces idées avec le monde, les gens sont naturellement attirés. Et c’est un premier pas vers un changement considérable à terme ».
La Grokisation de la société n’est pas inéluctable. A nous d’y œuvrer !
