IA : sortir de l’intensification

« En 1983, la psychologue cognitive Lisanne Bainbridge publiait un article de quatre pages dans une revue d’ingénierie, article resté confidentiel. Il traitait de l’automatisation des processus industriels : centrales nucléaires, raffineries chimiques, cockpits d’avions. Son ton, mesuré, presque aride, allait pourtant se révéler d’une justesse prophétique face à la situation actuelle. L’argument principal de Bainbridge était le suivant : plus un système automatisé est sophistiqué, plus le rôle de l’humain en son sein est exigeant. Elle appelait cela les « ironies de l’automatisation », une ironie structurelle et non fortuite. Les concepteurs de systèmes automatisés, observait-elle, ont tendance à considérer l’opérateur humain comme le maillon faible : peu fiable, inconstant, sujet à la fatigue et aux erreurs. L’objectif de l’automatisation est donc d’éliminer l’humain autant que possible. Mais le concepteur qui tente d’éliminer l’opérateur le laisse néanmoins accomplir les tâches qu’il ne parvient pas à automatiser. Ce qui subsiste après l’automatisation n’est pas un rôle simplifié, mais un résidu arbitraire des tâches les plus exigeantes, les plus ambiguës et les moins soutenues de tout le système. L’humain n’est pas remplacé. Autrement dit, paradoxalement, il se retrouve à gérer les aspects les plus difficiles, sans presque aucune préparation. »

Intensification

Cette publication tenait assurément d’une prophétie, explique le spécialiste de l’apprentissage Carl Hendrick dans sa newsletter. Nombre d’études sur l’introduction de l’IA en entreprise constatent le même effet. « Le travail ne diminue pas, il s’étend ». Et bien souvent, plus que de faire gagner du temps, il intensifie. C’est ce qu’évoquaient déjà, par exemple, les chercheuses de Data & Society Aiha Nguyen et Alexandra Mateescu dans leur  rapport sur l’IA générative et le travail, montrant que celle-ci intensifiait le contrôle et la surveillance au travail. C’est également ce qu’attestent les travaux de David Gaboriau, de Juan Sebastian Carbonell, d’Antonio Aloisi et Valerio De Stefano sur le bossware ou de Alexander Hertel-Fernandez sur la surveillance au travail… parmi d’autres. C’est également ce que continuent de confirmer des études plus récentes. 

Une première étude qui a suivi pendant 8 mois 200 employés d’une entreprise technologie a observé en détail comment l’introduction d’outils d’IA générative a transformé leur quotidien. La conclusion est sans appel : « l’IA n’a pas réduit la charge de travail, mais l’a intensifiée, de manière constante et pour tous les postes étudiés ». Si l’IA a permis aux employés de réaliser des tâches qui leurs étaient inaccessibles, elle a surtout envahi toute la capacité disponible. Les employés se sont retrouvés à en faire plus, à ressentir plus de pression, et à disposer de moins de temps de récupération. « Le travail ne diminue pas ; il se concentre ».

Hendrick pointe vers une seconde étude également publiée sur la Harvard Business Review par le Boston Consulting Group qui montre que la supervision intensive de l’IA demande un effort mental supplémentaire. Les chercheurs parlent de surcharge cognitive de l’IA (AI brain fry), une forme de burn-out à utiliser l’IA. « Un état d’épuisement cognitif aigu caractérisé par des difficultés de concentration, une prise de décision plus lente et ce que les participants ont décrit diversement comme un brouillard mental, une sensation de bourdonnement ou l’impression d’avoir une douzaine d’onglets ouverts simultanément dans la tête. 14% des personnes utilisant l’IA au travail ont déclaré en avoir souffert ; parmi celles occupant des postes en marketing et en opérations, ce chiffre dépasse le quart. » Sans surprise, cet épuisement serait plus fort dans les professions qui utilisent le plus l’IA, comme le marketing ou les RH notamment.

La « frontière irrégulière des capacités de l’IA » : de notre difficulté à juger ses productions

Cet épuisement de l’IA est la conséquence du workslop, ce travail bâclé par la génération de contenus (ce travail de remplissage, ce travail « ni fait ni à faire » qui a surtout pour effet de dégrader les relations de confiance interpersonnelles, entre collègues, voire avec des clients, comme nous le disions dans une des précédentes newsletter de Café IA), ce travail qui se fait passer pour un contenu de qualité, sans signaler son insuffisance. C’est désormais au destinataire de ce travail de détecter les erreurs,de fourbir le travail de vérification comme l’explique le professeur de mathématiques appliquées et spécialiste des systèmes de risque et d’assurance, Arthur Charpentier sur son blog, qui rappelle que le coût caché de l’IA n’est pas la génération, c’est la vérification. L’automatisation à l’heure de l’IA générative ne supprime pas l’erreur mais la déplace, explique-t-il. « Ce que l’on présente comme un gain de productivité n’est donc souvent qu’un déplacement comptable. » Au risque d’une diffusion de la responsabilité, comme s’en agace le professeur d’informatique et philosophe Jürgen Geuter, qui s’énerve après OpenClaw, un projet qu’il juge irresponsable. « Les systèmes d’IA sont intégrés à toutes sortes de processus et, lorsqu’ils dysfonctionnent (et ils dysfonctionnent toujours), c’est la faute de l’IA, ou bien de quelqu’un qui aurait dû vérifier ».

Pour Hendrick, ce qui rend cette charge mentale de l’IA si difficile à gérer, cette intensification à la vérification, est ce que le spécialiste en IA, Ethan Mollick, appelle la frontière irrégulière des capacités de l’IA : « le fait que l’IA soit extrêmement performante sur certaines tâches et échoue complètement ou subtilement sur d’autres, et que ces échecs ne soient pas corrélés à la difficulté apparente de la tâche ». L’irrégularité des productions de l’IA les rendent très difficiles à évaluer et à vérifier. 

« Cette frontière est invisible, ce qui signifie que le superviseur humain ne peut pas adapter sa vigilance au risque réel ; il doit tout considérer avec la même méfiance. Par exemple, une IA peut produire un résumé techniquement exact d’un article de recherche qu’elle n’a jamais lu, et un résumé techniquement plausible d’un article de recherche inexistant. Ces deux résultats seront indiscernables pour quiconque ignore déjà la réponse. » Comme le disait Helen Toner, directrice de la stratégie au Centre pour la sécurité et les technologies émergentes de l’université de Georgetown, il faut prendre cette irrégularité au sérieux. Notamment parce que si certaines tâches sont faciles à vérifier (la programmation par exemple), d’autres sont et risquent de rester difficiles à évaluer (la stratégie d’entreprise par exemple, ou les réponses d’une IA générative sur une question d’actualité).

Or, non seulement nous avons tendance à accorder une confiance excessive aux résultats automatisés, mais nous avons également tendance à les suivre lorsqu’ils sont erronés et à ne pas remarquer leurs erreurs, rappelle Hendrick. Et ce biais se retrouve autant chez les experts que chez les novices. Nos mécanismes de contrôle sont plus attentionnels qu’épistémiques. « Ce n’est pas que les individus manquent de connaissances pour repérer les erreurs ; c’est que les conditions de la supervision entravent la vigilance nécessaire à l’application de ces connaissances ». La charge d’évaluation qui en découle est donc plus lourde qu’il n’y paraît. « Cet exercice est cognitivement épuisant, d’une manière bien différente de l’effort de production initial ; et c’est, au sens le plus paradoxal du terme, une tâche qui exige précisément l’expertise que le système était censé rendre moins nécessaire. Autrement dit, l’IA présuppose la compétence même qu’elle risque de saper. »

L’épuisement de la vérification

C’est là l’ironie du paradoxe du contrôle décrit par Bainbridge : demander à des humains de superviser des systèmes automatisés est une tâche quasi impossible. La vigilance décline rapidement, la logique interne du système est opaque au superviseur, et l’humain est tenu responsable de la détection de défaillances que la machine ne peut signaler et pour lesquelles il n’a aucun moyen fiable de les repérer.

Le problème ne se limite pas à ceux chargés de surveiller les tableaux de bord d’une centrale nucléaire, mais s’étend à tous ceux chargés de relire des productions de l’IA. Ce travail ressemble à une simple supervision. « En réalité, il exige une attention soutenue, experte et hypervigilante, une qualité que la cognition humaine n’est tout simplement pas conçue pour supporter ». Ce qui n’est pas sans évoquer les travaux de l’anthropologue Stefana Broadbent, qui soulignait déjà, il y a longtemps, que « l’environnement de travail réduit le niveau d’implication des gens. L’automatisation implique des travaux de plus en plus dénués de sens avec des fonctions limitées. On demande à bien des employés de concentrer leur attention sur des tâches sans sens et répétitives et on sait qu’on a du mal à concentrer son attention quand on s’ennuie…». Elle invitait à concevoir des environnements de travail plus chargés de sens… pas sûr que ce soit le cas avec l’injonction productiviste à utiliser l’IA générative.

Pour le développeur Siddhant Khare, « la fatigue de l’IA est réelle », explique-t-il en constatant qu’il a produit plus de code que jamais avec les outils d’IA générative, mais qu’il est plus épuisé que jamais. « L’IA réduit peut-être le coût de production mais augmente les coûts de coordination, d’inspection et de décision. Et ces coûts, eux, reposent totalement sur l’humain ». L’évaluation demande plus d’efforts, notamment parce que les erreurs sont souvent plus subtiles. Comme il l’explique d’un collègue développeur :  « Avant l’IA, son travail consistait à réfléchir à un problème et à élaborer une solution. Après l’IA, son travail s’était transformé en une succession d’instructions : solliciter, attendre, lire, évaluer, décider, corriger et recommencer ; un contrôleur qualité sur une chaîne de montage sans fin. En milieu de semaine, il se retrouvait incapable de prendre des décisions simples. Sa mémoire de travail n’était pas saturée de code : elle était saturée de jugements sur le code qu’il devait réviser. » Invité à résoudre un problème, le collègue de Khare se retrouve à son tour démuni. « Son aptitude à la réflexion autonome pour une première ébauche s’était insidieusement dégradée, proportionnellement à la fréquence à laquelle il l’avait externalisée ». Le collègue de Khare se sent confronté à une forme « d’atrophie de la pensée ». Or, les compétences qui s’atrophient lors d’un fonctionnement automatisé fluide sont précisément celles requises en cas de défaillance de l’automatisation. C’est ce que Nicholas Carr avait montré il y a longtemps par exemple avec les pilotes d’avion qui perdent de la compétence à mesure qu’ils font confiance au pilotage automatique. Comme le pointait Brainbridge : « plus la machine fonctionne longtemps sans incident, plus les capacités humaines de secours s’amenuisent ; or, c’est précisément dans ces rares moments critiques de défaillance que l’humain est le plus nécessaire et le moins préparé. »

Mais, estime Hendrick dans l’étude du BCG, lorsque l’IA a été utilisée pour éliminer les tâches véritablement répétitives et à faible valeur ajoutée, les travailleurs de l’échantillon ont rapporté une diminution du syndrome d’épuisement professionnel, un engagement accru et davantage de temps consacré aux interactions humaines et aux activités créatives que cette technologie était censée favoriser. Cela montre que le problème tient pour beaucoup dans la manière dont l’IA est déployée. « La tendance naturelle du travail assisté par l’IA n’est pas la contraction, mais l’intensification, et les coûts de cette intensification s’accumulent insidieusement : dégradation du jugement, érosion des compétences, compression progressive du temps de récupération et augmentation de la fréquence des erreurs commises par des personnes qui produisent plus que jamais et réfléchissent moins attentivement qu’elles ne le pensent. » Tout l’enjeu consiste donc à se défier de cette intensification, à la résoudre. Pour Hendrick, « les arguments contre une adoption inconsidérée de l’IA diffèrent des arguments contre l’IA elle-même ». Pour lui, nous devons avoir une conception plus réfléchie de l’IA que nous ne l’avons actuellement.

Tirer les conséquences de notre épuisement : développer d’autres rapports à l’IA ?

Hendrick termine son article en tentant d’en tirer des conclusions pour l’introduction de l’IA dans l’éducation et en faisant un pas de côté intéressant. 

A l’école, l’évaluation fonctionne comme une sorte de boussole défectueuse : elle produit certes des résultats, mais dont nul ne sait faire de diagnostics. Nous avons bâti de vastes structures administratives autour de mesures dont on tire mal les enseignements. Les résultats scolaires sont présentés comme une source de connaissances que l’on peine à transformer en tableau de pilotage. Or, c’est peut-être là que l’IA pourrait aider, estime le spécialiste de l’apprentissage. Selon lui, la qualité de l’enseignement est le facteur le plus important pour la réussite des élèves, et elle varie énormément d’un professeur à l’autre. « Les enfants qui ont le plus besoin des meilleurs enseignants sont, de toute évidence, ceux qui ont le moins de chances d’y avoir accès : les élèves défavorisés sont surreprésentés parmi les enseignants les moins expérimentés, dans des établissements où le taux de rotation du personnel est élevé, et au sein de systèmes qui n’ont jamais trouvé de solution crédible au problème de la répartition des enseignants. »

Ce problème n’est pas, en premier lieu, un problème de ressources ou un problème politique : c’est d’abord un problème humain. L’expertise qui fait un excellent enseignant ne peut être fabriquée à la demande, commercialisée sous licence… on ne sait même pas garantir son maintien dans les conditions réelles d’une école. L’IA ne résout pas ce problème. Mais elle pourrait bien être le premier outil à s’y attaquer véritablement : non pas en reproduisant les meilleurs enseignants, ce qu’elle ne peut faire, mais en rehaussant le niveau minimal de conception des programmes, de qualité de l’enseignement et d’évaluation dans les classes où ce niveau est le plus bas.

Pour Hendrick, le déploiement de l’IA dans l’éducation ne devrait pas servir d’outil de diffusion de contenus. Mais il fournit une infrastructure pour prendre au sérieux les sciences de l’apprentissage au niveau de chaque apprenant.

On sait depuis longtemps par exemple que la répétition espacée permet une mémorisation à long terme nettement plus efficace. Mais l’une des raisons pour lesquelles nous peinons à mettre en œuvre la répétition et l’espacement des révisions dans les écoles tient au fait que calculer l’intervalle de révision optimal pour chaque information, pour chaque élève, à chaque instant, est une tâche impossible pour un enseignant humain gérant une classe de trente élèves. Or, c’est là que l’IA pourrait être précieuse, estime Hendrick, en pointant par exemple vers un planificateur open source qui utilise l’IA pour prédire le moment où une information est sur le point d’être oubliée et doit être répétée. Pour Hendrick, l’IA permettrait non pas le remplacement des sciences cognitives par la technologie, mais leur mise en œuvre grâce à elle.

Dylan Wiliam soutient depuis des décennies que l’intervention la plus efficace en éducation ne réside pas dans un programme ou une technologie en particulier, mais dans la qualité de la boucle de rétroaction entre l’enseignant et l’élève : c’est le moment où l’enseignant repère une difficulté de compréhension et y répond en temps réel par une question ou une explication pertinente qui permet à l’élève de progresser. Ce moment requiert quelque chose que l’IA ne peut reproduire : une connaissance authentique de l’individu, acquise au fil du temps, dans une relation de confiance. Pour Hendrick, l’IA peut éliminer la centaine de petites tâches qui, actuellement, empêchent les enseignants d’être pleinement présents et concentrés sur l’apprentissage. Si l’IA prend en charge les aspects les plus mécaniques de l’évaluation formative : le repérage des erreurs courantes, la génération d’exercices de révision à intervalles appropriés, le suivi de l’accumulation des idées fausses au sein d’une classe au fil du temps, elle pourrait en principe redonner aux enseignants la capacité cognitive nécessaire au travail qui leur est propre. « Un enseignant libéré de la corvée de corriger trente exercices quasi identiques est, en principe, un enseignant plus disponible pour les interactions les plus importantes ». Est-ce pourtant aussi simple, pourrait-on questionner ? Le professeur peut-il se passer de regarder les copies des élèves au risque que sa relation avec eux se détériore, puisqu’il percevra moins leurs difficultés concrètes ? Peut-on vraiment déléguer les tâches qui semblent répétitives et peu valorisantes, alors qu’elles participent en fait de la relation ?

« La distinction entre une IA qui remplace la cognition humaine et une IA qui la renforce ne tient pas à la technologie elle-même ; c’est un choix de conception, fait ou non par ceux qui commandent, développent et mettent en œuvre ces systèmes. Les correcteurs orthographiques n’ont pas inévitablement empêché les gens d’apprendre à écrire. Les calculatrices n’ont pas inévitablement empêché les gens d’apprendre à penser mathématiquement. La question était toujours la même : cet outil est-il utilisé pour court-circuiter le travail cognitif nécessaire à la construction de la compréhension, ou pour aider l’apprenant à accomplir ce travail plus efficacement ? L’IA pose la même question, à une échelle bien plus grande et avec des enjeux plus importants que tout outil précédent. »

Pour Hendrick, il faut tirer la conséquence de cela. Les élèves ont désormais accès à des systèmes capables de produire en quelques secondes des explications fluides, des dissertations et des solutions à des problèmes. Ces systèmes lèvent de nombreux obstacles visibles à la réalisation des travaux universitaires. Mais « évaluer la justesse d’une réponse générée par une IA exige une expertise du domaine ; détecter une erreur subtile requiert une compréhension conceptuelle ; juger de la cohérence d’un raisonnement exige une réelle familiarité avec les idées sous-jacentes, que les élèves n’ont pas ». Sans ces connaissances, l’élève devient superviseur d’informations qu’il n’est pas en mesure d’évaluer correctement. En bref, la technologie présuppose l’expertise même qu’elle risque de saper : et nulle part cette ironie n’est plus lourde de conséquences que dans le domaine dont la vocation première est le développement de cette expertise.

Pour le dire autrement, et plus simplement, comme Ambroise Garel pour la newsletter Pavé numérique : « nous voilà donc devant une technologie d’apprentissage révolutionnaire qui rend l’enseignement impossible. » « L’IA risque de rendre quelques-uns plus riches et tous les autres bien plus pauvres. Les nerds, les curieux, les forts-en-thème, ceux-là sauront utiliser ces outils à leur profit pour apprendre mieux et plus vite. Les autres risquent d’en devenir entièrement dépendants. »

La question n’est plus de savoir si l’IA intensifie la charge cognitive des humains qui l’utilisent. Les preuves sur ce point sont, à ce stade, assez claires. La question est de savoir si les organisations qui déploient ces outils à grande échelle sont prêtes à prendre ce constat au sérieux : à concevoir des rôles humains véritablement durables, à investir dans les compétences que l’IA ne peut reproduire et à résister à l’illusion mathématique qui confond accélération et productivité.