Chauhan et Currie examinent comment l'utilisation de l'IA générative par les évaluateurs externes modifie la qualité et la nature du processus de peer review, identifiant des bénéfices potentiels mais aussi des risques sérieux pour la fiabilité de l'évaluation scientifique. Leur analyse de 2024 alerte sur une mutation silencieuse des pratiques éditoriales.
Le système de l'évaluation par les pairs traverse une crise structurelle. Le nombre de manuscrits soumis aux revues scientifiques croît de manière exponentielle, tandis que le vivier d'évaluateurs qualifiés reste stable. Les délais de révision s'allongent, les taux de refus d'évaluation augmentent, et la qualité des rapports d'évaluation se dégrade dans certains domaines. C'est dans ce contexte que l'IA générative apparaît comme une solution tentante : un évaluateur débordé peut il s'appuyer sur ChatGPT pour synthétiser un manuscrit, identifier ses faiblesses méthodologiques, ou structurer son rapport de révision ?
Chauhan et Currie distinguent plusieurs niveaux d'utilisation. Le premier, relativement bénin, consiste à utiliser l'IA pour vérifier la cohérence statistique d'un manuscrit ou détecter des erreurs formelles. Le deuxième implique de demander à l'IA de résumer le manuscrit et d'identifier ses contributions principales, ce que l'évaluateur valide ensuite. Le troisième, plus problématique, revient à déléguer la rédaction du rapport d'évaluation à l'IA, l'évaluateur se contentant de modifier superficiellement le texte généré. Chaque niveau soulève des questions éthiques distinctes.
L'analyse identifie trois risques majeurs. Le premier est la superficialité : une IA peut identifier des problèmes de forme mais rate souvent les faiblesses conceptuelles profondes qui exigent une expertise disciplinaire fine. Le deuxième est la confidentialité : soumettre un manuscrit non publié à un service d'IA commercial expose la propriété intellectuelle de l'auteur à des tiers non autorisés. Le troisième est l'homogénéisation : si de nombreux évaluateurs utilisent les mêmes outils, les rapports d'évaluation risquent de converger artificiellement vers des critiques standardisées, perdant la diversité de perspectives qui fait la valeur du peer review.
Un enjeu éthique central est celui du consentement implicite. Lorsqu'un auteur soumet un manuscrit à une revue, il consent à ce que des évaluateurs humains qualifiés le lisent de manière confidentielle. Il ne consent pas nécessairement à ce que son texte soit introduit dans un modèle de langage commercial dont les politiques de conservation des données sont opaques. Cette violation potentielle du contrat implicite de confidentialité soulève des questions juridiques et éthiques non résolues que les éditeurs commencent seulement à aborder.
Les auteurs concluent en recommandant que les revues scientifiques adoptent des politiques explicites concernant l'usage de l'IA par les évaluateurs. Certaines revues ont déjà interdit l'introduction de manuscrits dans des outils d'IA générative. D'autres demandent une déclaration d'usage. Mais l'application de ces règles reste difficile à vérifier. Chauhan et Currie plaident pour une réflexion collective de la communauté scientifique sur la redéfinition du rôle de l'évaluateur à l'ère de l'IA, afin de préserver la fonction critique du peer review tout en bénéficiant des apports légitimes de la technologie.
Si vous supervisez un processus d'évaluation (de projets internes, de propositions fournisseurs, ou de productions intellectuelles), définissez explicitement les conditions dans lesquelles l'usage d'IA générative est acceptable pour les évaluateurs. Assurez vous que la confidentialité des documents évalués est garantie et que le jugement expert humain reste le fondement de toute décision finale
Wallin et al. (2022). From thriving developers to stagnant self-doubters: An identity-centered approach to exploring the relationship between digitalization and professional development
Jiang et al. (2024). Reframing individual roles in collaboration: Digital identity construction and adaptive mechanisms for resistance-based professional skills in AI-human intelligence symbiosis
Flanagin et al. (2023). Nonhuman “Authors” and Implications for the Integrity of Scientific Publication and Medical Knowledge
Référence :Chauhan, C. et Currie, G. (2024). The impact of generative artificial intelligence on the external review of scientific manuscripts and editorial peer review processes. The American Journal of Pathology, 194(12), 2183–2189. https://doi.org/10.1016/j.ajpath.2024.08.002
Comment rédiger une charte IA éthique qui protège les salariés, clarifie les décisions et transforme les principes en pratiques de travail crédibles.
Fagonner son travail : les salaries qui transforment leur poste de l'interieur
L'IA generative comme levier de job crafting : les premieres preuves empiriques
Resilience face a l'IA : les profils qui s'en sortent le mieux
Les travailleurs du savoir face à l'IA : des récits de transformation
L'entretien comprehensif : la methode qualitative qui donne la parole aux gens
Vivre ensemble mais seuls : le paradoxe de l'individualisme contemporain
L’expérience client repose sur une connexion émotionnelle, une constance irréprochable et un équilibre harmonieux entre humain et digital.
Les récompenses variables peuvent être comparées aux machines à sous.
Le leadership efficace est moins une question de pouvoir formel qu'une compétence relationnelle
