Ces détectives qui traquent les fraudes scientifiques : conversation avec Guillaume Cabanac
Guillaume Cabanac est professeur d’informatique à l’Université de Toulouse et membre de l’Institut universitaire de France. Avec son « collège invisible », constitué d’une centaine de personnes, des scientifiques mais aussi de nombreux amateurs, il pourchasse les fraudes scientifiques. Son travail de dépollution lui a valu d’être distingué par la revue Nature comme un des dix scientifiques de l’année 2021. Benoît Tonson, chef de rubrique Science à The Conversation France, l’a rencontré.
The Conversation : Comment avez-vous démarré votre travail d’enquêteur scientifique ?
Guillaume Cabanac : La littérature scientifique est mon objet de recherche, car c’est un corpus passionnant à étudier, riche en données de différentes natures : du texte, des liens de citations, des dates, des affiliations, des personnes… Par ailleurs, ce corpus est évolutif puisque, tous les jours, 15 000 nouveaux articles scientifiques sont publiés de par le monde.
Initialement, ce n’était pas la fraude qui m’intéressait, mais plutôt l’erreur en science. J’ai entrepris de traquer les méconduites en sciences au contact de Cyril Labbé, professeur d’informatique à l’Université de Grenoble-Alpes. J’avais lu un de ses articles qui avait fait grand bruit. Dans cet article, il racontait qu’il avait créé un faux profil sur Google Scholar (le moteur de recherche spécialisé de Google qui permet de rechercher des articles scientifiques). Un certain Ike Antkare (comprendre “I can’t care”, ou « Je ne peux pas m’en soucier » en français). Avec ce profil, il avait créé de faux articles à l’aide d’un logiciel SCIgen de génération de texte, un ancêtre des IA génératives si l’on veut. C’est un programme qui se fonde sur une grammaire probabiliste hors contexte. Cela signifie qu’il perd la mémoire d’une phrase à l’autre. Il va écrire des phrases, qui prises indépendamment ont du sens, mais qui, collectivement, produiront un texte qui n’aura aucune logique. Par exemple, la première phrase serait « Aujourd’hui, il fait beau », la deuxième « Les diamants sont des pierres précieuses » et la troisième « Mon chien s’appelle Médor ».
Tous les quinze ours, de grands noms, de nouvelles voix, des sujets inédits pour décrypter l’actualité scientifique et mieux comprendre le monde. Abonnez-vous gratuitement dès aujourd’hui !
Cyril Labbé a donc utilisé ce logiciel pour générer des articles qu’il a réussi à faire indexer par Google Scholar. Chaque faux article citait les autres. Or, le calcul du nombre de citations d’un auteur dans d’autres articles est un indicateur bibliométrique très populaire. Cela montre que d’autres scientifiques se sont appuyés sur ces travaux. Après avoir publié un nombre suffisant d’articles bidon, Ike Antkare est devenu l’un des scientifiques les plus cités au monde, dépassant même Einstein ! J’ai rencontré Cyril dans un congrès en 2015, et c’est comme ça que notre aventure a commencé.
Tout s’est accéléré pendant le Covid-19 : il me disait qu’il trouvait chez de très grands éditeurs scientifiques comme l’Institute of Electrical and Electronics Engineers (IEEE) ou Springer Nature des articles bidon générés par les mêmes méthodes que celles employées par Ike Antkare. À cette époque, il avait un détecteur qui travaillait article par article. J’ai proposé d’automatiser ce procédé pour pouvoir analyser la littérature scientifique dans son intégralité, c’est-à-dire 130 millions d’articles scientifiques publiés à ce jour. Le logiciel prototype que j’ai développé montrait qu’on peut interroger les centaines de millions d’articles à la recherche de ces articles bidon en quelques heures seulement. On en a trouvé quelques centaines en 2020. On s’est mis en chasse. D’abord, de ces articles contenant du texte qui n’avait aucun sens, puis on a continué à identifier d’autres types de fraudes. Nous avons créé d’autres détecteurs, intégrés au sein du Problematic Paper Screener et on dénombre aujourd’hui des dizaines de milliers d’articles frauduleux !
Vous avez découvert un type de fraude qui a fait particulièrement réagir : les expressions torturées…
G. C. : En menant nos recherches, on a découvert que des auteurs commettaient des plagiats un peu particuliers. Ce n’étaient pas des textes copiés/collés, car les maisons d’édition ont des détecteurs de plagiats directs. Ça ne passerait pas et l’astuce, si l’on peut dire, consiste à faire du copier/paraphraser/coller. Paraphraser revient à remplacer un mot dans le texte d’origine par un synonyme. Il existe des sites en ligne qui peuvent le faire très rapidement.
Il y a un hic : ces synonymes viennent plutôt de la littérature et ne font aucun sens dans un contexte scientifique. Prenons le mot « cancer » par exemple : le logiciel paraphraseur le remplacera par un synonyme tel que « péril ». En effet, lorsque l’on parle de cancer de la société, on peut aussi utiliser le terme de péril. En revanche, écrire « péril de la poitrine » au lieu de « cancer du sein » dans un article biomédical est tout simplement inacceptable.
De façon choquante et inattendue, nous avons trouvé des milliers d’expressions torturées dans les plus grosses maisons d’édition : Elsevier, Springer, Wiley, IEEE… Cela a fait scandale, car la communauté scientifique pensait qu’il y avait, d’un côté, des « prédateurs », qui tiennent des revues publiant n’importe quoi contre rémunération, et, de l’autre, les maisons d’édition prestigieuses, qui assurent un processus éditorial sérieux avec relecture par les pairs.
Et je ne parle pas d’un cas isolé : dans la revue scientifique Microprocessors and Microsystems dans laquelle nous avons découvert les premières expressions torturées, plus de 400 articles étaient concernés, avec des remplacements du type « intelligence artificielle » qui devient « conscience contrefaite » ou « rapport signal sur bruit » torturé en « rapport signal sur clameur ».
Ceci questionne la qualité de l’évaluation par les pairs. C’est ce qui a vraiment scandalisé la communauté scientifique et a discrédité ces maisons d’édition qui ont dû reconnaître les faits.
Ce que nous critiquons en creux, c’est la massification du nombre de revues scientifiques dont le nombre a doublé en vingt ans et pour lesquelles la main d’œuvre nécessaire et gratuite s’est raréfiée. En effet, ce travail d’évaluation par les pairs impliquant deux ou trois experts mondiaux du sujet par soumission d’article à évaluer n’est pas rémunéré.
Les maisons d’édition nous assurent qu’un processus rigoureux d’évaluation par les pairs a été mis en place, comme attendu. Personnellement je me demande si l’évaluateur n’était pas endormi lorsqu’il a recommandé la publication d’une article truffé d’expressions torturées. Ce n’est pas sérieux.
Cela dit, je n’ai aucun moyen d’estimer la qualité de l’évaluation, ni même si elle a été réalisée : la plupart des maisons d’édition ne rendent pas publics les rapports d’évaluation.
À lire aussi :
Découverte d’une fraude scientifique pour booster artificiellement l’impact des recherches
Vous avez donc démarré ce travail à deux, mais aujourd’hui vous coordonnez une vraie communauté, comment s’est-elle mise en place ?
G. C. : Sur les expressions torturées, on a d’abord été rejoint par Alexander Magazinov, un mathématicien et informaticien russe qui se distrait en devenant détective scientifique. En parallèle, je lisais tous les signalements postés par la communauté scientifique sur PubPeer (un site web qui permet à quiconque de formuler des commentaires à propos d’articles scientifiques publiés, pour notamment signaler des soupçons de manquements à l’intégrité scientifique) et j’y ai repéré des personnes très actives, signalant des fraudes. Je les ai contactées et on a commencé à se regrouper, mobilisant une plateforme en ligne que j’ai nommée « le collège invisible ». C’était un clin d’œil à un concept de sociologie des sciences, pour rappeler que des scientifiques de diverses disciplines peuvent partager des centres d’intérêt tout en étant affiliés à des institutions différentes, réparties de par le monde. Mon initiative a fédéré au sujet de la fraude en sciences. Le groupe a grossi progressivement et inclut désormais 120 personnes qui échangent, partagent et coordonnent leurs actions quotidiennement. C’est une communauté internationale constituée de scientifiques, de professionnels de l’édition et d’amateurs de tous types de milieux.
Vous avez détecté de nombreuses fraudes mais, finalement, pourquoi les chercheurs trichent-ils ?
G. C. : Il est bon ici de rappeler que le problème est systémique, et pas individuel. En effet, les individus sont en prise avec des systèmes qui les régissent et qui imposent par le haut une performance difficile voire impossible à atteindre. Prenons l’exemple d’un chirurgien en Chine qui travaille dans un hôpital. On va lui demander d’opérer, d’enseigner mais aussi de faire des découvertes, pas de la recherche mais des découvertes, qui devront être publiées dans certaines revues prestigieuses. Ils ont un quota d’articles à publier.
Quand cela devient trop dur de mener toutes ces activités en parallèle, on peut être tentés de se tourner vers ce que l’on appelle les papers mills (« usine ou moulins à articles »). Ce sont des entreprises qui proposent, moyennant finance, de produire des articles plus ou moins bidon sur lesquels vous pouvez mettre votre nom et les publier.
Il y a beaucoup d’autres exemples. En Italie, devenir éditeur invité d’un numéro spécial d’une revue est apprécié dans les évaluations individuelles de chercheurs. L’offre en face vient de MDPI, une maison d’édition identifiée dans la « zone grise » de l’édition. Elle permet à des chercheurs de créer un numéro spécial et d’accepter des articles à leur discrétion. Vu les critiques émises sur PubPeer et le nombre délirant de numéros spéciaux par an, qui peut atteindre les 3 000, on est en droit de questionner ce modèle éditorial, dans les pas du Cirad, de l’Inrae et de l’Inria.
Cela satisfait tout le monde : la maison d’édition touche quelques milliers d’euros par article, l’éditeur invité valide son objectif… Cependant, la science est affaiblie alors qu’on se doit de la soutenir et de la défendre. Publier des articles fragiles pose de réels problèmes : le mur des connaissances est en péril lorsque des briques de connaissances ne sont pas robustes.
Avec vos travaux, certains articles sont rétractés, mais qu’en est-il des articles qui citent des travaux dépubliés ?
G. C. : Je me suis posé la question en 2023 : quels sont les articles scientifiques qui possèdent dans leur bibliographie des articles rétractés ? Normalement, on devrait observer un effet domino, des rétractations en chaîne : les articles s’appuyant sur des connaissances remises en question devraient être également réévalués. Pour explorer cette problématique, j’ai rajouté un détecteur dans le Problematic Paper Screener afin de traquer les colosses aux pieds d’argile : les articles de bonne facture qui citent dans leur bibliographie un ou plusieurs articles désormais rétractés.
Parmi les 130 millions d’articles scientifiques parus dans le monde, il y en a plus de 800 000 qui citent au moins un article rétracté. Certains articles citent même jusqu’à 50 ou 60 publications rétractées ! Il convient de vérifier de nouveau la fiabilité de ces articles et de les rétracter si nécessaire. Ceci est d’autant plus crucial pour les publications concernant des sujets peu étudiés, tels que les maladies rares.
Force est de constater que les maisons d’éditions, responsables de la diffusion des articles acceptés, ne monitorent pas leur catalogue et ne mandatent pas ces réévaluations auprès de comités d’experts. Il serait pourtant techniquement possible de traquer toute rétractation de référence citée dans les articles publiés par une maison d’édition – ce que fait le Problematic Paper Screener, toutes maisons d’édition scientifique confondues.
Comment expliquer qu’une publication scientifique puisse contenir autant de citations d’articles rétractés ?
G. C. : Je parlais tout à l’heure des paper mills. Une des stratégies de ces entreprises est de vendre des articles bidon qu’ils fabriquent eux-mêmes, puis ils proposent à leurs clients de se citer les uns et les autres pour augmenter artificiellement l’impact de leurs publications.
L’idée est simple : si vous avez 50 clients, vous dites à chacun de citer un des autres, cela peut aller très vite et plus il y aura de clients, plus il sera difficile de traquer cette entente illicite, nommée « cartel de citations » dans la littérature. Notre travail de mise en lumière des articles bidon permet donc également d’identifier les clients potentiels des paper mills.
Comment voyez-vous la situation évoluer ? Votre travail permet-il une diminution du nombre de publications scientifiques problématiques ?
G. C. : Ce n’est pas évident, tout dépend de la fraude dont on parle. Par exemple, aujourd’hui, il ne faudrait pas être très malin pour utiliser la technique des expressions torturées, car nos détecteurs les repèrent aisément. Les gros éditeurs scientifiques (soutenant notamment le STM Integrity Hub les ont adoptés pour filtrer le flot des manuscrits soumis par les chercheurs. Le plagiat par synonymes diminue drastiquement.
Actuellement, l’IA générative est le problème majeur, car les textes générés par machine sont impossibles à différencier automatiquement des textes générés par les humains, sans avoir recours à des experts. Les utilisateurs d’IA générative trouvent des astuces pour déjouer les logiciels de détection d’IA générative. On ne peut donc pas quantifier cette fraude. Faute d’étude rigoureuse de ce phénomène, on ne peut parler que de « sentiment ».
Les scientifiques que je côtoie me disent suspecter des passages générés par IA dans les manuscrits qu’ils expertisent. Les ruptures de style ou les exposés trop superficiels sont révélateurs. Par ailleurs, quand ils reçoivent des rapports d’évaluation de leurs pairs (en grande majorité anonymes) à propos de leurs propres travaux, il peut arriver qu’ils aient le sentiment d’être floués : ces critiques ont-elles été générées par une machine ou rédigées par un expert ? Ce questionnement qui sème le trouble et la confiance est, selon moi, à la limite de rompre.
En parlant de confiance, on peut déplorer une sorte de méfiance généralisée vis-à-vis de la science, n’avez-vous pas peur que vos travaux alimentent celle-ci ?
G. C. : L’alternative serait de détecter ces fraudes « en interne » et de ne pas en parler, d’en faire un secret, de le garder pour nous, entre chercheurs. Mais c’est une très mauvaise idée puisqu’au contraire, quand on est scientifique, on se doit d’être transparent, de publier ce qu’on trouve et d’informer le public. Il ne faut pas se voiler la face, les chercheur forment un groupe social comme les autres : comme partout, il y a des tricheurs et des arnaqueurs.
Selon moi, tous les acteurs impliqués se doivent de faire la lumière sur ces fraudes : maisons d’édition, institutions, financeurs et chercheurs. Le but est d’en parler le plus possible pour sensibiliser nos collègues et les étudiants que l’on forme.
Guillaume Cabanac a reçu des financements du Conseil Européen de la Recherche (ERC), de l’Institut Universitaire de France (IUF) et de la Fondation Pierre Fabre. Il a conçu et administre le Problematic Paper Screener qui exploite des données fournies par Digital Science et PubPeer à titre gracieux.
Auteur : Guillaume Cabanac, Professor of Computer Science, Institut de Recherche en Informatique de Toulouse
Aller à la source
