Chercheurs pris en fraude 5/5. La dictature du “Publier ou périr” - Nicolas Chevassus-au-Louis, 18 août 2013

À lire dans Mediapart ici (abonnés)

Publish or perish : publier ou périr. Telle est la très darwinienne maxime qui gouverne le fonctionnement de la recherche publique. Le principal critère de reconnaissance pour un scientifique, que ce soit auprès de ses pairs ou de sa hiérarchie, est le nombre et la qualité de ses publications. À tel point que l’objectif d’un chercheur n’est souvent plus tant de publier un article rendant fidèlement compte de son travail que de circonvenir les objections que pourraient lui faire les relecteurs, le plus souvent anonymes, auxquels la revue à laquelle il propose son article soumet son manuscrit. Que faire face à cette pression à la publication, qui est de l’avis général un des facteurs les plus puissants de la dégradation de la qualité de la science ?

La San Francisco Declaration on Research Assessment (DORA) propose en la matière une réforme radicale. Rendue publique le 13 mai dernier, elle appelle à ne plus utiliser le facteur d’impact (c’est-à-dire la moyenne sur les deux dernières années du nombre de citations des articles parus dans une revue) dans l’évaluation des chercheurs. Derrière cette question d’apparence très technique, se cache une initiative d’ampleur prise par la communauté scientifique internationale pour s’attaquer au problème de la dégradation de la qualité des articles, tout particulièrement en sciences de la vie.

La liste des signataires constitue en effet une alliance aussi vaste qu’inédite : quelque 6 000 chercheurs du monde entier, les éditeurs de revues scientifiques très prestigieuses (Science, Journal of Cell Biology, The EMBO Journal, Development...) et une multitude de sociétés savantes du monde entier, dont l’American Society for Cell Biology qui en est à l’initiative. Tous appellent à « une insurrection », selon le terme d’un des rédacteurs de l’appel, contre l’utilisation du facteur d’impact des revues dans l’évaluation des chercheurs, et notamment dans l’attribution des postes et des financements.

La critique du facteur d’impact n’est pas nouvelle. Les raisons pour lesquelles il ne peut être tenu pour un bon indicateur de la qualité du travail d’un chercheur sont connues depuis longtemps. Citons-en cinq :

 Il mesure l’impact d’une revue, non d’un article.

 Il mesure une moyenne, qui peut être aisément déportée par un ou deux articles très cités ; c’est ainsi que la publication dans Nature en 2000 de l’article historique décrivant le génome humain, cité depuis plus de 10 000 fois, a valu et vaut toujours à la revue britannique le facteur d’impact le plus élevé.

 Il est incapable de mesurer l’influence durable des travaux publiés, puisqu’il est calculé sur les deux dernières années.

 Il ne tient pas compte du fait que les articles ont été cités de manière favorable, ou au contraire pour en critiquer les données.

 Enfin, il peut aisément être manipulé par les éditeurs. « La publication de hot papers est une stratégie pour augmenter les citations. Il s’agit de publier de préférence des articles ayant une forte probabilité d’être cités et/ou repris par la presse grand public, augmentant ainsi la notoriété de la revue », explique Hervé Maisonneuve, animateur du blog Rédaction médicale et scientifique.

Conçu à l’origine comme un outil permettant aux bibliothécaires de ne s’abonner qu’aux revues les plus influentes, le facteur d’impact est devenu ces deux dernières décennies le critère le plus important d’évaluation des chercheurs. «  La publication dans un journal à haut facteur d’impact n’est aucunement une garantie de qualité de la recherche effectuée, d’autant que la sélection des articles ne résulte pas uniquement d’une revue par les pairs mais souvent de choix de l’éditeur en chef dictés par des effets de mode. Pourtant publier ne serait-ce qu’une ou deux fois dans ces journaux vedettes est toujours remarqué dans une évaluation et donne invariablement un élan à la carrière », constate amèrement la physicienne Michèle Leduc, présidente du comité d’éthique du CNRS. François Rougeon, son homologue à l’institut Pasteur, fait le même constat : « Il suffit de publier un article dans Nature pour être certain d’avoir dans les quatre ou cinq années à venir tout ce dont on a besoin. »

Dans un certain nombre de pays émergents, en particulier en Chine, la rémunération d’un chercheur est même directement indexée sur le facteur d’impact des revues dans lesquelles il publie : soit une incitation permanente, sonnante et trébuchante, à arranger les données pour publier dans les revues les plus célèbres. Ou à plagier des travaux déjà publiés. L’analyse par zone géographique des causes de rétraction d’articles, évoquée au premier volet de cette enquête, montre que la Chine et l’Inde fournissent les principaux contingents d’articles rétractés pour plagiat ou duplication d’une étude.

Comment en est-on arrivé là, à cette dictature d’un facteur d’impact dont tout le monde sait à quel point il est peu pertinent ? « C’est un aspect d’une tendance plus générale à se fier, pour l’évaluation, à des indicateurs chiffrés, parce qu’ils sont réputés objectifs », remarque François Rougeon, de l’institut Pasteur. Le marketing des grandes entreprises d’édition scientifique y a joué un rôle. Cette industrie extrêmement profitable, dont le métier consiste à fabriquer et diffuser les revues sous le contrôle scientifique des chercheurs du comité éditorial, ne s’est pas privée de faire des facteurs d’impact des arguments de promotion de ses revues. Ce n’est pas par hasard que les entreprises qui éditent les revues aux plus hauts facteurs d’impact, comme le britannique Mc Millan press (Nature) ou le néerlandais Elsevier (Cell), ont décliné l’invitation à signer la DORA contrairement aux sociétés savantes qui éditent leurs propres revues. Mettre en avant leurs facteurs d’impact, de loin les plus élevés, est aussi une manière, pour elles, de se distinguer des éditeurs prédateurs.

Mais l’évolution du système de recherche, marqué par une compétition accrue, joue aussi un rôle. Les agences qui distribuent les financements comme les commissions chargées des recrutements font évaluer les dossiers qui leur sont soumis par des chercheurs par ailleurs accablés d’autres tâches. N’ayant souvent pas le temps d’étudier réellement la qualité scientifique du candidat postulant ou du projet qu’il propose, ils cèdent souvent à la tentation de se fier au facteur d’impact des revues dans lesquelles il publie. Beaucoup de chercheurs le reconnaissent en privé.

En finir, comme le propose la DORA, avec la dictature des facteurs d’impact suffira-t-il à retrouver la qualité perdue des articles scientifiques ? Sans doute pas, tant le problème a des causes variées et profondes, qui tiennent à l’intensification de la compétition scientifique liée à la mondialisation. Mais ce serait peut-être une première étape vers un retour à une évaluation plus qualitative que quantitative, appréciant l’influence durable d’un travail, et reconnaissant que reproduire une étude est, pour la communauté scientifique, tout aussi important que la publier le premier puisque cela prouve sa fiabilité.

De récentes initiatives visent à renforcer la reproductibilité des résultats en permettant aux chercheurs de publier des résultats bruts, non analysés. Pouvant être consultés par tous, collègues et concurrents, ils pourraient être plus efficacement contrôlés. C’est le pari que font les projets Dryad ou Runmycode, qui permettent au chercheur de déposer sur un site toutes les données et les méthodes utilisées d’un article, ce qui permet à n’importe qui de refaire, et donc de vérifier, leurs analyses ou leurs calculs. Plusieurs éditeurs de revues se sont de leur côté associés pour lancer l’initiative de reproductibilité visant à permettre la publication, trop souvent négligée, de la répétition d’une expérience déjà publiée.

Les chercheurs en biologie et en médecine se saisiront-ils de ces nouveaux outils ? L’exemple de la physique théorique, qui pratique depuis 1991 le dépôt en ligne des données avec le site ArXiv, très respecté, peut inciter à l’optimisme. Mais la discipline a peu d’enjeux économiques, contrairement au domaine biomédical où chacun est jaloux de ses données qui peuvent, brevets et contrats avec le privé à la clé, rapporter gros. D’où une réticence à les partager, la multiplicité des intérêts individuels allant contre l’intérêt collectif.

Risquons une analogie. De même que la critique de la junk food de la restauration rapide a entraîné la création d’un mouvement slow food, ne serait-il pas temps, face à la montée de la junk science, de promouvoir la slow science ainsi que le défend Joël Candau, anthropologue, professeur à l’université de Nice, auteur d’un appel publié en 2011 ?