Comment je me suis disputée avec les classificateurs ? par Sophie Roux (université de Grenoble 2)

Cet article figure sur le site "Evaluation de la recherche en Sciences Sociales".

Deux questions [1]m’ont régulièrement été posées depuis que j’ai participé à la rédaction de l’Appel des revues, l’une plus générale, l’autre plus particulière :

A. Comment peux-tu, toi, avoir participé à un tel appel ?

B. Ne crois-tu pas que le classement des revues de l’AERES, aussi mauvais qu’il soit, représentera un choc salutaire pour les revues françaises de notre discipline ?

Dans les lignes qui suivent, je réponds à ces deux questions.

A. La première question ne se comprend qu’à condition d’expliciter quelques-unes des positions de ce « moi » qui a participé à l’Appel des revues :

i. Je crois qu’une revue gagne à appliquer systématiquement la procédure de rapport en double-aveugle et à s’être dotée d’un comité de rédaction fort et ouvert [2].

ii. Je ne crois pas que les sciences humaines et sociales soient essentiellement rebelles à l’évaluation qualitative ou même à la mesure quantitative.

iii. Je ne crois pas que la défense de la spécificité française, en l’occurrence du fait de publier en français, soit ici un bon cheval de bataille : il n’y a aucune raison de pénaliser celui qui publie en français, mais il y a des circonstances où il est plus naturel de publier en anglais.

iv. Je crois qu’il y a des revues où j’ai plus de chances de trouver des articles intéressants que d’autres.

Ces positions ne sont pas pour moi de ces croyances qu’on affiche le dimanche matin pour les rentrer au placard pendant la semaine : ainsi, je ne participe pas aux comités de rédaction de revues qui ne répondent pas aux critères rappelés en A.i., tous mes articles publiés depuis dix ans ont été relus par des collègues à la dent dure, j’ai pour l’instant écrit assez indifféremment en anglais et en français. Je prends donc mes positions au sérieux. Pourtant, je soutiens qu’il faut non seulement dénoncer les aberrations que présente l’actuel classement de l’AERES, mais demander le retrait complet et définitif de la liste des revues de l’AERES — classement qui est souvent présenté comme un moyen d’améliorer la qualité des revues en les incitant à de meilleures pratiques éditoriales, A.i. étant ici décisif. La question est conséquemment de savoir ce qui, étant donné les positions qui sont les miennes, me retient de penser que le classement des revues de l’AERES soit une bonne chose.

La réponse à cette question tient en quelques idées assez simples, qui ont déjà été avancées par d’autres, mais que je vais brièvement énoncer à ma manière :

1. Il me semble que dans cette affaire l’enjeu fondamental est de savoir qui, du savant ou du politique (de l’administrateur, du technocrate, du bureaucrate), est le maître du jeu de la science. À quoi servent en effet les classements A, B, C qui nous sont proposés, comme d’autres indicateurs qui sont actuellement systématisés dans les pays européens ? Il ne s’agit pas de rendre manifeste une hiérarchie des revues qui serait reconnue par les spécialistes d’un domaine, il s’agit de court-circuiter l’évaluation par les pairs et de fournir à ceux qui nous gouvernent des instruments de pilotage de la recherche. Je n’aime pas du tout, en général, argumenter sur tout et sur n’importe quoi à la fois, mais je pense qu’il faut vraiment être le nez sur le guidon pour ne pas voir qu’un certain nombre de mesures convergent actuellement dans le même sens, à savoir déposséder les savants non seulement du fruit de leur travail, mais aussi des conditions matérielles qui leur permettront d’exercer décemment leur travail, la décence se rapportant ici au fait qu’on ait de quoi respecter les valeurs et les normes propres du domaine où l’on travaille — une sorte d’identité professionnelle en somme. En ce sens, je dois le reconnaître, l’Appel des revues était pour moi comme un cheval de Troie, ou, pour rendre compte plus exactement du rapport de forces actuel : une des dernières tours où nous puissions nous retrancher pour nous défendre.

2. Il arrive, lorsqu’il est question d’une réforme, que nous ne disposions pas d’éléments suffisants pour anticiper de manière satisfaisante ce que vont en être les conséquences. Mais, dans le cas du classement des revues, ce n’est pas le cas. Les disciplines dans lesquelles une évaluation bibliométrique des supports de publication s’est instituée depuis quelque temps, en particulier la biologie et la médecine, en mesurent maintenant les effets pervers et dommageables pour la recherche. Un certain nombre d’analyses ont été reprises sur ce blog, je pense en particulier à celles de Peter Lawrence, je ne vais pas y revenir : je les résumerai d’une métaphore évolutionniste en disant que ce type d’évaluation revient à mettre en place des contraintes artificielles de sélection, qui appauvrissent de toutes sortes de manières la diversité de notre travail (l’ergodiversité pourrait-on dire). Mais, si l’utilisation de la mesure bibliométrique de la popularité d’un article, que peuvent permettre le Web of Science, plus récemment, la banque de données Scopus, ou encore Google scholar, a des contre-coups artificiels, un classement en A, B, C, fait par quelques individus réunis on ne sait trop comment, sera contradictoire dans son principe même. De la popularité d’un article, on peut au moins dire, pour paraphraser ce que Binet disait de l’intelligence : elle est ce que mesure la procédure de mesure qui a été appliquée aux données dont je disposais. Mais demander à un petit nombre d’individus de classer des revues sans procédures objectives de mesure, c’est vouloir le beurre et l’argent du beurre, le qualitatif et le quantitatif, prétendre qu’on s’est donné les moyens d’avoir de l’objectif, du sérieux, du scientifique, alors qu’en fait, on s’en réfère au jugement de quelques sages. Non seulement donc on appauvrit l’ergodiversité, mais on n’a pas fourni le début du commencement d’une réflexion sur l’évaluation et ses enjeux [3].

3. Une objection au parallèle qui vient d’être fait entre les sciences humaines et sociales et les autres sciences, en particulier la biologie et la médecine, pourrait être que les conclusions valables ici ne vaudront pas là, étant donné leurs différences. La réponse à cette objection peut se faire en examinant tour à tour les deux positions extrêmes. Ou bien on pense que les sciences humaines et sociales sont effectivement des sciences ; alors, dans ce cas, ce qui vaut de ces dernières vaudra pour elles également, et nous avons tout intérêt à prendre au sérieux les avertissements que donnent ceux qui publient dans Nature et dans Science. Ou bien on pense qu’elles ne sont pas des sciences (ou pas exactement des sciences, ou pas des sciences de la même manière, ou au même titre, ou toute autre nuance qu’on voudra bien apporter), l’idée étant en général que le même genre d’objectivité n’y a pas été ou n’y peut être atteint, parce qu’il faut prendre en considération dans leur cas des engagements idéologiques, des enracinements linguistiques, des dépendances à l’égard de certains fonds d’archives ou de certaines entreprises patrimoniales, etc. Alors, dans ce cas, le danger d’un classement sera encore plus grand que dans les sciences dures, puisqu’il pourrait se faire qu’il en vienne à privilégier indûment un engagement idéologique, une langue dominant pour des raisons qui n’ont rien de scientifique, une option théorique : encore ne fais-je état que des cas où il y aurait, au moins, quelque espèce de systématicité dans le privilège, et non simplement le bon plaisir des classificateurs. Autrement dit, dans ce cas, il faudrait faire ce qui dépend de nous pour défendre toutes sortes de différences et ne pas laisser des apprentis-managers faire passer notre travail dans d’illusoires lits de Procuste [4].

4. Une ligne de retraite théorique facile, qui a de fait été utilisée par les responsables de l’AERES lorsqu’ils ont commencé à comprendre que la communauté scientifique exprimait quelques petites réserves sur leur classement, est de dire que ledit classement est destiné à être révisé et qu’il ne sera pas utilisé tel quel. La dernière invention aérétique en date semble être à cet égard de substituer au classement A, B, C la notion aussi vide que floue de « périmètre de scientificité » [5]. On pourrait bien sûr relever l’incohérence pragmatique que constitue, dans des temps où on nous dit que les contraintes budgétaires obligent à diminuer les postes, fermer les centres de recherche, supprimer les subventions de projets qui ont tous les gages de l’excellence, le fait de dépenser de l’argent pour mettre en place de lourdes procédures d’évaluation qui ne serviront — finalement — à rien. Mais le fond du problème n’est pas là : il est dans l’adage, opportunément rappelé par Yves Gingras dans un contexte similaire, selon lequel «  n’importe quel nombre l’emporte sur une absence de nombre ». On pourrait ici en présenter une variante « n’importe quel classement l’emporte sur l’absence de classement ».

En effet, dans le meilleur des cas, et on n’y était pas en ce qui concerne le classement de l’AERES, les indicateurs numériques sont accompagnés d’une notice précisant comment ils ont été élaborés : ce qui permet à ceux qui ont la patience de la déchiffrer d’en évaluer les limites et les distorsions inévitables. Mais il semble que ce soit une loi du genre que ces notices sont mises à la poubelle dès que les classements en question entrent dans la sphère publique, de sorte que, aussi aberrants qu’ils soient, ils laissent finalement dans les esprits une trace similaire à ces palmarès qu’on trouve dans l’Express chaque semaine : le palmarès des meilleures entreprises, le palmarès des meilleures villes de France, le palmarès des meilleures écoles maternelles, le palmarès des meilleurs kebabs du Quartier Latin, le palmarès des meilleurs sites pornos (… euh non, j’exagère, une de mes grand-mères lit l’Express depuis que je la connais, mais elle n’a jamais mangé de kebab, et, du moins je pense, ne fréquente pas les sites pornos). Au début on se dit que ces palmarès ne veulent pas dire grand chose, c’est-à-dire qu’ils ne veulent dire que ce qu’ils disent, et puis, petit à petit, alors qu’on ne connaît ni l’une ni l’autre ville, on en vient à penser qu’habiter Annecy, c’est quand même mieux qu’habiter Nancy : et, dans ces conditions, il y aura de fait plus de candidats à la mutation à Annecy. Il n’est pas besoin d’être un adepte des machines désirantes et de la dénonciation des micro-pouvoirs pour comprendre que les palmarès ont in fine toujours des effets, qu’ils constituent des prophéties auto-réalisatrices comme on dit. Ainsi, pour en revenir à nos revues, supposons qu’on tire au sort la liste des dix meilleures revues d’une discipline donnée et qu’on ait les connexions politiques nécessaires pour publier cette liste et, mais il n’est même pas dit que ce soit nécessaire, assurer un minimum de financements aux dites revues : à moins d’une résistance farouche du monde universitaire (il y a des circonstances où la simple inertie devient résistance), je me dis que très rapidement cette liste pourrait bien être de fait la liste des dix meilleures revues.

Pour toutes ces raisons générales, je pense qu’il faut s’opposer au classement des revues et qu’il faut s’y opposer jusqu’au bout, parce que c’est une action sur laquelle nous pouvons peut-être l’emporter, ne serait-ce que pour la raison que l’AERES est une institution nouvelle, qui doit encore faire ses preuves. Par comparaison, j’ai le sentiment qu’il y a peu d’espoir, maintenant que la LRU est passée, quant à la défense de notre statut d’enseignant-chercheur. Mais peut-être suis-je excessivement atrabilaire ces temps-ci. Reste à savoir si ces raisons générales épuisent le débat. On pourrait en particulier soutenir une position mitigée selon laquelle, quoique le classement des revues soit en général une mauvaise chose, il pourrait bien avoir, de manière plus locale, des effets bénéfiques pour une discipline particulière. Et, ainsi, en venir à se dire qu’il faut préférer le point de vue de son village au point de vue de Sirius, et se réjouir de ce qu’un classement en général mauvais puisse finalement avoir des effets positifs dans cette discipline ou dans celle-là. Je dois reconnaître avoir tendance à penser qu’il faut privilégier aujourd’hui les raisons générales, et s’efforcer, dans une sorte d’union sacrée, de défendre l’enseignement et la recherche en général, même si en d’autres temps, j’aurais été plus nuancée. Cela ne m’empêche pas de juger digne de considération le point de vue du villageois : à quelque égard, nous sommes tous des villageois.

B. J’en viens donc à la question plus particulière de l’effet que pourrait avoir le classement de l’AERES sur les revues d’une discipline particulière, ou d’une sous-discipline, que je supposerai douée des caractéristiques suivantes :

i. À quelques très rares exceptions près, ces revues ne satisfont pas aux critères énoncés en A.i. : aux procédures dites « aveugles », elles préfèrent les choix d’un petit groupe de sages ; conséquemment, elles n’attendent pas d’un comité de rédaction qu’il procède à la réécriture d’un article écrit par un sage ou recommandé par un sage.

ii. Comme toutes choses en France, ces revues sont sensibles à la distinction entre Paris et la province, de sorte que, caeteris paribus, les revues publiées à Paris sont perçues comme plus importantes que les revues publiées ailleurs.

iii. Comme dans toutes les disciplines, certaines revues apparaissent comme étant plus généralistes, et d’autres comme étant plus particulièrement consacrées à un objet, à une méthode, une perspective.

iv. Ces revues publient des articles écrits en français, mais non en anglais, en allemand, en italien, pour m’en tenir aux quatre langues qui ont longtemps passé pour les langues savantes internationales.

On admettra qu’aucune de ces caractéristiques ne conduit simpliciter à la conclusion que les revues de cette discipline sont de moindre qualité que celles qui se publient ailleurs. Néanmoins, on voit bien que dans ces conditions un certain nombre d’articles y seront publiés sans qu’il ait été ne serait-ce qu’envisagé qu’ils puissent être relus ou amendés. À ce titre, j’affirme qu’il serait souhaitable qu’on tienne compte dans ces revues des procédures qui sont utilisées ailleurs (à l’étranger aussi bien que dans d’autres disciplines), qu’on renonce à des pratiques et à des représentations féodales, qu’on valorise le travail collectif et l’idée que presque tous les travaux destinés à durer ont été des travaux à plusieurs mains — en un sens assez large, incluant par exemple le fait que, lorsqu’on expose ses recherches à des étudiants assez motivés pour faire des objections, et assez avancés pour que ces dernières soient valables, on commence à entrer dans le travail à plusieurs mains.

Mais ensuite ? Mais ensuite, on en revient toujours à une question du même genre : le classement de l’AERES va-t-il contribuer à la réforme que je déclare souhaitable des esprits et des pratiques ? Je dois avouer avoir été tentée d’enchaîner ici les points d’interrogations, tant l’énoncé même de la question me semblait suffire à montrer que la réponse est vraisemblablement négative. Explicitons cependant quelque peu.

1. Le sophisme qu’il y a à ne pas s’opposer au classement des revues en raison de ce qui se passe dans un domaine donné me semble avoir la même source que l’ambivalence qui a parfois gouverné les réactions à la LRU. Ceux qui pensaient qu’il fallait une réforme de l’université ont craint que le refus de cette réforme-là ne conduise au maintien d’un statu quo qu’ils estimaient déplorable : ils ont laissé faire la réforme, non pas avec l’idée qu’il s’agissait d’une bonne réforme, mais avec l’idée, c’est une variation de notre fameux adage, que n’importe quelle réforme vaut mieux que l’absence de réforme. De manière similaire, dans le cas des revues, on entend parfois dire que le classement de l’AERES est de fait problématique, mais qu’il va constituer une espèce de choc salutaire. Je dois reconnaître être tout à fait perplexe devant les représentations imaginaires que véhicule cette idée du « choc salutaire » : en particulier, puisqu’aujourd’hui j’explicite beaucoup de choses, une appétence pour la force semblable à celle qu’on trouve dans les romans noirs de la grande époque : on cogne sans se demander pourquoi on cogne. Dans les romans, ça tourne en général plutôt bien sur la fin, et le héros, qui est bon, s’en sort toujours à peu près, même s’il a été entretemps drogué, tabassé, tuméfié, menotté, ligoté. Dans la vraie vie, cogner sans se demander pourquoi on cogne, c’est, je crois, quelque chose qui fait mal sans rien donner de bon.

2. Il m’est aussi arrivée d’entendre à peu près ceci : « Actuellement, dans les CS [6] de notre discipline, certains font comme si une publication dans le Bulletin paroissial d’Indre-et-Loire avait la même valeur qu’une publication dans l’International review for fantastical studies. Maintenant, on verra la différence, et il suffira de mettre en place des critères pour que les bons soient élus ». Je crois que cet argument repose sur une ignorance et une illusion : ignorance de ce qui se passe dans les CS des scientifiques, les vrais, les durs ; illusion de ce qu’est une procédure de décision humaine. Ignorance donc : les membres des CS des disciplines les plus dures ne résolvent aucun problème d’un calculemus ; chez eux comme chez nous, l’acte d’évaluation fondamental est la lecture des ouvrages et des articles d’un candidat. — Et que les conditions ne soient pas toujours en fait réunies pour que cet acte soit accompli par ceux qui devraient l’accomplir ne constitue en rien un argument pour que nous renoncions, en une sorte de capitulation aberrante, à la possibilité même de cette évaluation. Illusion aussi : ne comptez pas sur moi pour nier qu’il soit bien d’avoir des critères explicites ou pour défendre l’idée qu’il suffirait de s’en remettre à « ce que tout le monde sait bien » ; mais tous ceux qui ont participé à des CS devraient reconnaître que, étant donné le grand nombre de candidats, les critères permettent au mieux d’isoler un groupe de tête, pas d’identifier le candidat qui sera élu ; et que tout le problème ensuite, même dans l’hypothèse où l’on a mis en place des critères explicites sur lequels tout le monde est d’accord, est dans leur pondération. Autrement dit, les critères servent au mieux dans le travail de gros, ils ne permettent jamais par eux-mêmes de spécifier totalement les conditions de leur application.

3. C’est finalement la réponse la plus directe à la question posée, celle qui était contenue dans la succession de mes points d’interrogation : si vous ne me montrez pas la connexion causale entre l’institution d’un classement des revues et, pour faire bref, l’amélioration des pratiques de la discipline dont vous me parlez, je continuerai à penser qu’il faut, pour les raisons générales énoncées ci-dessus, refuser ce classement. Mais sans doute demandé-je un peu trop ou pas exactement ce qu’il faut avec ma connexion causale : montrez-moi donc simplement quelque chose comme un indice que l’institution d’un classement constitue quelque chose comme une condition nécessaire ou suffisante pour une amélioration des pratiques. À l’évidence, ce n’est pas une condition nécessaire : il existe quantité de disciplines où il y a de bonnes pratiques éditoriales sans qu’il y ait pour autant de classement, et même où la mise en place de classements a été condamnée [7]. Alors, est-ce une condition suffisante ? Vous ne pouvez savoir comme j’aimerais que ce soit le cas. Mais la sociologie des institutions et des pratiques universitaires est têtue. Dans au moins une discipline qui présente les caractéristiques énoncées en B.i.-iv., la « procédure » de classement de l’AERES a été, pour autant qu’on puisse y voir clair à survoler un peu vite ce dernier, la suivante : partir d’un classement existant, celui de l’ESF (c’est encore une fois l’adage que tout classement l’emporte sur l’absence de classement et l’on remarquera qu’en à peine trois mois d’existence le classement de l’ESF était déjà devenu une référence « naturelle »), puis vaguement remonter quelques revues dont on se disait sans doute qu’on ne pouvait les mettre au piquet sans créer un gros chahut. À moins que ça ait été simplement pour le plaisir [8] ?

À ce compte, il aurait mieux valu organiser le Loto des Revues. Les Grecs l’avaient compris, dans certaines circonstances, le tirage au sort, c’est encore le plus démocratique. Et, la démocratie, c’est déjà cela de gagné par rapport à la loi du plus fort — qui n’est pas la loi du meilleur.

Sophie Roux (Grenoble II / IUF)

12 décembre 2008