L’évaluation des universités, une « farce » ? - Benoit Rose, Le Devoir, 1er février 2014

À l’occasion de la sortie de son ouvrage intitulé Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie (Éditions Raisons d’agir, Paris), Yves Gingras explique que le monde de la recherche et de l’enseignement supérieur est agité depuis plusieurs années par une véritable « fièvre de l’évaluation ». Si le jugement de type subjectif et qualitatif rendu par les pairs et les experts est toujours d’usage, une tendance au simple résultat chiffré s’est installée, facilitant ainsi la création de palmarès de toutes sortes. C’est le cas notamment des revues savantes, qui se font attribuer un « facteur d’impact », mais aussi des universités elles-mêmes.

Partisan de méthodes d’évaluation rigoureuses, le titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences à l’UQÀM ne mâche pas ses mots et qualifie de « farces » bon nombre des indicateurs utilisés dans des classements pourtant bien en vue. « Le classement de Shanghaï et celui du Times Higher Education, donne-t-il pour exemples, qui décrètent quelles sont les “meilleures” universités du monde, sont très populaires auprès des administrateurs universitaires depuis quelques années. Bien que, en de nombreux pays, des spécialistes de l’évaluation aient démontré à plusieurs reprises que ces classements n’ont aucune valeur scientifique, beaucoup d’universités les utilisent pour vendre leur “qualité”. »

Au printemps 2006, le président de l’Université de Toronto, David Naylor, a déclaré ouvertement que le fameux classement annuel du magazine canadien Maclean’s, bien que fort utile pour le marketing de son établissement, était très réducteur et n’avait sans doute aucune rigueur intellectuelle, avant d’annoncer que son établissement cesserait d’y participer. Une intervention que salue le professeur Gingras. « Maclean’s est une firme privée qui fait des profits sur le dos des universités, ce qui est d’ailleurs une excellente raison de publier un classement tous les ans, note-t-il. Les universités changent évidemment très peu d’une année à l’autre, mais le numéro de Maclean’s sur les classements se vend mieux que les numéros réguliers. »

Choisir de bons indicateurs

S’inscrivant dans la logique d’un marché mondial de l’éducation supérieure, telle que promue par l’OCDE depuis quelques décennies, rappelle le professeur, ces classements en viennent finalement à compter davantage pour les établissements d’enseignement que la réalité qui se cache derrière eux. Le sociologue des sciences insiste sur l’importance d’utiliser de bons indicateurs en matière d’évaluation des établissements. « Il faut revenir au bon sens, dit-il, comprendre les indicateurs qu’on doit utiliser, avant de sauter sur ceux qu’on nous donne pour ensuite appliquer des politiques dont les effets vont être beaucoup plus négatifs que positifs. »

Pour juger de la qualité d’une université, on ne peut certainement pas utiliser le pourcentage de professeurs étrangers qui y font de la recherche, ou encore le montant d’argent qu’on y investit par étudiant, souligne le physicien de formation, qui en a vu de toutes les couleurs au cours de la préparation de son ouvrage. Tout comme on n’utilise pas un thermomètre pour mesurer le taux d’humidité dans l’air, il faut savoir utiliser les bons outils et, bien sûr, déterminer précisément au préalable ce qu’on cherche vraiment à savoir. Alors, quels sont les critères essentiels d’un bon indicateur ?

Pour combattre les dérives et les effets pervers, celui qui est aussi directeur scientifique à l’Observatoire des sciences et des technologies (OST) à l’UQAM en propose trois. D’abord, l’indicateur doit être adéquat pour l’objet, c’est-à-dire qu’on doit s’assurer que l’outil choisi mesure bien ce qu’on cherche à mesurer. « Ça semble évident, dit-il, mais j’ai constaté que, dans plusieurs cas, on ne le fait pas. » Ensuite, il doit être homogène dans sa mesure (ne pas mélanger les pommes et les oranges) et, enfin, il doit varier en conformité avec l’inertie propre de l’objet, comme c’est le cas d’un thermomètre.

Le « délirant » palmarès de Shanghaï, souligne-t-il, ne possède aucune de ces propriétés. De là l’importance d’être capable « d’évaluer les évaluations » qu’on nous propose, pour démasquer la manipulation et l’impertinence. « Le nouveau management public considère trois grands principes : la reddition de comptes, l’efficience et la transparence. Il faudrait les appliquer à l’évaluation ! », lance le professeur avec une pointe d’humour… et d’exaspération.

Revenir à la mission fondamentale

Yves Gingras croit que, dans le contexte actuel, il est important de veiller à ce que l’information ne soit pas contrôlée par l’idéologie des communications. Selon lui, les chercheurs, aux prises eux aussi individuellement avec des évaluations numériques basées sur un usage controversé de certains indices (comme l’indice h et le facteur d’impact des revues dans lesquelles ils sont publiés), doivent « se réapproprier le contrôle universitaire de leur message public ». La mécanisation, si l’on peut dire, de l’exercice de l’évaluation de la recherche a contribué à retirer des mains des universitaires — des pairs — la responsabilité de mettre de l’avant la pertinence de certains travaux.

Selon le professeur, les universitaires doivent donc aujourd’hui « s’assurer que les indicateurs de performance choisis soient multiples et bien définis et qu’ils correspondent à leur mission fondamentale, qui est, pour les professeurs, de former des citoyens responsables et dotés des habiletés conceptuelles et pratiques nécessaires pour faire avancer la société, et, pour les chercheurs, de produire et diffuser des savoirs nouveaux pour faire avancer notre connaissance de tous les aspects de l’univers, et de former des chercheurs qui auront aussi à coeur de poursuivre cet idéal ».

« On entend souvent dire que ces classements sont inévitables et qu’il faut “vivre avec eux”, écrit le sociologue des sciences. Cela est tout à fait faux. La résistance des chercheurs est tout à fait capable de bloquer de tels projets malavisés. En Australie, notamment, la vive réaction des chercheurs au classement des revues a réussi à faire plier le gouvernement, qui a abandonné l’usage de ces classements pour l’évaluation de la recherche. » L’ouvrage sera disponible au Québec dès le 17 février prochain.

À lire ici.
Yves Gingras est titulaire de la Chaire de recherche du Canada en histoire et en sociologie des sciences à l’UQAM.