Accueil > Évaluation / Bibliométrie / Primes > "Voyages au pays de l’évaluation, ou de la signification de la novlangue (...)

"Voyages au pays de l’évaluation, ou de la signification de la novlangue évaluatrice"

comptes rendus de deux rencontres sur l’évaluation (27 mai, à Ulm, et 11 juin, à l’AERES)

jeudi 12 juin 2008, par Laurence

La question de l’évaluation est au centre de la réforme de l’enseignement supérieur et de la recherche. Son organe principal : l’AERES, 15 millions d’euros de budget si l’on en croit son président, Jean-François Dhainaut.
Les membres de SLU se sont rendus à deux rendez-vous sur l’évaluation. Le premier a eu lieu à l’ENS ULM le 27 mai, immédiatement après l’Academic Pride, sous la forme d’une table ronde finalement animée par la salle ; le second, le 11 juin, était une "session de présentation des modalités d’évaluation des établissements, des unités de recherche et des formations de la vague D". Elle s’adressait "en priorité :
- aux équipes présidentielles ;
- aux directeurs de composantes ;
- aux directeurs d’unités de recherche ;
- aux responsables d’écoles doctorales ;
- aux responsables de mentions de licence et de master." (selon le site de l’AERES).

Nous avons ainsi découvert la langue nouvelle avec laquelle nous sommes désormais censés parler de notre métier, mais aussi que le gouvernement le plus libéral qui soit aura créé, à l’intérieur du système d’enseignement supérieur et de recherche, ce qui apparaît déjà comme une nouvelle classe bureaucratique sur le modèle soviétique.

I. ENS ULM, 27 mai 2008. Rencontre sur l’évaluation.

Plusieurs membres de SLU et SLR étaient présents. Ce compte rendu est dû à Christian del Vento et Laurence Giavarini.

Dans une première partie, les conférenciers présentent en 10 minutes, parfois plus, leur point de vue sur la question de l’évaluation. Un grand moment
fastidieux, à une exception près .

- Michel Espagne (Directeur de recherche au CNRS, membre du Comité national de la recherche scientifique) présente la table ronde et reprend l’essentiel du texte qui était disponible en entrant dans la salle, lequel était à son tour une synthèse des conclusions du colloque sur l’évaluation du mois de novembre à Ulm sur le même sujet (textes disponibles sur la toile).

- Denise Pumain (Professeur de Géographie à l’Université de Paris 1, Déléguée scientifique AERES Coordinatrice sciences humaines et sociales) promet au public (clairsemé) qu’il n’a pas à s’inquiéter, les gens nommés à l’AERES sont soucieux de pluralité et nomment d’autres gens soucieux d’équité et de pluralité.

- Maurice Godelier (Directeur d’études à l’EHESS, auteur du rapport "L’état des sciences de l’homme et de la société en France et leur rôle dans la construction de l’espace européen de la recherche " en 2002) a longuement parlé de son expérience, pour en tirer de mauvais souvenirs qui donc allaient comme naturellement dans le sens de la “réforme”.

- Philippe Régnier (Président du conseil scientifique du département SHS au CNRS) a transmis son expérience dont il se dégageait quelques critiques contre le principe de nomination dans les diverses commissions représentées (pas plus de 50% de nommés dans les commissions d’évaluation, a-t-il recommandé).

- Philippe Büttgen (CNRS, philosophie) propose un texte qui analyse à la fois la poussée violente d’évaluation que nous subissons et le déplacement qui conduit à abandonner le critère du jugement au profit de celui de la valeur des supports (sensible dans la demande, faite aux évaluateurs, de donner des listes de revues). Il construit avec subtilité l’articulation entre le principe de nomination, qui prévaut dans la constitution des commissions d’évaluation, et cet abandon du jugement, instrument pourtant décisif de ce qui fait des "scientifiques". Il est le seul orateur à être – vivement – applaudi.

- Sandra Laugier (Professeur de Philosophie à l’Université de Picardie, Déléguée scientifique adjointe AERES Philosophie) fait remarquer que l’évaluation quantitative, ça peut quand même être dangereux (parce que ça place les choses sur le plan des valeurs), et recommande de l’évaluation qualitative modérée…

- enfin Jean-Michel Roddaz (Professeur d’Histoire à l’Université de Bordeaux III, Responsable des SHS à l’ANR) fait l’éloge de l’ANR : garantissant qu’elle ne prend pas l’argent du CNRS, qu’elle n’a pas vocation à définir la politique de recherche du pays. Il y a bien sûr de l’évaluation à l’ANR : les manifestations publiques de notre envergure internationale seront prises en compte, et donc encouragement est fait aux colloques, à même hauteur que les publications individuelles, car la réalité de notre monde tient en un mot : la compétitivité.

Au bout d’une heure trente (pas de retours entre les intervenants sur leurs propres paroles) –, la parole est donnée à la salle, qui la saisit immédiatement en la personne de Monique Canto-Sperber, directrice de l’ENS-ULM. Elle sidère l’assemblée en se demandant à haute voix en quoi être élu est préférable à être nommé. Puis elle insiste longuement du classement de Shangaï qui n’est pas pour "nous" mais pour ceux qui l’ont fait (voir aussi son texte dans le "Monde" du 26 mai à ce sujet).

Les remarques du public ont porté sur deux points : le caractère absurde de l’assignation,
inscrite dans les documents que signeront les enseignants-chercheurs
notamment, à un unique laboratoire (forcément celui de leur établissement), question posée par J.-J. Courtine (Paris IV), reprise par J.-C. Darmon plus tard, par P.-M. de Biasi assez longuement. La même remarque, plus la critique du principe de nomination, a été faite avec amertume par un psychanalyste, mais aussi par Rémy Mosseri (directeur d’une commission scientifique au CNRS) qui a observé, en guise d’avertissement, que le système de l’AERES, tel qu’il est constitué par des nominations en cascade, pouvait être bloqué à certains étages.

Les réponses embrouillées, parfois ahurissantes, venues de la table ont suscité la colère de plusieurs personnes (dont les membres de SLU présents) qui ont protesté avec véhémence et interrogé les intervenants : sur la politique de contrôle par l’assignation à un lieu de recherche, sur l’impossibilité d’établir des liens avec d’autres universités de province, puisqu’il était dit qu’il s’agissait de protéger les Ec du parisianisme de la recherche, sur la volonté politique à l’origine de cette réforme. La réaction des orateurs, visiblement impréparés, voire perdus face aux questions et à la contestation de plus en plus virulente qui surgissait dans la salle laisse rêveur : jusqu’où va dans leur démarche le cautionnement des politiques qui sont imposées par le haut (par Bercy en premier lieu, le mot a été lâché par M. Roddaz...) ? Ont-ils pris la mesure exacte des effets de leur dispositif ? Connaissent-ils exactement les réalités sur lesquelles leurs dispositifs vont lourdement intervenir ? Et, surtout, y-a-t-il encore une marge de discussion ?

Ce qui est clair : dans les réformes actuelles de la Recherche et de l’Enseignement Supérieur il n’est pas question d’évaluation mais d’une instrumentalisation des évaluateurs à des fins de politiques scientifiques. Le remplacement des commissions élues par des individus nommés les rend responsables de ce qu’ils font non pas devant la communauté scientifique mais seulement devant leur supérieur hiérarchique (déclaration de Denise Pumain). Personne n’a alors à connaître les raisons qui ont présidé au choix de ces personnes (affirmation de J.-M. Roddaz).

La partie "débat" a été écourtée par M. Canto-Sperber qui a invité à une "collation".


II. AERES, 11 juin. Session de présentation

C’est à la première partie de celle-ci, le matin donc, que J.-L. Fournel de SLU, auteur de ce compte rendu, a assisté.

Objet de la réunion : présentation de l’évaluation pour les établissements de la vague D ["La France a été découpée en quatre vagues dans le cadre de la politique contractuelle menée par le Ministère de l’Enseignement Supérieur et de la Recherche. L’AERES évalue chaque année l’une de ses vagues afin de permettre à l’Etat et aux structures évaluées de finaliser leur contrat quadriennal." note tirée du site de l’AERES]

Modalités : Pendant une heure environ, présentation de quatre topos par le président de l’AERES, Jean-François Dhainaut, et par les responsables des trois sections de l’Agence, chargées respectivement de l’évaluation de l’offre de formation et des diplômes (Alain Menand [1]), des équipes de recherches (Jean-Jacques Aubert [2]) et des établissements (Michel Cormier
 [3]).
Il s’agit de résumer (de façon plutôt claire) les principes qui les guident, leur mode de fonctionnement et ce qu’ils attendent des « évalués », notamment comme collaboration à leur évaluation (on verra que c’est là un des points essentiels des discours présentés : comment faire participer et faire adhérer les destinataires de l’évaluation au processus de la façon la plus active possible, jusqu’à faire de l’auto-évaluation préliminaire le socle de l’évaluation définitive).

I) discours du Président de l’AERES, JF Dhainaut [4]

Trois points essentiels : indépendance, « démarche qualité », évaluations internes et autoévaluation

1) Il commence par souligner que pour lui le mot le plus important pour qualifier le processus d’évaluation et le travail de l’agence qui préside est celui d’indépendance. A ce propos, on rappellera que la notion d’« évaluation indépendante » est aussi un des quatre « piliers » présentés par Valérie Pécresse pour définir sa politique.

Il présente ensuite l’Agence et ses moyens (un budget global de 15 Millions d’euros et une centaine d’emplois équivalent temps plein).

2) Le deuxième point important de son intervention - présenté avec un certain enthousiasme comme le « challenge » de l’AERES (sic) - est celui de la « démarche qualité » (sic, même si l’expression ressemble davantage au lexique de l’économie qu’à celui de l’éducation et de la recherche…) visant à la mise en place d’une « assurance qualité » (re-sic), une démarche engagée par l’AERES depuis 2007 et qui doit déboucher sur sa reconnaissance européenne en 2009.

Malheureusement, selon un scénario bien rodé désormais par le Ministère et ses missi dominici dans d’autres dossiers, les universités françaises, nous est-il rappelé pour nous ramener aux dures réalités, accusent un « retard » par rapport à leurs « concurrentes » européennes sur ce point, aucune d’entre elles n’ayant vraiment mis en place de telle démarche. La justification de l’entreprise en question se décompose en trois points (tous significatifs) :

a) la complexité de l’objet enseignement supérieur/recherche nécessite l’évaluation de ses « mécanismes » pour mettre au jour ses « dysfonctionnements » ;

b) la « démarche qualité » permettra une économie notable sur le coût de l’évaluation et améliorera la « rentabilité » de ce travail (non, non, vous ne rêvez pas c’est vraiment comme cela que cela nous est présenté benoîtement…)

c) enfin les raisons dites « politiques », liées à l’exercice de l’« autonomie » accordée gracieusement par la loi LRU puisque ladite démarche qualité nous aidera à construire une vraie posture prospective et à avoir confiance dans l’avenir (mais si, mais si !).

3) Le dernier point capital me semble être le développement sous diverses formes de la centralité de l’autoévaluation ou évaluation interne comme socle du travail de l’AERES (triple avantage de la chose : nous faire intégrer les injonctions ministérielles comme cadre de pensée naturelle et allant de soi, économiser du temps, donc de l’argent et, de plus, flatter les universités en faisant semblant de faire de celles-ci des partenaires, alors même que la décision leur échappe complètement). Là aussi (mais l’antienne ne nous surprend plus) « nous sommes en retard sur les autres pays européens » et il est urgent de faire des progrès rapides…et donc d’accepter tous les calendriers contraints que l’on nous impose. C’est une condition pour – je cite – « garantir l’excellence », « assurer un bon pilotage de la démarche qualité » et affirmer des « priorités » claires. Certains établissements ont même un Vice-Président « Qualité » « comme dans les entreprises », ce qui est très important pour la « collaboration » avec ces mêmes entreprises, surtout « anglo-saxonnes » et pour la « compétition » dans laquelle, comme vous le savez bien, nous sommes tous engagés (sic – et je vous jure que je n’invente rien. 500 témoins dans l’amphi peuvent le confirmer). L’objectif est exigeant mais permettra l’émergence d’une culture spécifique d’établissement (si telle est la condition de son émergence, ça promet pour ce qui sera au cœur de cette culture…) et, surtout, de répondre aux attentes du monde professionnel.

En forme de conclusion, il nous est dit sans rire que « l’agence aura répondu à tous ses objectifs quand elle ne sera plus indispensable » et que nous serons tous capables de nous évaluer de façon crédible. Une distinction formelle capitale résume la philosophie de l’Agence : la distinction entre qualité « en recherche » (en gros les modalités de fonctionnement et d’organisation), qualité « de la recherche » (en gros les résultats des recherches entreprises) et (la désormais fameuse) « démarche qualité ». Comme vous pouvez le penser la deuxième composante est celle qui intéresse le moins de l’AERES…

II) Sur les trois autres interventions

NB : je passe plus vite sur ses trois interventions plus techniques et non dénuées d’ailleurs d’éléments intéressants mais qui se gardaient la plupart du temps d’entrer dans la logique de leur démarche

1) Sur les offres de formation (diplômes et ED) [5]

L’orateur, Alain Ménand, souligne les allers et retours entre universités et AERES « comme pour toutes les évaluations », sans rien dire de la prise en compte ou non de ces remarques des évalués par les instances décisionnaires.

Lui aussi s’appesantit lourdement sur la fameuse auto-évaluation qui sera inaugurée par la vague D et sur la « transparence » de l’AERES qui transmet ses critères d’évaluation.

Il souligne aussi la nécessité de mettre en place l’évaluation des enseignements par les étudiants, théoriquement obligatoire depuis 1997 et mise en place quasiment nulle part et remarque que la seule évaluation de ce type qui ait un sens est celle unités de valeur (position qui me semble sensée).

2) Sur les unités de recherche (EA, UMR etc.) [6]

Certains points méritent d’être notés selon Jean-Jacques Aubert :

-  mieux prendre en compte les productions non académiques (mais ce qui est entendu par là n’est pas clair)

-  mieux lutter contre les conflits d’intérêts ou de proximité

-  mieux intégrer les effets d’un calendrier très contraignant (contre lequel il n’y a bien sûr rien à faire) et d’un fonctionnement en « flux tendu » (sic)

-  intégrer dans les groupes d’évaluation un ITA pour les cas où cela a un sens (les équipes comportant un nombre important d’ITA (donc « jamais les SHS » est-il ajouté…)

-  appel aux évalués à demander l’intégration en amont par l’AERES dans les lettres de mission écrite des groupes d’évaluation de tel ou tel point pour eux capital dans leurs pratiques de recherche et leurs projets

-  la nécessité d’améliorer leurs grilles d’évaluation (il admet que l’an dernier ils se sont contentés de recourir à une grille hollandaise mal adaptée au cas français !)

-  désignation dans chaque université d’un « correspondant scientifique » préparant les visites AERES qui ne soit ni le VP du CS ni un directeur de laboratoire ou d’équipe

-  chaque rapport doit comporter point forts, points faibles et recommandations

Le point le plus important dont on ne sait s’il relève de l’aveu, de la gaffe, du ballon d’essai ou de la tentative de nous faire demander haut et fort ce dont nous ne voulons pas est, à mon sens, qu’il nous fut dit explicitement que, dans la vague D et pour la première fois, les équipes de SHS ne seraient pas notées car « il semble qu’il soit difficile de définir ce qu’est une équipe en SHS » (sic - je vous assure que ce sont ces mots-là qui furent prononcés !). Comme dans la logique de la structure qui parle les instances non notées n’existent pas, vous en tirerez les conclusions qui s’imposent…

La cerise sur le gâteau est que les experts en SDV (Sciences du vivant) souhaitent vivement une version anglaise de tout dossier à évaluer…

3) Evaluation des établissements [7]

Au-delà de la présentation du dispositif d’évaluation pour les établissements (documents requis, calendrier, procédures etc ;), il nous est dit par Michel Cormier que la question pour l’AERES (et on reste confondu de voir qu’ils y pensent maintenant au bout de trois ans d’existence) est de faire en sorte que les experts soient « complémentaires, formés et informés » : quelle découverte !

Conclusion : A l’issue de cette présentation, j’ai demandé au président de l’AERES (qui a semblé surpris du caractère direct de la question), si, puisqu’il parlait constamment d’indépendance de l’évaluation comme condition sine qua non de sa crédibilité, il s’estimait indépendant puisqu’il avait été nommé directement par le Ministère ainsi que tous ceux qui participaient aux évaluations. J’ai souligné que dans toute évaluation il y avait trois questions qui valaient : qui évalue (sa légitimité à le faire), comment on évalue (la fiabilité des critères et le refus de critères quantitatifs et purement bibliométriques) et pour quoi, pour quel horizon, pour quelle stratégie politique on évalue (et dans cette perspective il était curieux de ne pas avoir entendu dans les exposés les sigles ANR, CNRS, CPU). La réponse fut à la hauteur de la volonté de considérer l’évaluation comme une question purement « technique » et « scientifique », non comme un problème politique puisque le Président de l’AERES ne répondit que sur la constitution un peu empirique des pools d’experts (sur propositions des universités) et sur les excès de la bibliométrie à combattre par le bon sens. A la suite de quoi, j’ai dû partir pour une autre réunion et n’ai pas pu évaluer la teneur du débat qui a suivi.


[1Alain Menand, professeur à l’université de Rouen, est l’ancien directeur scientifique du département de physique à la MSPT (Mission scientifique, pédagogique et technologique).

[2Jean-Jacques Aubert, physicien, est ancien directeur de l’IN2P3 (Institut national de physique nucléaire et de physique des particules) du CNRS à Paris 11 Orsay.

[3Professeur de pharmacie, Michel Cormier a été vice-président de l’université Rennes-I.

[4Médecin français, il a été de 2004 à 2008 président de l’Université Paris Descartes avant d’être remplacé par Axel Kahn. De 1999 à 2004, il fut le doyen de la Faculté Cochin Port-Royal puis, de 2003 à 2007, membre du département Biologie Cellulaire de l’Institut Cochin.
Il a dirigé le comité scientifique d’une convention sur la « société du savoir », organisée le 4 octobre 2006 par Valérie Pécresse et Laurent Wauquiez, aujourd’hui secrétaire d’État à l’emploi du gouvernement.

[5La section des formations se charge de l’évaluation des formations et des diplômes. "Lorsque la loi ou le règlement attribue à une instance la compétence pour procéder à l’évaluation de certaines formations ou diplômes, cette section peut préparer un avis sur la qualité des procédures mises en oeuvre."

[6La section des unités a pour mission l’évaluation des activités des unités de recherche des établissements et organismes. "Elle conduit l’évaluation soit directement, soit en s’appuyant sur les établissements et organismes selon les procédures qu’elle a validées."

[7La section des établissements à l’AERES est chargée de l’évaluation des établissements d’enseignement supérieur et des organismes de recherche. Elle doit également valider les procédures d’évaluation des personnels de ces établissements et organismes et préparer un avis sur les conditions dans lesquelles elles sont mises en œuvre.