« Courroie de transmission et grandeur non mesurable » : l’Agence de l’Évaluation de la recherche et de l’Enseignement Supérieur. Compte rendu de l’entretien avec quelques membres du personnel le jour de l’occupation de l’AERES le 18 mars 2009

Le mercredi 18 mars 2009 à 9h, une cinquantaine d’enseignants-chercheurs, de chercheurs, d’étudiants, d’ITA et Biatoss ont investi les locaux luxueux de l’AERES (20 rue Vivienne, 75002 Paris) [1]. Le but était de débattre avec le personnel présent de la conception de l’évaluation propre à cette Agence ainsi que des retombées des jugements qu’elle promulgue sur l’organisation de la recherche.

En complément d’un communiqué de presse mis en ligne par l’AERES sur son site le 20 mars, quelques participants ont rédigé une version plus exhaustive de cette rencontre, fidèles au principe - désormais désuet dans ce nouveau régime de l’évaluation - de « rapports contradictoires ».

Avouons-le franchement, nous avons d’abord été surpris par le lieu et ses occupants ordinaires. Nous nous attendions à trouver une coquille vide. Nous imaginions que l’AERES fonctionnait essentiellement en externe grâce à la collaboration de quelques universitaires triés sur le volet. La surprise fut grande de découvrir de riches locaux bordés de vastes baies vitrées, richement décorés (« attention aux œuvres d’art »), bouclés en intérieur par un grand nombre de sas dont l’ouverture est commandée par badges à puce avec des caméras de vidéo-surveillance. En ces lieux, du personnel, des responsables, et surtout un ballet incessant d’universitaires venus en réunion. Ce fut donc la découverte de l’univers de la bureaucratie managériale : sécurité, modernité, communication et transparence.
La communication, ce fut la grande affaire du jour. Le débat que nous demandions commença assez rapidement. Quelques membres du comité de direction acceptèrent de discuter avec nous dans le hall, ce dont nous les remercions : Mme Anne Picard, la secrétaire générale, M. Eric Froment, conseiller aux affaires internationales, M. Pierre Glorieux, directeur de la section des unités de recherche et M. Bruno Curvale, délégué aux affaires internationales et président de l’European Association for Quality Assurance in Higher Education (ENQA, Association européenne pour l’assurance qualité dans l’enseignement supérieur). En revanche le président de l’Agence, M. Jean-François Dhainaut, ne fit aucune apparition. Dans une langue bien huilée de communicants, les représentants de l’AERES firent résonner pendant trois heures les mots clés de «  processus », de « réglementation », d’« évaluation » et de « production ». L’accumulation de nos témoignages sur le déroulement des visites AERES ne pesait rien face à leur monde de papiers : «  Non, ça ne peut pas s’être passé comme cela, relisez les textes ».

Les échanges portèrent principalement sur trois points :

1. La légitimité de l’agence au sein du paysage de la recherche française et européenne

Les questions ont d’emblée portée sur la légitimité de l’AERES, en raison de son statut. Comme beaucoup, nous nous interrogions sur la signification à accorder à « indépendance », dans la définition du statut de l’Agence. Elle se définit en effet comme « autorité administrative indépendante » . Mais comment entendre le terme d’« indépendance » quand tous les membres de l’AERES sont nommés ? À cette mise en cause du principe de la désignation des experts, nos interlocuteurs donnèrent une réponse que seul un naïf accepterait : « Être nommé n’oblige pas à être servile ». Est-ce à dire suivant la même logique que tous les élus seraient corporatistes ? On peut en outre leur proposer la lecture de la fable de La Fontaine Le loup et le chien pour mettre à jour le ridicule de cette assertion. Cette « réponse » se compléta d’un argument déjà entendu dans la bouche de J. F. Dhainaut : cela ne fait pas de différence que les experts soient nommés ou élus . On a donc envie de leur dire, s’il n’existe pas de différence, pourquoi ne pas passer par une procédure élective ? Notre critique ne visait pas la compétence scientifique des experts (qui, elle, est indépendante de la qualité d’élu ou de nommé), mais bien plutôt le fait d’annuler la différence entre un processus bureaucratique et une démocratie collégiale. Après tout, nommons les députés ! Dernier élément de « réponse », certes l’AERES est constituée de nommés, mais ses rapports sont accessibles en ligne ! La publicité finale ne saurait pourtant se substituer à la nécessaire transparence complète de l’ensemble du processus d’évaluation. En somme, les représentants de l’AERES n’ont jamais répondu à la question posée, parce qu’il n’existe pas de bonne raison d’avoir une Agence d’évaluation constituée uniquement de personnalités nommées, si ce n’est des motifs d’ordre politique.
Devant ces non-réponses, nous avons changé de sujet et interrogé les experts en face de nous sur l’extension du domaine de compétence de l’Agence au-delà du champ de la recherche, champ dont ils nous réaffirmèrent cependant qu’il constituait le cœur de la mission de l’AERES. Pourquoi alors avoir évalué récemment le Comité de travaux historiques et scientifiques (Cths) et inscrire à son programme l’évaluation des écoles doctorales et celle des maquettes des masters de formation des enseignants des universités ? Cette fois, ce ne fut pas une non-réponse, mais le silence et un malaise qui accueillirent nos questions. Était-ce dû à l’absence parmi nos interlocuteurs des responsables de l’évaluation des établissements en général ?

Enfin, des participants ont émis des doutes quant à la possibilité pour l’AERES de maintenir son appartenance à l’ENQA, agence qui rassemble et représente les agences d’évaluation et d’accréditation en Europe. De fait, l’AERES peine à en remplir les critères éthiques. Que l’AERES soit en mesure d’imposer aux unités de recherche des inspections obligatoires contrevient en effet manifestement à la recommandation du parlement européen en date du 15 février 2006 prescrivant le libre choix de ses évaluateurs par l’établissement visité . Pirouette remarquable, l’AERES prétend ainsi nous protéger des cabinets d’audit privés. Mais elle se garantit surtout elle-même contre la concurrence d’autres agences nationales plus performantes qu’elle.

2. Les buts de l’évaluation : rejet de toute responsabilité

L’Agence applique des processus d’évaluation sans chercher à en mesurer et à en connaître les applications, dans un déni complet de toute responsabilité quant à l’utilisation qui peut en être faite. C’est la raison pour laquelle nos interlocuteurs se qualifièrent en toute humilité de « courroie de transmission ». Cette négation de toute forme de responsabilité déplut fortement à l’assemblée, qui objecta de nombreux arguments. De façon générale, au cours de cette discussion, c’est le mutisme et la confusion - peut-être par mauvaise conscience ? - qui ont caractérisé les réactions de nos interlocuteurs.

De fait, interrogés sur la responsabilité effective de l’AERES dans les affectations de crédits, les experts se sont nettement défilés. De même sur la question du recrutement, Cyril Catelain (chercheur, 30 ans en CDD à l’INSERM) cite un paragraphe du rapport de l’AERES sur l’INSERM : « Le comité exprime sa forte inquiétude devant l’âge très précoce auquel les postes permanents sont attribués. Par exemple récemment, 44 postes ont été attribués à des chercheurs âgés de 30 ans en moyenne, tandis que 44 autres postes ont été attribués à des individus âgés de 35 en moyenne ». C. Catelain rajoute que N. Sarkozy a précisé que ce rapport serait appliqué à toutes les EPST et il demande : « Comment peut-on parler d’attractivité dans la recherche aux générations d’aujourd’hui et à celles qui vont nous succéder ? Pensez-vous qu’une succession de CDD pendant 10 ans soit une situation tenable pour un chercheur ? Comment pouvez-vous cautionner cela en l’inscrivant dans un rapport ? » La direction générale en est restée d’abord sans voix - silence éloquent - puis a rétorqué que les propos du jeune chercheur étaient erronés. Réfutant enfin toute responsabilité dans l’instauration progressive du pilotage de la recherche à court terme à coup de projets de 4 ans, nos interlocuteurs se sont finalement estimés suffisamment irresponsables pour nous proposer d’« aller manifester à l’ANR (Agence Nationale de la Recherche) ». Un conseil qui plaira certainement aux responsables de l’ANR ! On se demande d’ailleurs comment l’AERES va réagir en lisant dans le rapport de l’ANR que les responsables de l’évaluation des programmes « blancs » et « jeunes chercheurs » ont en majorité démissionné ou choisi la rétention des résultats . Car, il faut le savoir, parmi les missions de l’AERES, on trouve l’évaluation de l’ANR ! Quoi qu’il en soit, nous remerciâmes chaleureusement nos interlocuteurs pour leur idée, tout en leur apprenant que nous n’avions pas attendu leur recommandation pour aller occuper l’ANR et en leur conseillant à notre tour de s’inspirer du geste de protestation de leurs collègues.

La discussion porta également sur les critères d’évaluation, en particulier sur les usages actuels et futurs de la bibliométrie. Nos interlocuteurs s’empressèrent une fois de plus de nous rassurer : « il ne s’agit pas pour l’Agence de coller aux critères du classement « merdique » (sic) de Shanghai ». C’est bon qu’ils le reconnaissent ! De fait, ils nous assurèrent que la part consacrée au classement des publications dans leurs rapports était très modeste. Ce point, en effet, ne fait que très rarement l’objet de discussion lors des visites. Mais ne nous y trompons pas : ces critères bibliométriques sont déterminants dans les évaluations individuelles. En témoigne récemment l’exemple de l’université de Lyon I : des primes ont été attribuées aux équipes et aux individus en fonction du ranking (facteur h). Cet épisode ne les a guère émus : « Après tout « les établissements font ce qu’ils veulent de ces évaluations ». Et dans la période actuelle de pénurie budgétaire — terme que personne ne contesta — « le partage du rien est possible ».

Toujours sur le thème des critères, ce fut ensuite la question de la note finale — sorte d’addition improbable de quatre critères concernant la production (qualité, quantité, impact), l’attractivité (nationale, internationale,..), la stratégie (management, lancement de jeunes équipes,…) et le projet (qualité, opportunité,…) — que décerne l’AERES aux unités de recherche selon l’échelle A, A+, B, C, qui fut soulevée : quels sont par exemple les critères qui permettent d’attribuer B plutôt que C ? Gênés, nos interlocuteurs préférèrent ergoter sur la différence entre A et A+. Mais le problème à nos yeux n’était pas tant de distinguer entre les « plus excellents » que de justifier une note sanction délivrée contre certains. Car c’est bien le problème : l’AERES a-t-elle pour mission d’évaluer ou de sanctionner ? Sur ce point, nos interlocuteurs mirent un grand soin à répéter qu’il n’existait bien entendu pas de quota de notes préexistant au classement des laboratoires et équipes, conception qui allait contre l’expérience des visités. À la suite de ce débat, on entendit certains dire qu’il ne fallait plus appeler l’AERES agence d’évaluation, mais agence de classement. Proposition retenue.

La finalité de ce classement, c’est bien entendu d’entretenir la concurrence. Car « en quoi ça vous gêne, la concurrence ? Vous croyez que les prix Nobel ont coopéré pour l’avoir ? ». En somme, vive le darwinisme social appliqué à la recherche ! Soyons lucides, nous savons bien que le milieu des chercheurs est traversé par toutes sortes de mesquineries. Mais nos interlocuteurs ont bien l’intention d’ériger désormais en règle la mise en compétition systématique ainsi que l’intériorisation et la reproduction par l’ensemble des acteurs des critères de la démarche-qualité en vue d’une amélioration permanente.

3. Les méthodes : la visite comme vitrine

L’AERES fonctionne sur des grilles uniformisées en fonction des spécificités disciplinaires. Nos interlocuteurs cependant ont affiché leur volonté de perfectionner en permanence leurs outils et de coller au plus près aux pratiques scientifiques. La preuve d’ailleurs, comme ils nous l’ont dit fièrement, c’est qu’à l’écoute de la communauté scientifique, ils ont retiré le classement des revues ! Nous nous sommes permis alors de leur rappeler qu’il avait fallu des mois de protestation et la rédaction de multiples pétitions pour obtenir ce résultat et surtout, que ce retrait n’était qu’une suspension provisoire.

Sujet encore plus épineux, les visites de l’AERES dans les laboratoires : ne sont-elles pas constitutives d’un rapport de force spécifique ? Nos interlocuteurs invoquent à cet égard l’idéal promu par l’Agence de la réversibilité permanente des positions d’expert et d’expertisé. Celle-ci n’est pourtant ni automatique ni effective, dans la mesure où les commissions sont composées uniquement de membres de rang A d’une part et ne comprennent ni doctorants, ni ITA et BIATOSS d’autre part.

La plupart des occupants avaient déjà subi une visite de l’AERES, ce qui donna lieu à un argumentaire tiré de l’expérience. De façon générale, c’est la brièveté des visites qui étonne les « évalués » : comment l’AERES peut-elle évaluer sérieusement un laboratoire en si peu de temps ? Ce n’est pas qu’on raffole de ces rencontres, mais quand même ! Les experts expliquèrent alors que ces visites ne constituaient qu’un épisode de l’évaluation et qu’elles étaient précédées d’une phase de lecture des documents préparatoires transmis par les laboratoires, et suivies d’une phase de retour de visite. Mais ces documents sont manifestement au mieux « diagonalisés », selon le langage de l’expertise, ce qui explique évidemment pourquoi l’Agence se considère capable d’évaluer en 15 jours à peine les centaines de maquettes de master d’enseignement que devraient lui remettre les universités françaises au 31 mars pour une entrée en application dès septembre.
Le son de cloche qui se dégage en général des visites de l’AERES, c’est que « tout s’est bien passé ». Les évalués en sont souvent les premiers surpris. Après des mois à avoir préparé la venue de l’AERES et avoir appréhendé ce moment, les voilà soulagés. Mais si « tout s’est bien passé », c’est précisément « parce que ce n’est pas là que ça se passe », comme l’ont fait remarquer Liora Israël et Christian Topalov . La visite en effet a surtout pour but de montrer la face policée de l’AERES, de légitimer son existence et de faire valoir auprès de chacun les bonnes pratiques de gouvernance de la science. Plus simplement, disons que la visite compte au nombre des méthodes de l’Agence pour se faire accepter.

Pour finir, nous tenons à indiquer que nos interlocuteurs refusèrent presque toujours d’aborder les questions fondamentales, comme en témoigne le silence gêné qu’ils opposèrent aux étudiants qui leur demandaient : «  pour vous, qu’est ce qu’une bonne recherche ? » Selon eux, leur rôle consiste seulement à délivrer dans l’indépendance une expertise neutre, tandis que le pilotage relèverait d’un autre service. Mais l’« indépendance » est à L’AERES ce que l’« autonomie » est à la LRU : un abus de vocabulaire destiné à faire croire à la mise en place d’un mode d’évaluation objectif par opposition à un régime d’évaluation forcément « non objectif », qui était celui que pratiquaient auparavant le Comité national des universités et le Comité national de la recherche scientifique (qui étaient toutes deux des instances représentatives). L’AERES, en effet, n’est ni indépendante du budget de l’État, ni des objectifs globaux du pilotage de la recherche par les autorités politiques . Elle semble en revanche réellement indépendante de toute justification d’économie budgétaire : fondée à l’origine soi-disant pour éviter la mauvaise répartition des ressources budgétaires entre unités et partant pour soulager le contribuable, la contribution apportée par l’AERES au système serait une « grandeur non mesurable » (sic) ! Par le biais de ses représentants, l’Agence avoue ainsi qu’elle ne représente sans doute aucun progrès sur le plan financier, et qu’elle ne peut pas évaluer la qualité de sa performance par rapport aux objectifs politiques qui lui ont été assignés. Nous ne saurions donc trop lui recommander de demander l’abrogation de la LOLF (loi organique relative aux lois de finances) et de la RGPP (révision générale des politiques publiques).

Nicolas Lyon-Caen (SLU)

Anne Saada (SLR)

Extrait d’une conférence donnée à l’EHESS sur le rôle de l’AERES. Nicolas Dodier, sociologue, directeur de recherche à l’INSERM, directeur d’études l’EHESS, a présenté une contribution intitulée : "Force et dérives d’une objectivité bien mal pensée. Une première expérience de l’AERES"