A la une
Copyright Puf
Evaluation : la revue Cités relance la polémique autour de l'AERES
« L’idéologie de l’évaluation. La grande imposture ». Sous ce titre provocateur, le prochain numéro de la Revue Cités, à paraître le 11 mars 2009 aux PUF (Presses Universitaires de France), relance la polémique sur les nouvelles modalités d'évaluation dans l'enseignement supérieur et notamment sur le rôle de l'AERES (l'agence de l’évaluation de la recherche et de l’enseignement supérieur). Educpros vous en propose en avant première les « bonnes feuilles ».
Dans l’éditorial, le directeur de la revue, Yves Charles Zarka, définit d’emblée l’évaluation comme un « simple exercice de pouvoir ». «Le pouvoir politique, quelle que soit sa légitimité, n'a aucun droit sur le savoir, ni sur sa production, ni sur sa transmission, parce que le savoir relève d'un autre ordre que lui. S'il veut étendre son empire sur le savoir, il devient tyrannique», écrit-il.
Cette revue de philosophie, de politique et d’histoire donne la parole à une quinzaine d’universitaires et de chercheurs, dont cinq ont ou ont eu des responsabilités au Comité national de la recherche scientifique, en charge du conseil et de l’évaluation au CNRS. Barbara Cassin, Sophie Basch, Michel Blay, François Simonet, Agnès Aflalo, Bertrand Guillaume, Emmanuel Picavet, Roland Gori et Michela Marzano ont entre autres apporté leur contribution.
Nous publions en avant première l’article intitulé « Le cauchemar de Paul Otlet », « l’homme qui voulait classer le monde ». Il est écrit par Isabelle Barbéris, agrégée de lettres modernes, ancienne élève de l’ENS Fontenay-Saint-Cloud, spécialisée en arts du spectacle.
Qu’aurait pensé Paul Otlet, « l’homme qui voulait classer le monde », face à la globalisation des procédures d’évaluation, s’étendant aujourd’hui ni plus ni moins au domaine de la pensée ? Le père fondateur de la bibliographie, qui entendait inventer un système permettant la mutualisation et le partage des fruits du génie humain, verrait aujourd’hui son rêve transformé en un système de sélection, et son utopie réduite à un knowledge mapping, résultat d’un agglomérat sans âme de critères, de recoupement de grilles et de faisceau d’indices. Pauvre Otlet à qui l’on attribue la paternité de l’Internet et de la bibliométrie, mais dont la croyance rationnelle contenait probablement déjà les erreurs et les servitudes volontaires de notre présent.
« La simplicité bon enfant du mode de classement par lettres de l’AERES rassoie sèchement le chercheur derrière son pupitre d’écolier »
Dans la mare de la novlangue administrative issue de la « réforme de l’État », l’évaluation côtoie la « régulation » dont elle est un avatar, et l’ensemble des outils de la nouvelle bureaucratie, où se renforcent mutuellement dérèglementation et durcissement du contrôle. Son omniprésence va de pair avec la pénétration du principe de mise en concurrence, et avec une hybridation des raisonnements scientifiques, économiques et juridiques faisant office de parler-vrai. L’évaluation n’est bien entendu ni plus ni moins que le nom actuel de la notation : tout aussi punitive et humiliante, mais revêtant un vocable heurtant moins la sensibilité de notre société post-soixante-huitarde. La simplicité bon enfant du mode de classement par lettres de l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES) rassoie sèchement le chercheur derrière son pupitre d’écolier et devant un tableau pour le moins noir. Bien que « venant d’ailleurs », du modèle anglo-saxon si décrié, la règle ici agitée satisfait d’ailleurs peut-être le goût français pour la hiérarchie, et son culte du « retour sur investissement » du contribuable.
« Bien que répondant de son humanité et de son ouverture d’esprit, l’AERES semble avoir entrepris d’éradiquer la subjectivité des sciences humaines »
Infalsifiable par nature, la doctrine de l’évaluation répond à la critique qu’elle sera prise en compte et optimisée à l’intérieur même de son fonctionnement. Pour entrer dans le sujet, il faut donc commencer par quelques remarques simples. Par exemple, si la « liste des revues scientifiques du domaine des sciences humaines et sociales » établie par l’AERES est aisément accessible, les critères qui ont présidé à son établissement apparaissent d’emblée comme bien plus difficiles à cerner.
Un classement responsable et méritant, à l’instar du « bon chercheur » et du « bon publiant », ne se devrait-il pas, en premier lieu, de préciser mais aussi de discuter avec un soin extrême de ses hypothèses et de ses fins, des moyens mis en œuvre, surtout lorsque les attentes ne sont autres que les définitions mêmes que l’on entend donner de la pensée, de la connaissance et de la recherche ? N’est-on pas en mesure d’attendre également que les évaluateurs s’expriment sur le contexte de leur mission – à moins que tout cela ne soit légèrement honteux et qu’il soit donc préférable de le taire ?
Bien que répondant de son humanité et de son ouverture d’esprit, l’AERES semble avoir entrepris d’éradiquer la subjectivité des sciences humaines... Sur le site Internet de cette organisation, on trouve d’ailleurs peu de signatures et de noms, encore moins de discours assumés. Le règne de l’anonymat ouvre ici la voie à la fragmentation et à la dilution des responsabilités, permettant a contrario le durcissement de la norme. Impossible de déterminer quel « idiot rationnel », pour citer Amartya Kumar Sen, se cache derrière cet écran. Une chose est sûre, c’est qu’il n’avoue pas son nom. À croire que l’évaluateur abdique son identité dans son acte même d’évaluation.
« A travers ces listes et ces grilles, nous n’avons affaire à personne »
On voudrait pourtant que les esprits triés sur le volet qui ont eu à travailler sur cette mission d’utilité publique nous expliquent de quelle manière ils n’ont pas cédé aux sirènes de l’utilitarisme. Mais voilà, où que l’on se tourne, toute forme de discours intelligible reste étouffée dans les replis de circulaires et de rapports impersonnels, fruits de collaborations, de missions, d’expertises, de navettes, de techniques comparatistes, de grilles en nombre infini. Le brainstorming collectif a remplacé l’ancienne prudence.
Le malaise de la présente situation de communication n’a rien de nouveau depuis Kafka : à travers ces listes et ces grilles, nous n’avons affaire à personne. Ce ne sont que nos évaluateurs présents qui s’adressent à nos évaluateurs futurs. L’exemple de l’AERES vérifie ainsi certaines règles communes à toute doctrine des bonnes intentions : la neutralité proclamée comme masque de l’idéologie, le déni d’un quelconque principe général autoritaire comme dissimulation d’une prolifération de prescriptions spécifiques contraignantes.
« Quant à la discipline à laquelle je contribue, elle n’est même pas identifiée »
Un classement se donne non seulement pour but d’établir une hiérarchie entre des objets existants, mais également de proclamer la non-existence des autres. Ce serait le cas de la revue où ces lignes sont publiées, et dont l’existence et l’importance sont avérées pour ses nombreux lecteurs. Peut-être parce que Cités ne répond pas aux implicites épistémologiques des listes établies par l’AERES. Le classement des revues philosophiques retient essentiellement des revues monographiques sur auteur, et surtout des revues de philosophie analytique, de psychologie et de sciences cognitives. On ne peut s’empêcher d’y voir l’officialisation d’un certain type de pensée.
Cette surreprésentation, outre une territorialisation tout à fait contestable de la connaissance, incline à penser que ces procédures ne font rien d’autre que normaliser des modes de pensée qui sont eux-mêmes normatifs. Quant à la discipline à laquelle je contribue, elle n’est même pas identifiée. L’étude des arts vivants ne fait certes pas partie des sciences humaines et sociales au sens historique, mais on ne peut douter qu’elle en soit une du point de vue théorique. Enfin, en instaurant la revue et l’article comme modèle de diffusion de la connaissance, la liste de l’AERES fait l’éloge funèbre du livre. Pour écrire un article « valorisant », laissons-nous emporter dans le rêve borgésien d’un texte qui ne serait fait que de notes de bas de pages, renvoyant elles-mêmes à des références citées le plus grand nombre de fois.
L’idéologie de l’évaluation signe l’émergence d’une société qui bégaie, incapable de penser autrement que par fragments. Maigre consolation peut-être : ne pas se reconnaître dans ces nombreuses grilles permet de ressentir la jubilation de l’électron libre... Ne pas être « in » mais « out », cela signifie aussi ne pas avoir de compte à rendre, ce dont on pourrait se réjouir. Mais pour combien de temps.
En savoir plus
Revue Cités, n° 37, intitulée "L'idéologie de l'évaluation. La grande imposture"
Directeur de la revue : Yves Charles Zarka
Prix : 15 euros
Parution le 11 mars 2009 www.puf.com
09.03.09
Aller plus loin
Nouvelles procédures d’évaluation, critères d’attribution des moyens, rapport sur l’Inserm…L’AERES (Agence d'évaluation de la recherche et de l'enseignement supérieur) est au cœur de l’actualité des derniers mois. Rencontre avec Jean-François Dhainaut, son président.
Suite à l’article d'Educpros du 24 mars 2009 et intitulé « Les directeurs des écoles d’art se mobilisent contre le rapport de l’AERES », nous avons interviewé Alain Menand, directeur de la section des formations et des diplômes à l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur). Pour mémoire, rappelons que les experts de l’Agence avaient rendu un avis sous conditions sur l’éventuelle obtention du grade de master pour le DNSEP (diplôme national supérieur d’expression plastique). Ce diplôme est délivré par les 48 écoles d’art du ministère de la Culture.
Un an après son installation, l’AERES (agence d’évaluation de la recherche et de l’enseignement supérieur) vient de dresser son premier bilan. Les résultats de l’évaluation de 30 universités et 72 écoles doctorales de la vague B ont été rendus publics. Ceux des 670 unités de recherche de la vague C et des 500 licences et masters de la vague B seront en ligne en juillet. Au-delà des évaluations « intégrées » des formations, de la recherche et de la gouvernance des établissements, l’AERES travaille sur de nouveaux outils de pilotage et entend rénover les procédures d’évaluation.
Commentaires
YFLC - 29-03-09 23:57
Défense et illustration de l’évaluation infométrique des universités
Nous ne pouvons qu’être outrés de voir vilipender tout un ensemble de travaux scientifiques de science de l’information au motif qu’ils sont utilisés dans les procédures d’évaluation de la production de science des universités françaises.
On fait référence d’abord à la bibliométrie, accusée de tous les maux. Notez déjà l’ignorance qui semble exister dans les milieux académique français concernant cette discipline dont l’objet est stricto sensu la mesure des activités de gestion des livres, et des collections de livres et de documents. Ignorance qui lui vaudra d’être appellée biométrie par une enseignante de psychologie de l’Université de Paris V sur le site de MEDIAPART, le « nouveau quotidien de référence » ! Ignorance patente aussi de l’auteure d’un article sur Paul OTLET, dans le dernier numéro de la revue Cités au titre provocateur « L’idéologie de l’évaluation. La grande imposture »
Dépassant les analyses bibliométriques, qui ont vu le jour dans les années 1920, pour répondre aux nécessités de l\'analyse du développement des activités scientifiques et techniques sont apparues, en Union Soviétique, entre les deux guerres, la \"science de la science\" (Nauchno y nauchno) et la scientométrie (et la technométrie), mesure des activités de recherche scientifique et technologique (RST) (à travers les inputs (main d\'oeuvre, budgets) et les outputs (dispositifs, produits, publications, livres) ; la science et la technologie étant prises au sens large, des sciences de la matière aux sciences de l\'homme en passant par les sciences de la vie et les sciences de la société. Si les principales mesures des \"entrées\", des ressources, consistaient à mesurer les dépenses et la main d\'oeuvre, les mesures des sorties ne pouvaient être que les produits principaux de ces activités à savoir les publications: les articles pour les activités scientifiques, c\'est-à-dire l\'information scientifique, les brevets constituant les produits indicateurs des activités technologiques, c\'est-à-dire l\'information technologique. Articles et brevets sont, en effet, des ressources de base pour l\'évaluation des laboratoires, des pays.
On passa ensuite, dans les années 1980, de l\'article, du livre, du brevet à l\'information qu\'ils contenaient: débutait alors l\'infométrie, mesure des activités d\'information, en particulier les activités d\'information scientifique et technique (IST). L’infométrie, c\'est d\'abord une quantification des informations bibliographiques à des fins d\'analyse (d\'où l\'usage continué du terme bibliométrie). La littérature scientifique et technique se prête en effet à une quantification en ce sens que chaque article de revue, chaque rapport, chaque livre, note, etc. contient des éléments bibliographiques paratextuels comme les titres des articles, des brevets, les noms des auteurs, les mots-clés, les références bibliographiques. Ces éléments correctement agencés constituent un ensemble de variables textuelles, personnelles et temporelles sur lesquelles on peut effectuer des mesures et des analyses quantitatives puis qualitatives des thématiques de recherche, des relations entre les disciplines et de l\'IST. La combinaison des éléments d\'information a permis en effet d\'élaborer des indicateurs quantitatifs et qualitatifs des activités de construction, de communication et d\'usage des informations scientifiques et techniques.
Deux groupes de méthodes sont actuellement identifiés: l’infométrie statistique et l’infométrie mathématique. L’infométrie statistique peut être unidimensionnelle. Elle s\'appuie sur des classifications, des nomenclatures préétablies et consiste à effectuer le décompte du nombre de publications (articles ou brevets) ayant telle ou telle caractéristique, appartenant à telle rubrique de la classification. Elle permet aussi de mesurer la productivité d\'un auteur, d\'un pays, d\'une institution ainsi que l\'impact d\'une revue, d\'un thème, d\'un auteur (en utilisant les comptages des références qu\'a reçues un travail donné pendant une période). Elle est également bidimensionnelle ou relationnelle reposant sur la détection d\'une relation entre les éléments d\'information et visant par exemple à identifier la structure d\'un domaine d\'activité scientifique ou technique qu\'on représente le plus souvent dans un espace-plan (carte). Les deux méthodes les plus utilisées sont la méthode des co-citations et la méthode des mots associés. Elle est enfin multidimensionnelle (analyse de données) et probabiliste (processus poissoniens et markoviens). La démarche traditionnelle statistique qui consiste à confirmer les hypothèses formulées a considérablement évolué avec la généralisation des outils d’analyse statistique multidimensionnelle qui, en particulier grâce aux outils infographiques, permettent de formuler des hypothèses que l’on vérifiera ensuite en utilisant d’autres méthodes, telles que les statistiques exploratrices ou « fouilles de textes » (texte mining, data mining, Web mining). L’infométrie mathématique peut être analytique (analyse numérique, analyse fonctionnelle, équation différentielle), algébrique (théorie des ensembles, matrices) et géométrique (espace vectoriel, théorie des graphes).
Dans le secteur de la culture, de l\'éducation, de la recherche, une bonne gestion des services publics nécessite de plus en plus l\'utilisation d\'une large gamme de ces outils d’évaluation que l’on adapte aux contextes culturels, éducatifs, scientifiques, à la taille et au caractère du service. Ce sont ainsi des outils d\'analyse des besoins de la communauté desservie, des outils de pilotage et d\'évaluation et des outils de mesure des performances, permettant à l\'établissement, à l’Université en particulier, de disposer d\'une batterie d\'indicateurs de performance.
Aujourd\'hui, plus généralement, dans une société marquée par les développements scientifiques et techniques, la mesure semble dicter la moindre décision. Elle renvoie de multiples manières aux conditions de l\'existence humaine. Ainsi en 1996, lors des 7es Entretiens de la Villette sur ce sujet, on remarquait que « De la sécurité routière à la purification de l\'eau, de la comptabilité et de l\'assurance à la physique des particules ou des pigments colorés, des institutions scolaires aux processus industriels, les techniques de mesure renvoient immanquablement aux modalités de notre rapport au monde. Que la mesure soit directe ou statistique, sa dimension d\'objectivité, sans laquelle elle ne serait rien, renvoie aux normes que des collectifs humains (laboratoire, école, communauté de chercheurs, revue, bibliothèque, centre de documentation, musée, hôpital, administration) élaborent afin de mieux distinguer la réalité de phénomènes que notre perception immédiate ne parvient à modéliser que là où la succession des événements observables répond à des cycles réguliers. Même dans ce cas, nous savons qu\'il ne va pas de soi que les divers observateurs s\'arrêtent aux mêmes aspects et divisent le réel de manière identique. »
Mais on ne parvient à mesurer qu\'en s\'éloignant des perceptions singulières au profit de procédures réglées qu\'il a bien fallu déterminer un jour, et qui conditionnent généralement notre perception du réel. C\'est dire s\'il est important de comprendre (ce que sont loin de faire les farouches opposants à l’évaluation) les fondements des techniques infométriques aujourd\'hui en vigueur, les pratiques de mesure et leurs limites dans l\'ordre des sciences contemporaines comme dans l\'analyse des comportements sociaux et de s\'interroger sur la manière dont elles affectent notre comportement quotidien.
Yves-François LE COADIC
Professeur de science de l’information au CNAM, ancien membre du CNU et spécialiste d’infométrie (voir notre ouvrage : Eléments de statistique et de mathématique de l’information – Infométrie, bibliométrie, médiamétrie, scientométrie, muséométrie, webométrie - Les Presses de l’ENSSIB, Villeurbanne- 2000.).
TRC - 12-03-09 08:57
Encore un pavé pour tenter d\'extraire les enseignants chercheurs à tout contrôle ; et cette nouvelle attaque contre l\'\'évaluationde l\'enseignement supérieur se veut démocratique! Je crois à la vérité que Yves Charles Zarka en tentant de faire passer l\'enseignement et la recherche pour un ordre qui échappe à tout contrôle et à tout pouvoir invente un autre pouvoir tout puissant celui-là : le pouvoir du savoir que personne n\'est capable d\'évaluer sauf quand le monde du travail voit arriver les produits d\'un tel système non évalué puisque son évaluation est toute récente! Ne l\'oublions pas! voit-on encore aujourd\'hui une activité qui refuse de se laisser évaluer? et les contribuables que pensent-ils de mettre sur la table des sous et encore des sous pour un système qui échapperait à toute évaluation! Pourquoi M Zarka ne finance t-il pas lui même sa propre recherche? .TRC
Ajouter un commentaire