Classement des revues en économie-gestion
Article très intéressant dans la Revue de la Régulation, au moment où les évaluations AERES sont en cours dans tout un ensemble d'Universités (dont Poitiers!). Titre : "Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion". Auteurs : David Pontille et Didier Torny. Quelques petits extraits pour vous mettre en bouche.
premier extrait, tout au début :
Peut-on attribuer une qualité constante à une revue scientifique et produire un accord entre les membres d’un milieu professionnel sur cette qualité ? Bien avant la section 37 du CNRS ou l’AERES, Hawkins et al. (1973) ont interrogé des pairs pour répondre à cette question en recueillant leurs jugements sur 87 revues d’économie. Ils ont demandé à 160 économistes de leur attribuer une note entre 0 et 20, en leur précisant bien de ne noter que celles qu’ils connaissaient. À partir des réponses obtenues, ils ont produit deux indices. Premièrement, ils ont calculé la note moyenne obtenue par chaque revue et les ont ordonnées en conséquence. Deuxièmement, ils ont élaboré une note de prestige, produit de cette moyenne et du pourcentage de répondants ayant noté la revue. Ils ont ensuite renvoyé ces résultats agrégés (moyenne, médiane, mode, écart-type) aux mêmes économistes, avec un rappel de leur propre notation, en leur demandant de la confirmer ou de la changer. Plus de 80 % des répondants ont modifié certaines de leurs notes, presque toutes vers le jugement « moyen », diminuant d’autant les écarts-types pour chaque revue.
un peu plus loin (j'adore!):
Les auteurs ont estimé que plus une revue est considérée comme « théorique » ou « générale », plus sa note de prestige est élevée ; à l’inverse, plus une revue est considérée comme « spécialisée » ou « appliquée », plus sa note de prestige est basse. Afin de donner davantage de poids à leur interprétation, ils ont introduit deux leurres dans la liste des revues : le Journal of Economic and Statistical Theory (JEST) et le Regional Studies and Economic Change (RESC). Alors même que ces revues n’existaient pas, un répondant sur cinq les avait classées et, sans surprise pour les auteurs, JEST apparaissait dans le premier tiers du classement et RESC dans le dernier tiers.
à noter la reprise d'une citation de Gizmo (fin du paragraphe 78):
Dès lors, on comprend que si les laboratoires d’économie-gestion sont systématiquement plus mal notés que les autres laboratoires (toutes choses égales par ailleurs), leurs dotations vont se réduire par rapport aux laboratoires des autres disciplines, ce qui réduira leurs chances d’attirer les meilleurs doctorants, docteurs, collègues, et de produire dans les meilleures conditions. Encore une fois, peut-être est-ce le but recherché : n’assurer une formation en master et en doctorat d’économie-gestion que dans quatre ou cinq laboratoires de recherche en France. Dans ce cas, il faut avoir le courage de le dire.
pour finir, la phrase en exergue :
“Excellent articles frequently appear in journals viewed subjectively as ‘poor’ by the profession, and low-quality work often emerges in ‘excellent’ journals. Nevertheless, there is a pervasive – in our opinion an unfortunate – tendency within the profession to assess the quality of a person’s work all too superficially, giving excessive weight to the journal in which it appears” (Hawkins et al. 1973, p. 1032).
L'alternative serait de lire les articles des personnes que l'on doit évaluer (pour recrutement, promotion, etc.). Mais bon, si on doit s'embêter avec ça maintenant...