Classement des revues en économie-gestion

Publié le par Olivier Bouba-Olga

Article très intéressant dans la Revue de la Régulation, au moment où les évaluations AERES sont en cours dans tout un ensemble d'Universités (dont Poitiers!). Titre : "Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion". Auteurs : David Pontille et Didier Torny. Quelques petits extraits pour vous mettre en bouche.

 

premier extrait, tout au début :

 Peut-on attribuer une qualité constante à une revue scientifique et produire un accord entre les membres d’un milieu professionnel sur cette qualité ? Bien avant la section 37 du CNRS ou l’AERES, Hawkins et al. (1973) ont interrogé des pairs pour répondre à cette question en recueillant leurs jugements sur 87 revues d’économie. Ils ont demandé à 160 économistes de leur attribuer une note entre 0 et 20, en leur précisant bien de ne noter que celles qu’ils connaissaient. À partir des réponses obtenues, ils ont produit deux indices. Premièrement, ils ont calculé la note moyenne obtenue par chaque revue et les ont ordonnées en conséquence. Deuxièmement, ils ont élaboré une note de prestige, produit de cette moyenne et du pourcentage de répondants ayant noté la revue. Ils ont ensuite renvoyé ces résultats agrégés (moyenne, médiane, mode, écart-type) aux mêmes économistes, avec un rappel de leur propre notation, en leur demandant de la confirmer ou de la changer. Plus de 80 % des répondants ont modifié certaines de leurs notes, presque toutes vers le jugement « moyen », diminuant d’autant les écarts-types pour chaque revue.

 

un peu plus loin (j'adore!):

Les auteurs ont estimé que plus une revue est considérée comme « théorique » ou « générale », plus sa note de prestige est élevée ; à l’inverse, plus une revue est considérée comme « spécialisée » ou « appliquée », plus sa note de prestige est basse. Afin de donner davantage de poids à leur interprétation, ils ont introduit deux leurres dans la liste des revues : le Journal of Economic and Statistical Theory (JEST) et le Regional Studies and Economic Change (RESC). Alors même que ces revues n’existaient pas, un répondant sur cinq les avait classées et, sans surprise pour les auteurs, JEST apparaissait dans le premier tiers du classement et RESC dans le dernier tiers.

 

à noter la reprise d'une citation de Gizmo (fin du paragraphe 78):

Dès lors, on comprend que si les laboratoires d’économie-gestion sont systématiquement plus mal notés que les autres laboratoires (toutes choses égales par ailleurs), leurs dotations vont se réduire par rapport aux laboratoires des autres disciplines, ce qui réduira leurs chances d’attirer les meilleurs doctorants, docteurs, collègues, et de produire dans les meilleures conditions. Encore une fois, peut-être est-ce le but recherché : n’assurer une formation en master et en doctorat d’économie-gestion que dans quatre ou cinq laboratoires de recherche en France. Dans ce cas, il faut avoir le courage de le dire.

 

pour finir, la phrase en exergue :

“Excellent articles frequently appear in journals viewed subjectively as ‘poor’ by the profession, and low-quality work often emerges in ‘excellent’ journals. Nevertheless, there is a pervasive – in our opinion an unfortunate – tendency within the profession to assess the quality of a person’s work all too superficially, giving excessive weight to the journal in which it appears” (Hawkins et al. 1973, p. 1032).

 

L'alternative serait de lire les articles des personnes que l'on doit évaluer (pour recrutement, promotion, etc.). Mais bon, si on doit s'embêter avec ça maintenant...

Publié dans Université

Commenter cet article

jmdesp 14/12/2010 18:35



Sur l'évaluation tout l'objectif des critéres d'impact est justement d'éviter d'inventer un nouveau système pour évaluer les personnes :


- pour éviter l'accusation d'être subjectif, de copinage des personnes chargées de l'évaluation, d'utilisation de critères non pertinents


- pour en éviter le coût aussi, mais c'est presque secondaire par rapport au premier


J'ai envie de dire que d'un point de vue d'économiste, on est typiquement dans le genre de situation absurde et sans solution qu'introduit le fait de chercher à tout gérer par un systéme
bureaucratique centralisé au lieu de faire confiance au marché. Si les évaluateurs étaient à la fois libres de faire ce qu'ils veulent *mais* très fortement intéressé et impliqués à ce que le
résultat de l'évaluation soit de qualité, ils détermineraient par eux même la procédure la plus efficace et la moins biaisée.


Alors, une évaluation déléguée au directeur d'université, avec non seulement ses moyens mais aussi son salaire directement lié à la performance de ses équipes ?



Supertakin 13/12/2010 10:16



C'est le prochain chapitre des économistes atterrés?