Les effets pervers de la course à la publication

C.H.

Le dernier numéro du Journal of Economic Perspectives comprend une étonnante correspondance entre David Autor, rédacteur en chef de la revue, et Bruno Frey, un chercheur internationalement reconnu notamment pour ses recherches au croisement de l’économie et de la psychologie. La dicussion concerne un article récemment publié par Frey et deux co-auteurs dans le JEP,  « Behavior under extreme conditions: The Titanic Disaster« . Les plus anciens lecteurs de ce blog se souviendront que j’avais d’ailleurs consacré un billet à une précédente version de cet article. Il s’avère que suite à la publication de l’article, le rédacteur en chef du JEP s’est aperçu que les mêmes auteurs avaient déjà publié différentes versions (mais manifestement très ressemblantes à l’article du JEP) dans pas moins de trois autres revues. L’éditeur affirme qu’il n’avait pas connaissance de deux de ces trois publications où moment où l’article a été accepté pour être publié dans le JEP, sans quoi il aurait été refusé.

Il est clair que publier trois ou quatre versions rigoureusement identiques d’un même papier est contraire à n’importe quelle éthique de la recherche que l’on puisse imaginer. En même temps, sans pour autant relativiser la responsabilité des auteurs concernés, il faut quand même noter que la duplication des articles est une chose assez courante, au moins en économie, même si la plupart du temps elle se fait de manière beaucoup plus subtile que dans l’exemple ci-dessus. C’est l’un des multiples effets pervers de l’obsession bibliométrique qui réduit l’évaluation de la recherche (et dont dépendent entre autres promotions et allocation de financements)  au comptage du nombre de lignes sur le CV ou, pire, à une subtile addition de « points » suivant le rang des publications. En clair, les chercheurs ne prennent plus le temps de lire les travaux de leurs collègues pour les évaluer. C’est notamment ce qu’avait pointé du doigt le collectif Zadig, un collectif d’enseignants-chercheurs en économie, dans une lettre ouverte à Valérie Pécresse, alors encore ministre de l’enseignement supérieur et de la recherche.

Publicités

15 Commentaires

Classé dans Divers

15 réponses à “Les effets pervers de la course à la publication

  1. Blaise

    C’est vraiment que le système est loin d’être parfait. Maid comment évaluer les chercheurs?

  2. Moggio

    Oui, « la duplication des articles » semble en effet « une chose assez courante », du moins en économie. Sauf erreur, dans le domaine de l’économie dite des des arts et de la culture, Bruno Frey — au C.V. impressionnant et que j’aime bien lire car il a une approche bien souvent néoclassique tout en l’enrichissant d’éléments institutionnels pertinents — est assez coutumier du fait avec des travaux qui ont pu être publiés avec quelques variantes sur deux ou trois supports différents.

  3. Silvertongue

    Je ne sais pas si le manque de respect des « règles » éditoriales par Frey et ses co-auteurs est réellement induit par la course à la publication. Ni Frey, ni ses co-auteurs ne sont dans une obligations extrêmes de publier à court terme. Ce sont des chercheurs confirmés et dont le CV comme la réputation suffissent à lisser les éventuelles périodes sans publication.

    Du coup, je trouve que l’intérêt de cet échange entre auteurs et éditeurs cible plutôt le fait que Frey et ses co-auteurs ont utilisé un ressort effectivement fréquent consistant à publier plusieurs très proches (en l’occurrence, en poussant la proximité à l’extrême), plutôt que la course à la publication elle-même. Et il est intéressant de noter la rebuffade de l’éditeur (en son nom propre et au nom de l’AEA). Si cela pouvait être un premier pas vers un contrôle accru des « publications parallèles », ce serait une bonne chose (moins de redondances et, par conséquent, plus de place pour des publications « réellement originales »).

    Ce qui évoque la course à la publication, c’est plutôt l’obligation de publier dans laquelle se trouve tout jeune chercheur. Et, en l’occurrence, un jeune chercheur peut (vous savez, cher C.H, que je parle d’expérience) soumettre un article et attendre pendant plus d’un an la réponse (qu’elle soit positive ou négative importe peu ici). Or, un très jeune chercheur se doit de publier au cours de sa thèse ou juste après. Si l’on tient compte de tels délais, la tentation est grande de soumettre des papiers proches, comme l’ont fait Frey et ses co-auteurs, à plusieurs revues. Mais, cela est une rupture manifeste de la clause d’originalité des papiers et d’exclusivité accordé à la revue à laquelle on soumet le papier. Si Frey et consort se remettront très bien de cette faute de goût, un chercheur moins reconnu pourrait voir sa réputation suffisamment entachée pour qu’il lui soit encore plus difficile de publier par la suite.

    Pour résumer, les deux points que je voulais aborder (et qui n’apparaissent pas très clairement, je m’en rends compte) :

    1) A mon avis, la démarche de Frey et de ses co-auteurs ne pas tient principalement à la course à la publication. Ils ont juste joué avec une limite (de moins en moins évidente dans les faits) concernant la clause d’originalité liée au fait de soumettre un papier à une revue scientifique. Au final, cette mise au point est une bonne chose.

    2) Les clauses d’originalité et d’exclusivité liées au fait de soumettre un papier à une revue forment avec l’obligation de publier un problème délicat pour tout les chercheurs et tout particulièrement lorsqu’ils sont en début de carrière. Toutefois, cette remarque concerne peu, voire pas du tout, les « chercheurs-stars* ».

    *Il est délicat de définir un « chercheurs-stars ». Il me semble toutefois qu’au-delà d’une centaine de publications académiques, on peut admettre que la notoriété d’un chercheur suffit à lui éviter certains désagréments susceptibles d’affecter nombre de ses collègues…

  4. La correspondance n’est pas vraiment étonnante, elle est même aujourd’hui d’une banalité absolue, quelle que soit la discipline. Néanmoins, avant d’accuser la pression à la publication, il faut analyser les éléments qui ont permis cet échange :

    1/ la construction de bases de données électroniques d’articles, principalement par les gros publishers, qui rendent disponibles (contre un paiement élevé) et facilement accessibles des masses de textes.

    2/ la construction d’une base d’archives ouvertes décentralisée par les économistes qui redouble le 1/, en l’étendant au working papers. Cette base produit ces propres statistiques et construit des mesures d’impact comme la véritable norme de l’évaluation d’une recherche ou d’un chercheur – voir là : http://blog.repec.org/2009/07/27/about-repec-impact-factors/

    3/ l’existence d’une norme sociale partagée, et parfois contractuelle, sur l’originalité des articles soumis à une revue. Il faut noter que l’interprétation de cette norme est très variable suivant les disciplines et les auteurs. Par exemple, un article au contenu identique, mais l’un en anglais, l’autre dans une langue locale – et donc s’adressant à une audience distincte, constitue-t-il un autoplagiat ?

    Une fois ces trois éléments réunis, les « affaires » de ce type se multiplient et peuvent conduire au retrait d’article (voir des cas récents http://retractionwatch.wordpress.com/), à des éditoriaux critiques (par exemple http://www.springerlink.com/content/55271l124022t32j/) et même à des analyses spécifiques en scientométrie sur les twin papers (http://arxiv.org/abs/0908.3177).

    J’ajoute un mot sur le cas Bruno Frey qui présente des spécificités intéressantes.

    1/ Frey est un pourfendeur des instruments d’évaluation et a même décrit le peer review comme un système de prostitution, vous vendez vos idées contre celles de l’editorial board

    2/ Dans le même temps, il utilise des mesures de type IF et de quantification pour signifier combien il est un grand économiste http://www.bsfrey.ch/

    3/ il est coutumier de la production de twin papers par exemple comparez les deux qui suivent :
    http://www.springerlink.com/content/r24503g06v4x5791/
    http://www.springerlink.com/content/qg0437183m430225/
    Le deuxième est environ dix fois plus cité que le premier (et antérieur de deux ans).

    On peut faire l’hypothèse que Frey joue aux limites du système au sens de la pression à la publication mais on peut aussi supposer qu’il adopte une position ironique ou cynique. Le ton de sa réponse, très (trop) sérieux m’incite à pencher pour la seconde hypothèse.

  5. Circus

    « Il est clair que publier trois ou quatre versions rigoureusement identiques d’un même papier est contraire à n’importe quelle éthique de la recherche que l’on puisse imaginer. » => en quoi est-ce contraire à l’éthique de la recherche ? Si le papier est intéressant, il sera probablement sélectionné pour plusieurs revues, ce qui lui permet d’être plus connu, ce qui me parait une bonne chose pour un papier de qualité, non ?
    (Sans troll, je suis étudiant)

    • ALC

      Cela viole gravement l’éthique car cela empêche d’autres chercheurs de publier dans ces journaux. Dans les meilleures revues, les places sont extrêmement chères, et multiplier les publications pénalisent les autres chercheurs.
      Par ailleurs, le but d’une revue est de publier des travaux originaux et influents pour accroître son audience. Publier un travail dans plusieurs revues nuit donc à la politique éditoriale des revues scientifiques.

    • Silvertongue

      @ Circus :

      Votre question tout à fait compréhensible :

      1) En soumettant un article à une revue scientifique, les auteurs s’engagent à garantir à la revue à la fois l’originalité du travail et son exclusivité. Il s’agit, bien entendu, d’un engagement moral, mais ce sont tout de même des clauses que les personnes soumettant un texte sont tenues d’accepter (en fait, le fait de soumettre un papier signifie tacitement qu’elles les acceptent). Bref, il y a indiscutablement une rupture de contrat moral à soumettre quatre papiers très proches à quatre revues différentes dans des intervalles de temps très courts.

      2) L’argument selon lequel, un article publié dans plusieurs revues aurait une audience plus large est assez discutable. Il y a ici une grande différence entre un article scientifique et un article de journal. Un article scientifique ne sera probablement pas plus lu parce qu’il est publié sous quatre formes approchantes dans quatre revues différentes. Il s’agit en effet d’articles de recherche publiés dans des revues scientifiques et lus principalement, si ce n’est exclusivement, par des spécialistes du sujet abordé dans le but de les prolonger ou de les discuter. Ce genre de papier est indexé par le biais mots clés et de codes précisant les sous-sous-champs disciplinaires auxquels ils appartiennent. Une publication sera assez rapidement connus de tous les spécialistes d’un champ si son apport est jugé important et il sera cité – en revanche, un papier publié en quatre versions peut tout à fait avoir un impact faible ou nul. Il va de soi que chaque spécialiste d’un champ ne peut pas lire tous les articles qui se publient dans son champ, mais il est évident que tous les spécialistes d’un champ lisent au final tous les articles parus dans ce champ – et s’en font l’écho ou pas dans leurs propres travaux.

      3) Le seul cas qui peut (éventuellement) s’argumenter concerne la publication dans une langue nationale (comme le français) et en anglais. Quoi que dans ce cas, on puisse discuter de l’intérêt de la version française attendu que les chercheurs lisent tous l’anglais – bien que cela pose la difficile question de la disparition des langues autres que l’anglais dans le champ de la recherche.

      4) Les clauses d’exclusivité et d’originalité ont aussi pour intérêt (qui peut être discuté, bien entendu) de laisser la place aux autres publications. Les revues scientifiques peuvent paraître nombreuses, mais elles ne le sont pas tant que cela. De ce fait, si l’on respecte les clauses d’originalité et d’exclusivité, on laisse la place libre pour d’autres communications – car, il en va des publications comme de toutes les ressources rares.

      Pour en revenir à Frey, comme il a déjà été dit, c’est un critique acerbe de la façon dont on prétend évaluer aujourd’hui la recherche. Il est donc fort probable que sa démarche soit une façon de se moquer de ce système d’évaluation qu’il juge, au mieux, particulièrement limité, au pire, totalement nuisible.

  6. ALC

    Par ailleurs, l’affaire Frey est vraiment extrême, et plus due à un problème pathologique de l’individu en question qu’au système.

    Il est normal que les universités de recherche mettent la pression pour accroître le nombre de publication, et c’est normal qu’il existe une compétition entre chercheur. Ce n’est donc pas la bibliométrie le problème.

    Ce qui me paraît inquiétant est avant tout le comportement des meilleures revues en économie: faible contrôle de la qualité des données, problème de favoritisme, faible qualité d’en certains cas du processus de refereing. C’est de là que viennent les scandales les plus importants (Levitt, Hoxby, etc, les affaires ne manquent pas).

  7. C.H.

    Merci pour tous ces commentaires.

    Pour rebondir un peu sur certains points soulevés, il est vrai que le cas de Bruno Frey est particulier dans la mesure où ce dernier va probablement volontairement au bout de la logique (absurde) du système. Toutefois, que Frey ait agi sciemment ou non, cela tend à démontrer qu’il y a quelque chose d’absurde à une logique d’évaluation où, finalement, le contenu des articles n’est que secondaire. J’insiste sur le fait que généralement c’est beaucoup plus insidieux que ça dans le sens où les auteurs prennent le soin de modifier substantiellement le titre et la forme de leurs différents papiers, mais sans qu’il y ait quelque chose de nouveau sur le fond. J’ai quelques exemples en tête mais je ne veux citer personne.

    @Silvertongue : certes Frey n’est pas dans l’obligation absolue de publier et je ne sais pas ce qu’il en est pour les autres auteurs. Mais on peut aussi voir ce genre de pratiques comme le résultat d’une « habitude » ou d’une norme générée par le système d’évaluation. Les chercheurs qui jouent le jeu ne sont pas malhonnêtes et peut être même ne répondent-ils à aucune incitation particulière. Seulement, il est tout à fait possible qu’un certain nombre de chercheurs trouvent ce genre de pratiques « normales ». Maintenant, tout à fait d’accord, le problème se pose avec une acuité particulière pour les jeunes chercheurs, sachant que dans le système anglo-saxon, « jeune chercheur » peut signifier 35 ou 40 ans, voire plus (jusqu’à obtenir la tenure en fait).

    @ALC : tout à fait d’accord sur le fait que les revues ne font peut être toujours leur travail correctement. Je suis également d’accord sur le fait que les universités incitent (plutôt que « mettre la pression) leurs chercheurs pour qu’ils publient. Et pour inciter, il faut contrôler. De ce point de vue, la bibliométrie a un rôle à jouer j’en conviens. Mais en économie, il me semble que le système évolue vers l’absurde : définition restrictive de ce qu’est une « publication », indifférence totale pour le contenu des publications (seul le rang compte) et évaluation des dossiers scientifiques quasi-exclusivement au travers d’un « comptage de points » (le président du dernier jury d’agrégation de sciences économiques a expliqué que la sélection se faisait ainsi à l’épreuve de sous-admissibilité).

    • ALC

      Concernant l’agreg, il y avait plus de 100 candidats, ayant déjà publié en moyenne une dizaine d’article. Soit plus de 1000 articles à lire par le jury… ce qui est évidemment impossible. Utiliser un classement permet de dégrossir rapidement le vivier de candidats en éliminant ceux qui n’ont pas le niveau (= publications uniquement en français ou dans des revues anglo-saxonnes confidentielles). Pour ceux qui sont à la limite, il est alors possible de lire les publications (au moins rapidement), pour repêcher les candidats intéressant malgré un dossier un peu faible. C’est d’ailleurs ce qu’a fait le jury, si je ne m’abuse, puisque tous les candidats sont reçus pour présenter leurs travaux, et qu’ils reçoivent une note de présentation participant à la décision finale.
      Un des grands avantages de la bibliométrie dans ce cas spécifique est que cela permet d’éviter un trop grand biais subjectif. Pas de risque de voir se répéter le scandale Salin avec cette pratique.
      Je vous rejoins par contre sur l’utilisation bête et méchante de la bibliométrie par des agences type AERES. Mais ici, ce qui est en cause est plutôt le type d’évaluation pratiquée en France, très centralisé, dans un système très rigide où les acteurs ont peu de marge de manoeuvre. L’Etat a alors tendance à vouloir faire de la micro-gestion de haut, sans avoir assez d’information pour cela, et en fétichisant quelques indicateurs.

      • J’aime bien l’équation « pas le niveau =publications uniquement en français ».

        Je constate surtout que le jury d’agrégation est effrayé du niveau lamentable des candidats en économie générale, tellement ils sont spécialisés sur des micro-niches – le prix à payer pour publier comme des chevaux de course.

        Evidemment, ici, l’AFEP n’a pas bonne presse, mais on peut quand même retenir quelques propositions pour l’évaluation des EC en économie et gestion :

        http://www.assoeconomiepolitique.org/spip.php?article328

  8. Bonjour,
    Je lis toujours avec plaisir vos propos et suis intéressé par cet article et ses commentaires sur la course à la publication. Un argument n’est pourtant pas mentionné : est-ce que le juge de paix de la qualité du travail fourni doit être exclusivement interne au système ?
    Est-ce que les économistes ne pourraient concéder qu’à l’instar de Thomas Philippon, « La plupart d’entre nous n’ont pas prévu la crise, faute d’une vision d’ensemble», c’est à dire que le pire de la course à la publication est peut-être la tendance accrue à l’entre-soi.
    http://mailletonmarketing.typepad.com/mailletonmarketing/2009/10/lhistoire-est-la-grande-oubliée-des-analystes.html
    Au contraire, praticien et historien des entreprises je crois que l’ouverture des professionnels de la recherche trouverait intérêt à s’ouvrir pour éviter une « autonomisation » accrue et distanciée du champ de la recherche. Paradoxalement les chercheurs devenant les meilleurs alliés objectifs des publications qu’ils dénoncent en ne voulant pas vulgariser leurs travaux. Au risque aussi de continuer à donner raison à Th Philippon, en n’ouvrant pas le mur entre la cité et l’université.
    Bien cordialement et mes félicitations renouvelées pour votre blog.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s