Shadow publishing system

Felix Salmon pose une question qui est à mon sens aujourd’hui capitale : dans quelle mesure peut-on croire les résultats issus d’articles d’économie publiés sur le web et/ou de recherches rapportées par la presse économique et les blogs ? Pour bien comprendre en quoi cette question est importante, il faut déjà bien connaître le circuit « normal » de la publication académique.

Lorsqu’un économiste présente les résultats de ses recherches dans un papier, il est face à un public qui en règle général a un désavantage par rapport à lui : l’économiste est normalement un spécialiste de son domaine de recherche, ses lecteurs pas forcément. On est alors face à un problème d’asymétrie d’information : de la même manière qu’à moins de vous y connaitre en mécanique automobile vous pouvez difficilement savoir si le garagiste n’essaye pas de vous faire payer des réparations superflues, il est quasiment impossible, même pour un économiste, de déterminer si les recherches menées par l’un de ses collègues sont fiables ou non (sauf si bien sûr il travaille dans le même domaine). Face à cette asymétrie d’information, le monde académique a mis en place un système de réputation via les revues scientifiques.

Ce système est en fait basé sur le principe de l’émission d’un signal : le fait qu’un article soit publié dans certaines revues indique que cet article est en principe de qualité et que ses résultats sont fiables. Comment fait-on pour publier dans ses revues ? On envoi son article et, le plus souvent, deux rapporteurs anonymes choisis par l’éditeur de la revue vont lire et évaluer l’article et rédiger un rapport. L’article peut ensuite être directement accepté par le comité de rédaction, ou bien refusé, ou bien encore il peut être demandé à l’auteur de retravailler son papier en suivant les recommandations des rapporteurs (cas le plus fréquent). Une deuxième soumission interviendra alors plus tard et le même processus se remettra en place. Tout ce système repose sur le fait que les revues sont incitées à ne pas publier n’importe quoi afin de ne pas dégrader leur réputation. Cette dernière est aujourd’hui formellement mesurée avec les classements internationaux des revues qui existent notamment pour les revues d’économie (voir ici par exemple). la manière dont ces classements sont établis n’est pas toujours très claire mais toujours est-il qu’une revue académique est incitée à se conformer à certains critères de publication (taux de rejet d’articles par exemple). Jusqu’à présent, c’est le meilleur système que l’on est trouvé pour signaler la qualité d’un article.

Ce système a toutefois d’importants défauts qui incitent aujourd’hui de plus en plus de monde à essayer de le contourner. Parmi les principaux d’entre eux, on peut déjà citer les délais parfois très importants entre le moment où l’article est envoyé une première fois à la revue et le moment où il est effectivement publié. Dans le meilleur des cas, il faut compter un an ou un an et demi. Mais le plus souvent, ce délais atteignent deux ans et peuvent à trois au quatre ans. Si l’on considère qu’avant d’être envoyé une première fois à la revue il n’est pas rare que le papier soit déjà rédigé depuis plus d’un an (et ait été présenté à un ou plusieurs colloques) … les comptes sont vite faits. Un second défaut est que ce système de réputation renforce le conformisme inhérent à l’activité scientifique : les revues bien établies ont tendance à privilégier les articles recourant à des méthodologies « traditionnelles ». A ce niveau, se pose notamment la question de la relation d’agence entre l’éditeur (ou le comité de rédaction) de la revue et les rapporteurs. Comment s’assurer que les rapporteurs font leur travail correctement ? Si l’on considère que le plus souvent les rapporteurs ont eux-mêmes déjà publié plusieurs fois dans la revue, on comprend qu’il puisse y avoir facilement un phénomène d’endogamie qui se développe.  Enfin, un troisième problème est lié à la question de savoir qui établie les classements des revues. Ces classements reposent en partie sur une forme de subjectivité et d’arbitraire et peut incontestablement servir à perpétuer la domination d’une approche ou d’un courant sur d’autres. Ce n’est pas un hasard si certains économistes hétérodoxes ont émit l’idée d’établir un classement des revues hétérodoxes (option qui serait désastreuse pour les courants hétérodoxes selon moi, mais c’est un autre problème).

Face à ces difficultés, on assiste aujourd’hui à un phénomène que j’appellerai le « shadow publishing system », par analogie au « shadow banking system« . Il s’agit en fait d’un système alternatif de circulation des idées scientifiques qui s’émancipe des règles du système traditionnel de la publication scientifique. En économie, je pense que l’on peut dire que ce système est déjà sérieusement développé et que ce n’est que le début. Sous quelle forme se présente-t-il ? Principalement via l’existence de plateforme de diffusion de ce que l’on appelle les « working papers », ou documents de travail. La plus connue est le Social Science Research Network à partir duquel on peut accéder à des milliers de working papers. Les pages personnelles d’économistes ou encore les sites de certains laboratoires permettent également d’accéder à de tels documents. L’objectif affiché du SSRN est de permettre une meilleure et surtout plus rapide diffusion des idées scientifiques. Je pense que ce phénomène va probablement se renforcer dans l’avenir avec le développement des blogs d’économie. Notamment, il est fréquent sur les blogs anglo-saxons qu’il soit fait référence à des papiers qui sont encore à l’état de working paper et qui ne sont pas encore passés par le circuit traditionnel d’évaluation.

Ce système alternatif a un intérêt incontestable : il permet de diffuser relativement à grande échelle des idées dans un délai relativement court. Il est également plus facile de faire « dans l’originalité » puisque l’on échappe à la pression conformiste du circuit traditionnel. Mais les dangers sont également évidents : en soi, un working paper n’a aucune valeur. Ce qui y est raconté peut être totalement faux. Le problème s’est d’ailleurs posé en 2005 lorsque Robert Barro et Steven Levitt ont fait référence dans la presse grand public (Business Week et Slate) à un papier d’Emily Oster sur le lien supposé entre l’épatite B et le déséquilibre dans la population d’hommes et de femmes dans la population chinoise (toute l’histoire est racontée ici). Le papier a été publié dans le Journal of Political Economy (dont l’éditeur est… Steven Levitt) mais Robert Barro avait rapporté les résultats de la recherche dans la presse dès février 2005 alors que le papier n’était encore qu’à l’état de working paper. le problème est que, depuis, Oster elle-même est revenue sur ses résultats et a reconnu qu’ils étaient probablement erronés.

Cet exemple montre qu’aucun système n’est infaillible puisqu’en fait, les deux ont été pris en défaut. Toutefois, le « shadow publishing system » ne semble pas aujourd’hui doté d’un système de réputation aussi fiable que le système de publication traditionnel. Arnold Kling pense pourtant qu’un tel système alternatif pourrait être plus efficace que celui fondé sur les revues académiques. Le principal obstacle selon lui est que ceux qui profitent du système actuel (les chercheurs bien établis) n’ont pas intérêt à ce que la situation change. Quand aux « outsiders » (doctorants, chercheurs non titulaires dans les pays anglo-saxons), ils ont plutôt intérêt à jouer le jeu. Incontestablement, cela joue. Il existe probablement des dispositifs qui pourraient rendre le shadow publishing system plus fiable en faisant usage des possibilités offertes par les nouvelles technologies : notations en ligne, publication de review critique. On pourrait imaginer un système de réputation à la E-bay, où chaque utilisateur (les chercheurs) serait noté par ses pairs en fonction de ses contributions. Mais cela est subordonné à la mise en place d’incitations adéquates. En l’état actuel des choses, on est loin de tout ça et le système de publication traditionnel, en dépit de tous ses défauts, reste encore ce qu’il y a de mieux.  

Publicités

Poster un commentaire

Classé dans Non classé

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s