Est-il « rentable » de discuter des thèses scientifiques controversées ?

Non, si l’on en croit cet article de l’économiste Arthur Diamond dans l’American Journal of Economics and Sociology (très bonne revue au passage) (via Overcoming Bias) dont voici le résumé :

« Polywater, one of the most famous mistaken scientific research programs of the past half-century, is used as a case study to examine whether polywater researchers later experienced lower citation counts, or less favorable job mobility. The primary result is that simply writing on polywater, either pro or con, has a negative impact on future citations, in comparison with those who never wrote on polywater. The lifetime value of the lost citations is roughly in the range of $13,000 to $19,000. However writing on polywater did not affect the probability of a scientist leaving university employment« .

Le résultat est plutôt logique a priori : si vous participez à un débat scientifique portant sur une thèse controversée, que vous publiez beaucoup sur la question et que vous contestez cette thèse, s’il s’avère que cette thèse est réfutée et enterrée, vos publications ne seront plus par la suite souvent citées. Comme le fait remarquer Robin Hanson  sur Overcoming Bias, il y a là une incitation perverse : ignorer toutes les thèses un tant soit peu iconoclastes et ne se focaliser que sur les débats mainstream. Il me semble qu’il s’agit d’un aspect du problème de la mesure quantitative de la recherche qui devrait être pris en compte, notamment à l’heure où en France on commence à se lancer dans la bibliométrie. En effet, depuis l’année dernière, pour être considéré comme « chercheur publiant », en économie (par exemple) il faut avoir au moins deux publications dans des revues classées en rang A ou B par l’AERES sur les 4 dernières années. La tâche est objectivement loin d’être insurmontable. Mais de plus en plus, il se murmure qu’un nouveau critère va prochainement faire son apparition : le nombre de citations des travaux publiés. A priori, il s’agit d’un critère qui parait raisonnable : après tout, si un chercheur publie, c’est pour être lu et surtout pour que ses travaux soient discutés et qu’ils servent à faire avancer le débat scientifique. Mais on voit rapidement les effets pervers d’un tel critère.

D’abord, un article peut être cité pour de « très mauvaises » raisons, par exemple parce qu’il comprend une erreur méthodologique dans le traitement des données (il y a un cas célèbre en économie sur lequel je ne parviens plus à mettre la main). L’article est alors cité, pas parce qu’il est de qualité, mais parce qu’il est exemplaire au niveau de ses erreurs. Ensuite, il y a le « problème » du point focal. Un article qui commence à être cité « par hasard » dans quelques autres travaux portant sur un problème particulier, peut rapidement se retrouver cité (sans forcément être lu), par un effet cumulatif, dans tous les travaux portant sur cette question. A l’inverse, un article qui eu la malchance de passer un peu inaperçue à sa sortie engendrera un nombre cumulé de citations forcément moindre, indépendamment de sa qualité intrinsèque. On peut voir ça comme une forme dégénérée de cascade informationnelle. Enfin, il y a le problème que soulève l’article de Diamond. Avec un tel critère, vous n’avez pas intérêt à discuter de travaux controversés. Or, les avancées scientifiques majeures proviennent souvent de travaux qui, initialement, laissent « sceptique » (c’est un euphémisme). Autrement dit, le critère des citations favorisent les discussions intra-paradigmes au détriment des discussions inter-paradigmes. Pas une bonne chose quand on considère que la science progresse par le pluralisme des perspectives

Publicités

5 Commentaires

Classé dans Trouvé ailleurs

5 réponses à “Est-il « rentable » de discuter des thèses scientifiques controversées ?

  1. elvin

    Conclusion de tout ça : ces jugements de fait (publié – non publié, cité – non cité) en disent long sur le milieu des économistes professionnels, mais à peu près rien sur les papiers eux-mêmes.
    Plus précisément, l’idée « un article est bon parce qu’il est publié dans une revue prestigieuse et qu’il est souvent cité » n’est jamais qu’une variante « collectivisée » de l’argument d’autorité (http://fr.wikipedia.org/wiki/Argument_d%27autorit%C3%A9)
    Impossible de se dispenser de se faire son opinion soi-même en lisant les textes. Et pourtant il faut trier puisqu’on ne peut pas tout lire…

  2. henriparisien

    Il y a quelques similitudes entre le travail d’un chercheur et celui d’un capitaliste.

    Tout les deux ont un capital, financier dans un cas, de notoriété dans l’autre, qu’il s’agit de faire grossir en intervenant dans leur domaine (recherche, économie) en gérant deux paramètres risque et rentabilité.

    Du coté capitaliste, il y a deux approches opposées : gestionnaire de fond qui va privilégier la minimisation du risque, et le capital risque qui va tenter de privilégié le rendement. Suivant les époques une approche est bien meilleure que l’autre. Mais les époques changent, et dans la mesure où les deux espèces de capitalistes sont présentes tout va pour le mieux.

    En matière de recherche, l’une des conditions pour faire « survivre » les deux espèces, c’est d’avoir une pluralité des méthodes d’évaluation et d’attribution des crédits. Cette pluralité est assurée au niveau mondial. Si on veut avoir la même chose au niveau national, il me semble indispensable qu’il y ait des centres de décisions autonomes et pluriels.

    C’était – si j’ai bien compris – l’un des buts de la loi sur l’autonomie des universités.

  3. elvin

    @henriparisien:
    Bien vu !
    Pour filer l’analogie avec les entreprises : il est assez naturel que ceux qui ont le monopole du pouvoir d’évaluer s’opposent par tous les moyens à l’entrée d’évaluateurs concurrents, mais ça n’est pas une raison pour leur céder.

  4. elvin

    « Tous les monopoles sont détestables, mais le pire de tous, c’est le monopole de l’enseignement » (Frédéric Bastiat)

  5. Intéressant ! Même si l’histoire des sciences est riche d’exemples où la réfutation d’une théorie a coïncidé avec la formulation d’une explication alternative meilleure, qui a apporté gloire, richesse et belles pépettes au chercheur courageux ! Je pense par exemple à Ernst Mayr qui a formulé sa théorie de la spéciation allopatrique pour s’opposer à la macroévolution par mutations systémiques de Richard Goldschmidt…

    Pour en revenir aux conclusions du billet, on peut certes regretter que le fonctionnement formel de la communauté des chercheurs et ses modes de communication n’encouragent pas au débat et à l’engagement sur des sujets controversés mais a contrario, c’est un beau plaidoyer pour les blogs de chercheurs ! En effet, le blog étant ignoré superbement par les métriques et les gardiens de la science institutionnelle, cela en fait de superbes espaces pour ces discussion qui n’apportent rien en terme de capital scientifique (voire en retirent) mais ont une valeur épistémique ou cognitive évidente !!

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s