Replication games : tester la reproductibilité d'études scientifiques

L'Institute for replication (I4R) organise plusieurs Replication games chaque année autour de la planète. Il se charge de trouver les articles à reproduire, en suivant des critères définis à l’avance, puis distribue le travail de reproduction parmi des volontaires qui se retrouvent pour une journée de travail lors des différents Replication games. Les résultats des réplications sont ensuite inclus dans des articles de méta-réplication qui regroupent des dizaines de réplications. Par exemple, l’I4R a mis en place un partenariat avec la revue Nature Human Behavior pour reproduire le plus possible d’articles publiés dans cette revue. Un article contenant toutes les réplications qu'il a été possible de mener sera ensuite soumis à la revue.

Une nouveauté lors des Replication games de Grenoble

Lors des Replication games grenoblois, l’I4R a inclus pour la première fois des articles expérimentaux parmi ceux à reproduire. L’idée était de profiter de la présence d’environ 130 expérimentalistes participant à l’ASFEE 2024 pour reproduire des articles incluant des expériences en ligne, parus lors des cinq dernières années dans les cinq plus importantes revues en économie.

Reproduire un article expérimental n’est pas banal : une expérience en économie consiste souvent en une série de jeux, enchères, marchés mis en place par l’expérimentateur, et où les décisions des participants ont des conséquences monétaires. Il faut donc un budget pour payer les sujets, du temps pour développer les logiciels et mettre en place les expérimentations. 

Pour les Replication games grenoblois, il a été décidé de concentrer le travail de la journée sur la reproductibilité technique des articles (est-ce que toutes les données sont présentes ? Le code d’analyse tourne jusqu’au bout ? Les résultats des statistiques et des tests sont vérifiables et vérifiés ?) et sur la possibilité de reproduire l’expérience dans des courts délais. Six groupes de trois à quatre chercheurs, ont chacun travaillé sur un article. En fin de journée, chaque groupe a pu mener à bien la reproduction technique, en notant et corrigeant quelques problèmes mineurs, et le travail préparatoire pour réaliser les expériences de reproduction.

Après les Replication games, chacun des six groupes a travaillé de son côté pour avancer dans la préparation des expériences à mener. Deux groupes sont déjà prêts à lancer les expériences, en ayant peaufiné le protocole, traduit les instructions si nécessaire, mis en place le logiciel, et calculé l’échantillon nécessaire pour avoir une puissance statistique satisfaisante. Après l'aval d’un comité éthique, chaque groupe pourra mener les expériences, financées par l’I4R.

Les résultats des six exercices de réplication seront publiés dans des articles de méta-réplication en cours d’écriture par les membres de l’I4R. Chaque contributeur à une réplication sera co-auteur de l'article qui en présentera les résultats.