Qu'est-ce qu'une recherche reproductible ?
Le concept de reproductibilité est utilisé de manière différente dans la littérature, au cours du temps et selon les disciplines. Les auteurs s’accordent sur le fait que c’est donner la possibilité de reproduire une expérience et obtenir des résultats comparables, ou similaires, mais c’est dans le détail que les objectifs diffèrent.
L'approche récente de Di Cosmo (2020), distingue la reproductibilité de notions proches, souvent confondues comme la répétabilité et la réplicabilité.
La reproductibilité est la capacité, par une équipe différente, de reproduire une expérience, sans se fier au dispositif expérimental et aux codes logiciels développés par l’équipe d’origine.
La réplicabilité est la capacité, par une équipe différente, de reproduire une expérience en ré-utilisant le même dispositif expérimental décrit (y compris les codes logiciels).
La répétabilité est la capacité, par la même équipe, de reproduire une expérience, en ré-utilisant le même dispositif expérimental (y compris les codes logiciels).
Di Cosmo définit ainsi un gradient entre ces notions puisque les exigences ne sont pas les mêmes. La reproductibilité et la réplicabilité, demandent que les matériaux (méthodologie, données, codes...) soient mis à disposition et bien documentés, pour que l’expérience puisse être reproduite par d’autres, dans des conditions similaires ou modifiées. La répétabilité et la réplicabilité imposent quant à elles d’obtenir les mêmes résultats que ceux obtenus à l’origine. Dans la reproductibilité, ce qui importe c’est pouvoir reproduire une expérience dans des conditions similaires. Ceci pourra être fait avec d’autres données, ou avec des hypothèses sensiblement différentes. Le résultat sera de fait différent, mais comparable, cohérent (consistent en anglais) avec les résultats originaux.
En offrant notamment la possibilité de prolonger les travaux de recherche existants, la notion de reproductibilité est donc la plus exigeante des trois exposées par Di Cosmo.
En savoir plus
R Di Cosmo, M Gruenpeter, S Zacchiroli (2020) Referencing Source Code Artifacts: a Separate Concern in Software Citation, Computing in Science & Engineering, DOI: 10.1109/MCSE.2019.2963148