Préambule

Ce livre, rédigé dans le cadre d’un booksprint (cf. « Annexes »), s’adresse à tout acteur de la recherche scientifique qui :

• se pose des questions sur la recherche reproductible ou
• souhaite améliorer ses pratiques.

L’objectif de cet ouvrage est de donner les outils pour comprendre les enjeux de la recherche reproductible. Celle-ci vise à donner l’opportunité à tout chercheur de vérifier ou d’obtenir de nouveau les résultats d’un autre chercheur, que ce soit pour établir des comparaisons ou pour s’en inspirer. Notons que cet autre chercheur peut être l’auteur des travaux lui-même : ce qui était clair à un moment donné ne l’est plus quelques semaines plus tard. Notre ambition est d’apporter des solutions avec un niveau de technicité varié, permettant à chacun d’améliorer sa pratique dans son domaine et selon ses moyens.

Le livre se structure en trois grandes parties :

• la première partie traite de la notion même de recherche reproductible selon différentes perspectives. Il s’agit de prendre pour point de départ des expériences « traumatiques » engendrées par des pratiques plus ou moins (moins en fait) propices à une recherche reproductible.
• la deuxième partie explicite les causes et les origines des différents problèmes auxquels chaque chercheur, quel que soit son degré d’expertise dans son domaine, peut être confronté un jour ou l’autre.
• la troisième partie présente enfin une sélection de solutions offertes par la recherche reproductible pour résoudre ou prévenir ces problèmes à l’échelle de chacun.

Table des matières

Préambule

I. Chroniques de la non reproductibilité

1 État des lieux

1.1 La crise de la reproductibilité de la science

1.2 Pourquoi la question de la reproductibilité est-elle devenue centrale dans les débats actuels ?

1.3 Définition(s) de “recherche reproductible” ?

1.4 Où l’on parle de recherche reproductible de manière pragmatique

1.5 Échantillon choisi parmi les multiples causes d’une recherche non reproductible

1.6 Non, la recherche reproductible n’est pas un sujet réservé aux marathoniens de la ligne de commande

1.7 La minute théologie négative : ce que vous ne trouverez pas dans cet ouvrage

2 Retours d’expériences

2.1 Charles P., doctorant en sociologie

2.2 Jeanne A., jeune méthodologiste en biostatistique

2.3 Cindy D., stagiaire de Master en physique des matériaux

2.4 Long N., enseignant-chercheur en biologie

2.5 Mohammed B., ingénieur d’étude en calcul scientifique

2.6 Christina Z., directrice de recherche

3 Symptômes d’une recherche non reproductible

3.1 J’ai perdu mes données ou mon code de programmation !

3.2 Mes résultats ont changé !

3.3 Mon code ne marche plus !

3.4 Mon nouveau doctorant n’observe pas les mêmes effets que son prédécesseur !

3.5 Mais fallait-il vraiment écrire toute cette tartine ?

II Sources de non reproductibilité

4 Acquisition de l’information

4.1 Absence de standardisation de la collecte des informations

4.2 Modification des données après une première collecte

4.3 Une collecte d’informations non répétable ou non reproductible

4.4 Collecte des données à plusieurs

4.5 Collecte des données de la littérature

4.6 Que faire ?

5 Gestion des données

5.1 Intégrité et curation des données

5.2 Traçabilité de la source des données

5.3 Indexation des données

5.4 Codages et unités.

5.5 Obsolescence des données

5.6 Que faire ?

6 Programmation et calcul

6.1 Le code n’est pas disponible

6.2 Comment lance-t-on ce code? (“Allô Houston?”)

6.3 Comment fonctionne ce code? Lost in translation

6.4 Quelle version du code ?

6.5 L’environnement de calcul ou le paradigme des poupées russes diaboliques

6.6 Le chaos numérique

6.7 Que faire ?

7 Communication des résultats

7.1 Une mauvaise sélection des résultats

7.2 Transformation des résultats

7.3 Présentation des résultats

7.4 Que faire ?

III Solutions de la recherche reproductible

8 Le temps des changements ?

8.1 Quand mettre en œuvre les bonnes pratiques ?

8.2 Concrètement, que changer et comment s’y prendre ?

9 Documenter ses pratiques

9.1 Rédiger un protocole de collecte des informations

9.2 Partager le protocole de collecte des données

9.3 Tenir un cahier de laboratoire

9.4 Collecter les données de façon répétable ET reproductible

9.5 Pour en savoir plus

10 Formater et structurer l’information

10.1 Comment structurer mes informations ?

10.2 Quel format choisir pour enregistrer et stocker des informations ?

10.3 La présentation des résultats numériques

10.4 Pour en savoir plus

11 Partager ses données, codes et résultats

11.1 Compendium de recherche

11.2 Modalités de partage

11.3 Pour en savoir plus

12 Versionner, versionner, versionner

12.1 Versionnage par nommage de fichiers

12.2 Outils de versionnage différentiel

12.3 Pour en savoir plus

13 Apprendre à programmer

13.1 Limiter le recours aux interfaces graphiques

13.2 De l’intérêt de la programmation

13.3 Le choix des armes

13.4 Pour en savoir plus

14 Rendre son code compréhensible

14.1 Nommer ses variables et ses fonctions de manière informative

14.2 Etre explicite

14.3 Commenter son code

14.4 Documenter son code

14.5 Utiliser des documents computationnels (notebooks)

14.6 Restructurer et automatiser l’exécution du code avec un workflow

14.7 Pour en savoir plus

15 Exactitude des codes

15.1 Programmation en binôme

15.2 Tester votre code

15.3 Intégration continue

15.4 Pour en savoir plus

16 Environnement logiciel

16.1 Identifier les dépendances : dessine-moi une dépendance

16.2 Préserver le désordre (aka “Preserve the mess”)

16.3 Les systèmes de gestion de paquets

16.4 Pour en savoir plus

17 Sortez couverts !

17.1 Licence

17.2 Confidentialité et protection des données, respect de la vie privée

17.3 Pour en savoir plus

Bibliographie

IV Annexes

Annexes

18.1 Modalités de conception de l’ouvrage

18.2 Objectif

18.3 Que peut apporter un book sprint à des chercheurs.euses ?

Portraits

Auteurs

Facilitatrice

Coordinatrice du projet

Contributeurs de la 1re édition

Contribuer

Remerciements

L’ouvrage est accessible librement via HAL et également sous GitHub.