D’habitude, on discute avec nos invité·es des résultats de recherche en psychologie. Aujourd’hui, on va évoquer une thématique un peu différente: on va se demander comment les scientifiques s’y prennent pour obtenir ces résultats, et quels problèmes iels rencontrent sur leur chemin. En particulier, on va parler de ce qu’il se passe quand le processus scientifique ne fonctionne pas comme prévu, et amène à quelque chose qu’on appelle souvent la crise de la réplication. Pour ce faire, nous avons invité Amélie Bret, Maîtresse de conférence à l’Université de Nantes.
Son travail porte entre autres sur la métascience. La métascience, c’est la réflexion sur, et l’investigation des pratiques scientifiques, la “science des sciences”, si l’on veut. Amélie utilise les modèles et connaissances de la psychologie sociale pour investiguer l’évolution de la science. Elle fait également partie du projet “Slowpen Science”, qui s’engage pour la mise en oeuvre de nouvelles pratiques scientifiques de façon bienveillante. Car, oui, le monde de la science est parfois vu comme une jungle où seul·es celleux qui parviennent à publier leurs travaux dans des revues plus ou moins prestigieuses, survivent, laissant les moins performants sur le côté.
Si vous souhaitez aller plus loin, et que vous cherchez des outils d’apprentissage ou d’enseignement, vous pouvez consulter le site FORRT qui fournit, entre autres, un glossaire des termes souvent utilisés dans le contexte des sciences ouvertes.
Lexique:
La crise de la réplication fait référence à un phénomène qui touche actuellement plusieurs branches de la science (psychologie, biologie, sciences économiques et encore bien d’autres) : il s’agit du constat que des résultats scientifiques publiés dans le passé ne peuvent pas être reproduits, pour des raisons très diverses. Il existe plusieurs synonymes pour la crise de la réplication comme révolution de la transparence ou crise de confiance
Hypothèses confirmatrices : des hypothèses scientifiques qu’on souhaite tester de façon très concrète, par exemple : “la couleur noire est perçue comme plus foncée que la couleur jaune”. Les chercheurs·ses s’attendent à une différence, et spécifiquement, une différence qui va dans un sens spécifique. Une hypothèse confirmatoire doit être basée sur les résultats scientifiques antérieurs et/ou une réflexion théorique détaillée et documentée.
Hypothèses exploratoires : des hypothèses scientifiques qui peuvent mener à différents résultats, par exemple : “Est-ce que la couleur mauve est perçue comme plus ou moins foncée que la couleur bleue ?”. Dans ce cas, les scientifiques n’ont pas d’attente spécifique concernant la couleur perçue comme plus foncée, iels veulent justement établir s’il y a une différence de façon générale. Ce type d’hypothèse est souvent posé dans le contexte d’un nouveau champ de recherche, et sert à établir les premières données par rapport à une thématique de recherche, qui seront par la suite investiguées (et idéalement répliquées) avec des hypothèses confirmatrices.
HARKing: Hypothesizing After the Results are Known, établir une hypothèse après que les résultats sont connus. Il s’agit de “vendre” un travail de recherche comme confirmatoire alors qu’il s’agissait en fait d’un travail exploratoire. Ceci semble anodin, mais en réalité, une recherche confirmatoire est basée sur un travail intensif de lecture de littérature déjà existant. Les chercheurs·ses testent d’abord leurs hypothèses en discutant les résultats et théories existant.es: pour l’hypothèse, le noir est perçu comme plus foncé que le jaune, on va citer les caractéristiques physiques des couleurs, les résultats des recherches en psychophysique sur la perception de la luminosité, etc. Pour la question de recherche, est-ce que la couleur mauve est perçue comme plus ou moins foncée que la couleur bleue? On voit directement que ces mêmes résultats antérieurs ne vont pas donner une prédiction claire. Si les résultats de cette deuxième expérience montrent que le bleu est perçu comme plus foncé que le mauve, ceci ne se base que sur une source d’information, notre expérience, et non sur des résultats scientifiques déjà existants (et répliqués)
P-hacking: analyser et réanalyser les données expérimentales jusqu’à ce que l’on trouve des résultats souhaités. Ceci mène souvent à la perception que “les statistiques mentent”, or, il s’agit d’une utilisation des statistiques pour montrer ce que l’on souhaite voir. Ce n’est pas la faute des statistiques, mais plutôt de leurs utilisateurs·rices. Cependant, la raison qui explique ceci n’est pas forcément la mauvaise intention des chercheurs·ses, mais un manque d’éducation en statistique et méthode.
Open Science: toutes les pratiques qui servent à améliorer la qualité de la science. Le terme “sciences ouvertes” réfère principalement à l’accès ouvert aux données de recherches (anonymisées), aux articles scientifiques, aux protocoles expérimentaux, etc. afin que d’autres puissent retracer les expériences et études. Ceci a de très bons effets indirects : les fautes involontaires peuvent également être détectées, et les données ou le matériel expérimental peuvent être réutilisés pour d’autres études. Cependant, le terme “sciences ouvertes” se réfère aussi à d’autres pratiques, moins visibles, par exemple : la justification du nombre de participant·es (important pour effectuer des tests statistiques suffisamment puissants), la déclaration des conflits d’intérêts et encore bien d’autres.
Center for Open Science: une organisation qui travaille pour l’utilisation des pratiques de sciences ouvertes, notamment en fournissant une plateforme, l’open science framework (OSF) qui permet le partage des données, des méthodes, etc. Si c’était une des premières plateformes utilisées en psychologie, ce n’est pas la seule, et il y a des plateformes dédiées à d’autres disciplines ou des fins plus spécifiques qui ont existé depuis longtemps (Biorxiv et Arxiv pour le partage de manuscrits, Zenodo pour le partage des données, GitHub pour le partage des programmes expérimentaux…)
Top facteur: une métrique qui permet d’évaluer la qualité d’un journal scientifique, basé sur son engagement pour la transparence et la qualité des recherches qu’il publie. Cette métrique peut être utilisée à la place d’autres indicateurs comme l’“impact factor”, un nombre qui indique combien de fois des articles d’un certain journal sont cités dans d’autres travaux scientifiques, sans aucune indication de la qualité scientifique ni de la raison pour laquelle les travaux sont cités (la raison pourrait être, pour donner un exemple extrême, que d’autres scientifiques citent un article uniquement comme mauvaise application d’une méthode scientifique).
Données ouvertes: Données de recherches partagées après anonymisation (si nécessaire). Ceci est fait dans un but de transparence et réutilisation des données de recherche par d’autres chercheurs·ses ou personnes intéressées.
Slowpen science: les pratiques de sciences ouvertes demandent un nouveau savoir et souvent, au moins au début, plus de temps. Ceci est un important défi dans le monde de la recherche, où obtenir de nouvelles publications est généralement considéré comme la mesure principale de la productivité. Le mouvement Slowpen science essaie de créer un espace qui permet aux chercheurs·ses de se libérer de cette contrainte au bénéfice d’une science de meilleure qualité.