10 raisons pour lesquelles les études scientifiques peuvent être étonnamment inexactes

Notre société célèbre la science pour son exactitude et son objectivité, et le grand public considère généralement que les preuves publiées dans des revues scientifiques sont incontestablement vraies. Cependant, un certain nombre d'études alarmantes, axées en particulier sur la recherche en sciences de la vie, suggèrent que la publication scientifique pourrait ne pas être aussi fiable que nous le souhaiterions.

10De nombreuses études pré-cliniques ne peuvent pas être reproduites

Il y a actuellement beaucoup de recherche sur les mécanismes du cancer. Malheureusement, il s'est avéré difficile de traduire ces recherches en objectifs thérapeutiques, le taux d'échec des essais cliniques en oncologie étant supérieur à celui de la plupart des autres domaines. Et il semble que nombre de ces échecs peuvent être imputés à des problèmes liés à la recherche préclinique sur laquelle ils étaient basés.

Une revue a révélé que seuls 6 des 53 articles de référence sur le cancer préclinique pouvaient être reproduits. De nombreuses études qui ne pouvaient pas être reproduites n'utilisaient pas de tests à l'aveugle, ce qui voulait dire que les testeurs savaient s'ils avaient affaire au groupe de contrôle ou au groupe expérimental, ce qui pourrait éventuellement biaiser les enquêteurs. Il a été constaté que d’autres études n’avaient présenté que les résultats qui étayaient leur hypothèse, même si elles ne représentaient pas l’ensemble des données. Étonnamment, aucune règle spécifique ne l’empêche et les articles sont régulièrement acceptés pour publication sans présenter l’ensemble complet des données obtenues.

Une autre étude a porté sur 67 études, principalement dans le domaine de l'oncologie, et a révélé que moins de 25% des données publiées pouvaient être reproduites en laboratoire sans incohérences majeures. Il s’agit maintenant d’un problème si courant que les sociétés de capital-risque appliquent apparemment une règle tacite selon laquelle environ 50% des études universitaires seront impossibles à reproduire dans leurs laboratoires industriels.

9Les résultats négatifs ne sont souvent pas publiés

Un résultat négatif se produit lorsque les chercheurs émettent l'hypothèse que quelque chose va se passer, mais constatent ensuite qu'ils ne peuvent pas obtenir ce résultat. Une étude a examiné plus de 4 600 articles dans toutes les disciplines entre 1990 et 2007, révélant que la publication de résultats positifs avait augmenté de 22% au cours de cette période. En 2007, 85,9% des articles avaient fait état de résultats positifs. Ceci est corroboré par des études montrant que l'utilisation de phrases négatives telles que «pas de différences significatives» a chuté, tandis que les résultats significatifs sont beaucoup plus susceptibles d'être entièrement rapportés. S'ils sont publiés, les résultats négatifs n'apparaîtront probablement que dans des revues à faible impact.

Ce biais de publication crée en réalité pas mal de problèmes. Pour commencer, les scientifiques sont souvent incapables de voir si une étude a déjà été réalisée, ce qui signifie une répétition inutile. Cela peut également affecter les résultats des études de méta-analyse, qui comparent toute la littérature sur un problème particulier. Le biais de publication entraîne également une énorme pression pour obtenir des résultats positifs, ce qui peut conduire à des conclusions exagérées, à une inconduite de la recherche ou à une réduction des risques pris par les chercheurs. Après tout, si votre future carrière est principalement basée sur la possibilité d’obtenir des résultats positifs à la publication, cela aura certainement un impact sur la façon dont vous concevez votre recherche et interprétez vos résultats.

8Peer Review ne réussit souvent pas à détecter les erreurs majeures

Passer le processus d’évaluation par les pairs est actuellement la norme de référence pour les travaux de recherche. Cependant, lorsque des chercheurs ont délibérément donné des articles biomédicaux contenant des erreurs à des pairs examinateurs d'un important éditeur universitaire, ils ont constaté que ceux-ci n'avaient relevé en moyenne que 2,58 erreurs sur neuf. Encore plus inquiétant, s’entraîner pour améliorer leurs performances n’a apporté qu’une différence mineure. En fait, un quart des 607 réviseurs testés ont détecté en moyenne une erreur ou moins. (En toute justice, certains relecteurs ont en fait rejeté le document sans terminer son relecture, ce qui signifie qu'ils auraient peut-être trouvé plus d'erreurs s'ils avaient continué jusqu'à la fin.)

Les examinateurs étaient particulièrement mal à détecter les erreurs liées à «l'analyse des données et les incohérences dans la communication des résultats». Cela peut être lié à la mauvaise compréhension des statistiques par les biologistes. La zone la moins touchée par la formation était «de replacer l’étude dans son contexte, à la fois en termes de littérature préexistante et en termes d’implications des résultats pour la politique ou la pratique». Cela a du sens, car maîtriser la littérature sur un sujet particulier prend beaucoup de temps à réaliser.

D'autres études ont abouti à des conclusions similaires. L'un d'eux a présenté à 221 réviseurs un article publié précédemment qui avait été modifié pour inclure huit erreurs. En moyenne, les relecteurs n'ont détecté que deux des nouvelles erreurs. Un autre a découvert que les examinateurs n'avaient pas détecté au moins 60% des erreurs majeures dans un article sur la migraine (bien que la plupart des examinateurs n'aient toujours pas recommandé d'accepter l'étude pour publication). Pris dans leur ensemble, ces documents suggèrent que le processus d'examen par les pairs en sciences biomédicales pourrait encore être amélioré.

Les critiques de 7Peer se détériorent avec le temps

En 2009, une étude de 14 ans a mis en évidence d'autres problèmes liés au processus d'examen par les pairs. L'étude, qui a permis aux rédacteurs de revues d'évaluer la qualité de chaque revue reçue, a suggéré que le rendement des pairs examinateurs diminuait en moyenne d'environ 0,8% par an. Ces résultats sont corroborés par un article de 2007 dans PLOS Médecine, qui ont conclu qu'aucun type de formation ou d'expérience n'était un indicateur significatif de la qualité des examinateurs, mais que les scientifiques plus jeunes fournissaient généralement des évaluations de qualité supérieure. Une enquête de 1998 a également révélé que les scientifiques plus jeunes obtenaient de meilleurs résultats en tant qu'évaluateurs pairs, tandis que ceux des conseils de rédaction obtenaient de moins bons résultats.

Les raisons de cette tendance ne sont pas claires, bien que les suggestions incluent le déclin cognitif, la prise en charge d’intérêts opposés ou l’augmentation des attentes en matière de révision rendant la tâche plus difficile au fil du temps. Il existe également des preuves que les examinateurs plus âgés sont plus susceptibles de prendre des décisions prématurément, de ne pas se conformer aux exigences relatives à la structuration d'un examen et peuvent avoir une base de connaissances réduite à mesure que leur formation devient obsolète. Ceci est inquiétant, car un âge plus avancé s'accompagne souvent d'une autorité accrue.

6Les articles les plus rejetés sont finalement publiés ailleurs

À la suite du processus d’évaluation par les pairs, les revues rejetteront un article ou l’accepteront pour publication. Mais qu'advient-il de ces papiers rejetés? Une étude a suivi des articles rejetés par Médecine du travail et de l'environnement, constatant que 54% d’entre eux ont été publiés ailleurs. Fait intéressant, plus de la moitié ont été publiés par un groupe de sept autres revues majeures du même domaine.

Une étude similaire a révélé que 69% des articles rejetés par une revue de médecine générale étaient ensuite publiés ailleurs dans un délai de 552 jours, alors qu'une autre étude a révélé qu'au moins la moitié des études avaient été refusées par Recherche cardiovasculaire finalement fini dans un autre journal. Une quatrième étude a montré que 56% des papiers rejetés par le Journal américain de neuroradiologie finalement trouvé une autre maison.

Avant de paniquer, cela pourrait simplement signifier que les articles rejetés sont améliorés avant d’être envoyés à d’autres revues. En outre, tous les articles ne sont pas rejetés pour une méthodologie médiocre. Il est souvent difficile d'accéder aux revues populaires en raison de contraintes d'espace, alors que de nombreux articles sont rejetés simplement parce que le sujet peut ne pas convenir à la revue en question. (Le Recherche cardiovasculaire L’étude a tenu compte de cette dernière possibilité et a permis de constater que la plupart des articles publiés ultérieurement dans une autre publication n’ont pas été rejetés en raison d’un sujet inadéquat.)

Comme le montrent des études, les revues les plus prestigieuses font l’objet d’un examen beaucoup plus minutieux. En fait, les revues bien connues ont tendance à retirer plus d'articles que leurs homologues moins prestigieuses, tout simplement parce qu'elles sont beaucoup plus surveillées après leur publication. Le problème est donc qu’un papier défectueux peut être envoyé dans différentes revues jusqu’à ce que l’on accepte de le publier, ce qui lui permet d’être enregistré dans les archives scientifiques. Par conséquent, ces études suggèrent une différence entre la qualité des articles publiés dans diverses revues scientifiques.

Pratiques de la 5Suspect

La pression constante exercée sur les scientifiques pour qu'ils publient des résultats positifs donne à penser que la falsification et d'autres pratiques suspectes sont courantes. Une méta-analyse de 18 enquêtes a montré que 1,97% des scientifiques ont admis avoir falsifié leur propre travail, 33% ont admis d'autres pratiques suspectes, 14,1% ont déclaré connaître des collègues qui ont falsifié leur travail et 72% ont déclaré connaître d'autres pratiques suspectes. . Les vrais chiffres peuvent être encore plus élevés - des sondages auprès de chercheurs et de chercheurs stagiaires ont révélé que des pourcentages plus élevés seraient disposés à prendre part à de telles pratiques, même s'ils ne l'avouaient pas déjà.

Parmi les pratiques discutables notées, on peut citer «la perte de points de données basés sur un instinct», «le fait de ne pas publier de données qui contredisent une recherche antérieure» et «la modification de la conception, de la méthodologie ou des résultats d’une étude en réponse aux pressions d’un financement source ". Ces actions peuvent être très difficiles à prouver, et il sera probablement impossible de les empêcher complètement sans s'éloigner d'un système obsédé par la publication de résultats positifs.

4Scientists ne partagent pas assez d'informations

Au cours de la formation, on enseigne aux scientifiques que les expériences doivent être rédigées de manière à pouvoir être complètement recréées à partir des informations fournies. Cependant, une étude de 2013 sur le partage des ressources dans la recherche biomédicale a révélé que 54% des ressources de recherche (telles que le type d'anticorps ou d'organismes utilisés dans les expériences) n'étaient pas décrites de manière suffisamment détaillée pour pouvoir être identifiées. Une autre étude de recherche utilisant des animaux a révélé que seulement 59% des articles incluaient le nombre et la nature des animaux utilisés. Sans ces informations, il est très difficile de reproduire les expériences avec précision et donc de vérifier les résultats. Cela crée également un obstacle à la détection des problèmes méthodologiques avec une ressource spécifique.

Il y a eu quelques tentatives pour résoudre le problème, y compris les directives ARRIVE, qui visent à maximiser la notification des modèles animaux. Le Neuroscience Information Framework a également créé des registres d’anticorps, tandis que le prestigieux journal La nature a appelé à une augmentation des rapports sur les ressources.

Cependant, les auteurs de l'étude de 2013 ont noté que seuls cinq des 83 revues biomédicales avaient des rapports rigoureux. Une enquête inquiétante sur la recherche biomédicale ajoute à cette évidence, montrant que la volonté de partager toutes les ressources avec d'autres chercheurs a chuté de 20% entre 2008 et 2012. Certains des chercheurs interrogés ont déclaré qu'ils seraient heureux de partager des données à la demande personnelle mais qu'ils étaient moins satisfaits. mettre les données dans une base de données en ligne.

Papiers 3Hoax

En 1994, le physicien Alan Sokal soumit un article à la revue d'études culturelles Texte social qu'il a délibérément jeté avec des «absurdités» non corroborées tout en veillant simultanément à «flatter les idées préconçues des rédacteurs en chef». Entre autres choses, le papier de Sokal reliait la théorie des champs quantiques à la psychanalyse et affirmait que la gravité quantique avait de graves implications politiques.Sokal voulait prouver que la théorie postmoderne avait été séparée de la réalité: «l'incompréhensibilité devient une vertu; allusions, métaphores et jeux de mots se substituent à l'évidence et à la logique. Mon article est pour le moins un exemple extrêmement modeste de ce genre bien établi. ”

Alors que Sokal se consacrait carrément aux études culturelles, des canulars ont également été écrits en informatique. En 2014, 120 publications étonnantes ont été retirées de publications appartenant à Springer et à l'Institut des ingénieurs électriciens et électroniciens après la découverte qu'il s'agissait de charabia généré par ordinateur. Les documents ont été élaborés à l'aide d'un logiciel appelé SCIgen, développé à l'origine au MIT en 2005 dans le but de prouver que les conférences n'étaient pas correctement vérifiées.

SCIgen combine des chaînes de mots aléatoires pour créer des canulars, dont celui qui promet de «concentrer nos efforts sur le fait de prouver que les feuilles de calcul peuvent être rendues basées sur la connaissance, empathiques et compactes». Le programme s'est apparemment avéré plus populaire que prévu les documents retirés ont tous été soumis avec succès à des conférences chinoises et publiés par la suite. Springer a indiqué qu'ils procédaient à une évaluation par les pairs avant la publication, ce qui rendait encore plus étrange la publication de 16 faux documents.

Un autre papier de canular, créé par John Bohannon et prétendant examiner les propriétés anticancéreuses d'un type de lichen, a été accepté par 157 journaux (98 l'ont rejeté). Ceci en dépit du fait que "tout critique ayant des connaissances supérieures à la chimie au secondaire et la capacité de comprendre un diagramme de données de base aurait dû détecter immédiatement les lacunes du document." Bohannon a voulu souligner le fait que de nombreuses revues en libre accès se concentrent gagner trop d’argent grâce aux frais de publication des auteurs, même au prix de publications de recherche inexactes.

2Psychologie comme exemple des problèmes

La psychologie est gravement affectée par bon nombre des problèmes figurant sur cette liste. Des recherches ont montré qu'environ 97% des études publiées étaient positives et que le problème persistait depuis au moins 1959. En outre, un sondage a révélé que plus de 50% des psychologues avaient déclaré attendre des résultats positifs avant de décider de publier. Plus de 40% ont admis n'avoir signalé que des études ayant abouti à un résultat positif. Il a été suggéré que cela est dû au fait que les revues de psychologie ont tendance à rechercher de nouveaux résultats par rapport à des résultats rigoureux. Quelle qu'en soit la raison, la psychologie a été placée à côté de la psychiatrie et de l'économie comme les branches de la science les plus susceptibles de souffrir de biais de publication.

Un autre problème tient au fait que les études de psychologie sont rarement reproduites: dans la mesure où de nombreuses revues ne publient pas de réplications directes, les chercheurs ne sont guère incités à faire un effort. Psychfiledrawer, qui publie les tentatives de réplication, est une solution possible. Toutefois, le fait de soumettre des contributions présente peu d'avantages professionnels et certains chercheurs ont été rebutés par le risque de critiques émanant de collègues.

Plus positivement, il y a eu une poussée récente en faveur de la réplication d'études et une étude prometteuse qui a révélé que 10 des 13 études qu'elle tentait de répliquer produisaient les mêmes résultats. Bien que cela ne résolve pas le manque de résultats négatifs publiés, ni les problèmes couramment mentionnés avec l'analyse statistique, c'est un pas dans la bonne direction.

1Les études effectuées sur des souris ne peuvent souvent pas être extrapolées à l'homme

De nombreuses études en sciences biomédicales sont effectuées sur des modèles animaux, en particulier des souris. En effet, les souris présentent de nombreuses similitudes avec les humains, y compris des voies biochimiques similaires. Environ 99% des gènes humains ont un homologue de souris (gène avec un ancêtre commun).

Cependant, alors que les recherches sur les souris ont abouti à des succès notables, il a été difficile de les transmettre à l'homme dans des domaines tels que le cancer, les maladies neurologiques et les maladies inflammatoires. Des recherches récentes suggèrent que, malgré les similitudes génétiques susmentionnées, les séquences de gènes qui codent pour des protéines régulatrices spécifiques sont très différentes entre les humains et les souris.

Les différences sont particulièrement importantes dans le système nerveux, où le développement du cerveau présente de nombreuses différences. Le néocortex de souris, fortement lié à la perception, est beaucoup moins développé que son équivalent humain. De plus, les symptômes des maladies neurologiques ont souvent une composante cognitive et les différences cognitives entre les souris et les humains sont manifestement considérables.

Alors, la prochaine fois que vous verrez une avancée médicale étonnante annoncée aux nouvelles, assurez-vous de vérifier si la recherche a été faite sur des souris ou des humains.