Google nous rend-il réellement plus stupides ? Cette étude - et bien d'autres - vient d'être remise en question.

Michele Tantussi / Getty Images

'Le Penseur' d'Auguste Rodin.



Une autre vague d'études psychologiques provocatrices et très médiatisées n'a pas réussi à se reproduire, portant des coups aux théories selon lesquelles la fiction rend les lecteurs empathiques, par exemple, ou qu'Internet nous rend plus stupides.

A une époque où les chercheurs en psychologie sont de plus en plus préoccupés par la rigueur de leur domaine, cinq laboratoires ont entrepris de répéter 21 études influentes. Les expériences dans seulement 13 de ces articles - ou 62% - ont résisté, selon un une analyse publié lundi.



Les huit articles qui ne se sont pas entièrement reproduits – sept dans la revue Science, un dans Nature – ont été cités des centaines de fois dans la littérature scientifique et beaucoup ont été largement couverts par les médias.



Ne pas reproduire n'est pas une preuve définitive qu'un résultat est faux, en particulier dans les cas où d'autres études soutiennent la même idée générale. Et certains scientifiques ont déclaré à BuzzFeed News qu'ils n'étaient pas d'accord avec la façon dont les réplications ont été effectuées.

Pourtant, les nouvelles découvertes font partie d'une tendance écrasante et troublante. La soi-disant crise de la reproductibilité a frappé la recherche dans de nombreux domaines de la science, de intelligence artificielle à cancer . La recherche en psychologie de mauvaise qualité a reçu le plus d'attention, avec un rapport de 2015 reproduisant seulement 36% des 97 études .

Il est logique que les scientifiques veuillent publier des données surprenantes ou contre-intuitives. Ce n'est pas une mauvaise chose en science, car c'est ainsi que la science brise les frontières, a déclaré Brian Nosek, psychologue à l'Université de Virginie et directeur exécutif du Center for Open Science, qui a dirigé le projet de réplication.



Mais trop peu de scientifiques, a-t-il dit, reconnaissent l'incertitude inhérente à leurs résultats éclatants. Ce n'est pas grave si certains d'entre eux s'avèrent faux, a-t-il déclaré.

En science, cependant, le jeu est contre l'humilité. Les scientifiques sont jugés sur la quantité de publications qu'ils publient, et la plupart des revues ne publient pas d'articles qui trouvent des résultats négatifs. Et les titres les plus prestigieux – y compris Science et Nature – sélectionnent les découvertes les plus nouvelles et les plus surprenantes qui se démarqueront des scientifiques de toutes les disciplines.

Si vous dites que quelque chose doit être surprenant et épater les gens, vous êtes presque par définition en train de dire : « Nous choisissons des choses qui sont plus éloignées de ce que nous pensons déjà être vrai et donc moins susceptibles d'être vraies », Sanjay Srivastava , un psychologue de l'Université de l'Oregon non impliqué dans le projet de réplication, a déclaré à BuzzFeed News. Ce n'est pas ainsi que se déroulent la plupart des travaux scientifiques quotidiens, incrémentiels et de qualité.

Eldar Shafir, psychologue à l

Voir cette vidéo sur YouTube



youtube.com

Eldar Shafir, psychologue à l'Université de Princeton, parle de vivre avec la pénurie.

La nouvelle analyse s'est concentrée sur les articles de psychologie publiés dans Nature et Science entre 2010 et 2015. De nombreux articles décrivaient les résultats de plusieurs expériences, mais en raison de contraintes budgétaires, Nosek et son équipe ont choisi de ne reproduire que la première expérience décrite dans chacune. En recrutant des participants via Amazon Mechanical Turk et les campus universitaires, les chercheurs ont mené les expériences sur des groupes environ cinq fois plus grands que la taille de l'échantillon d'origine.

Certains scientifiques dont les études ne se sont pas reproduites prennent les mauvaises nouvelles sans hésiter.

Par exemple, en 2012, Will Gervais a rapporté dans Science que les gens étaient moins susceptibles de croire en Dieu lorsqu'ils regardaient des images de la statue du Penseur par rapport à d'autres statues.

Notre étude avec le recul était carrément stupide, a déclaré Gervais, psychologue à l'Université du Kentucky.

Dans une étude de 2013, David Kidd et un collègue ont rapporté dans Science que les lecteurs étaient meilleurs à deviner les émotions des gens après avoir lu de la fiction par rapport à la non-fiction. Le New York Times a résumé le point à retenir comme suit : pour de meilleures compétences sociales, les scientifiques recommandent un petit Tchekhov.

L'une des expériences clés de cette étude n'a pas été reproduite dans le nouveau projet. Kidd, un boursier postdoctoral à la Harvard Graduate School of Education, a déclaré à BuzzFeed News que l'échec de la réplication lui avait beaucoup appris.

Ce n'est pas exact - ce n'est pas ainsi que fonctionnent les statistiques.

Il y a quelques années, j'aurais pensé que cette étude était à l'épreuve des balles parce que j'avais un petit échantillon, mais un effet significatif, a-t-il dit, se référant aux 86 personnes de l'expérience. Ce n'est pas exact - ce n'est pas ainsi que fonctionnent les statistiques.

Dans le même temps, Kidd a noté que l'une des autres expériences de l'article avait été reproduite par un autre groupe. D'autres scientifiques ont également déclaré qu'une seule expérience non répliquée n'inculquait pas nécessairement une théorie entière.

Une autre science papier , publié en 2012 et couvert par le New York Times et Ardoise , a cherché à expliquer un phénomène de pauvreté : comment la rareté, qu'elle soit d'argent ou de temps, modifie la façon dont les gens concentrent leur attention, ce qui peut à son tour conduire à des comportements comme emprunter trop d'argent.

Dans l'une des expériences, les participants pauvres ayant reçu un petit nombre de lettres lors d'un jeu électronique « La roue de la fortune » ont obtenu de moins bons résultats aux tests d'attention par la suite, par rapport aux participants riches qui ont reçu plus de lettres. Les auteurs de l'étude ont suggéré que l'esprit des joueurs pauvres était plus fatigué, une condition qui pourrait conduire à des décisions plus risquées et moins réfléchies. Mais cette découverte ne s'est pas répétée lorsque l'équipe du Center for Open Science l'a fait.

L'un des auteurs de l'étude, Anuj Shah de l'Université de Chicago, n'a pas non plus réussi à reproduire l'expérience Wheel of Fortune. Mais son laboratoire a pu confirmer les quatre autres expériences de l'article, qui n'ont pas été tentées par l'équipe de Nosek. Shah a déclaré qu'il était déçu que la première expérience ne se soit pas reproduite, mais c'est ainsi que la science avance.

Ses collaborateurs – les sociologues Sendhil Mullainathan de l'Université de Harvard et Eldar Shafir de l'Université de Princeton – ont écrit un livre en 2013,Rareté : Pourquoi avoir trop peu signifie tant ?qui était en partie basé sur la recherche. Mais le couple a déclaré à BuzzFeed News que l'expérience Wheel of Fortune n'était pas mentionnée dans le livre.

Sanctisjoyan / Getty Images

L'article le plus connu des chercheurs en réplication concernait peut-être la façon dont l'accès en ligne à l'information façonne l'esprit des gens. Le 2011 papier fait la une des journaux dans Interne du milieu des affaires (Google détruit nos souvenirs), le New York Times , Temps , Filaire , et le BBC , entre autres.

L'une de ses expériences a présenté aux sujets des questions difficiles, suivies de divers mots liés aux ordinateurs et aux moteurs de recherche, ainsi que des termes non informatiques, de différentes couleurs. Les participants ont été plus lents à identifier les couleurs des termes informatiques, car, selon les auteurs, ils étaient distraits par les mots eux-mêmes – peut-être parce qu'ils pensaient déjà à rechercher les questions en ligne. Il semble que lorsque nous sommes confrontés à une lacune dans nos connaissances, ont-ils écrit, nous sommes prêts à nous tourner vers l'ordinateur pour rectifier la situation.

Les scientifiques d'origine n'ont pas participé à la réplication car le Center for Open Science a eu du mal à les contacter : l'un d'eux est décédé et les deux autres ont quitté le monde universitaire. Ils incluent Betsy Sparrow, une ancienne psychologue de l'Université de Columbia, qui n'est pas d'accord avec les méthodes de réplication. Les termes liés à l'informatique auraient dû être mis à jour pour faire davantage référence aux smartphones, soutient-elle.

Pourtant, sur la base des autres expériences de l'article et d'autres études, elle croit en l'idée sous-jacente selon laquelle les gens ne se souviennent pas aussi bien des informations lorsqu'ils savent qu'ils peuvent les rechercher en ligne. Les gens pensent définitivement à Internet quand ils veulent savoir quelque chose, a déclaré Sparrow à BuzzFeed News.

Nosek, le chef du projet de réplication, a déclaré que les scientifiques étaient autrefois sur la défensive face à ses efforts. Mais maintenant, de plus en plus de revues et de chercheurs voient l'importance de rendre la recherche plus rigoureuse.

Depuis 2013, Nature a demandé aux scientifiques de remplir une liste de contrôle avec des informations sur les méthodes et les conclusions de leurs expériences. Les scientifiques de certains domaines, y compris les sciences du comportement, doivent également fournir certains détails expérimentaux qui sont publiés parallèlement aux études. (Les résultats de réplication du Center for Open Science sont publiés dans une revue Nature intitulée Nature Human Behavior.)

La science a publié des lignes directrices en 2015 pour la qualité et la transparence de la recherche, et exige des scientifiques qu'ils mettent à disposition toutes leurs données et matériaux. De plus, la revue dispose désormais d'un comité de relecteurs qui trouve des experts en statistiques pour évaluer les éléments statistiques des articles.

Au cours des quatre dernières années, 125 revues, principalement dans les sciences du comportement, ont adopté rapports enregistrés , dans lequel les revues approuvent les méthodes d'une étude avant que les résultats ne soient publiés. L'idée est de minimiser les chances de changer rétroactivement les méthodes pour que les données correspondent à une conclusion ordonnée. De même, plus de 20 000 études ont été préenregistrées sur le Centre pour la science ouverte site Internet .

Ce qui est positif dans le changement de culture au fil du temps, c'est que nous ne nous concentrons pas sur le scepticisme quant au processus - si nous devons reproduire ou non - mais plutôt sur les phénomènes que nous étudions, a déclaré Nosek. C'est là que les débats scientifiques sont riches et productifs.

CORRECTION

27 août 2018, à 16:48 PM

Le nom d'Eldar Shafir a été mal orthographié dans une version antérieure de ce message.