Les vérités gênantes des sondages que tout électeur devrait connaître

Jacques Demarthon / AFP / Getty Images

Tony Blair après sa victoire



En fait, les sondeurs britanniques n'avaient pas utilisé d'échantillons aléatoires depuis plus de deux décennies. (En partie, c'est parce que la RDD est plus difficile à réaliser dans un pays qui n'a pas de format standardisé pour les numéros de téléphone.) Et il s'avère que 2015 n'était pas la première fois que les sondeurs britanniques étaient sérieusement à côté de la cible : Tony Blair est arrivé au pouvoir, ils ont surestimé l'avance des travaillistes sur les conservateurs de plus de 6 points de pourcentage.

L'erreur absolue était la même, a déclaré à BuzzFeed News Patrick Sturgis du National Center for Research Methods de l'Université de Southampton, qui a dirigé l'autopsie jusqu'à l'échec de 2015. Mais parce que les sondeurs avaient appelé le gagnant correctement, l'erreur de 1997 n'a pas fait de grosses vagues.



(Après le vote sur le Brexit en juin dernier, les sondeurs britanniques ont à nouveau eu mauvaise réputation pour avoir suggéré que Remain l'emporterait de justesse. En réalité, cependant, la division du vote était dans la marge d'erreur d'échantillonnage, donc statistiquement, ils n'étaient pas trop loin désactivé.)



Compte tenu de l'expérience britannique, on pourrait penser que tout le monde choisirait les sondages RDD plutôt que les échantillons en ligne. Mais le coût des sondages téléphoniques reste un obstacle majeur. Et même si ce n'était pas un facteur, les sondeurs en ligne affirment que l'étalon-or traditionnel est lui-même gravement terni.

Les échantillons aléatoires d'aujourd'hui ne sont plus aussi aléatoires qu'ils l'étaient autrefois.

Même si les sondages téléphoniques commencent avec un ensemble aléatoire de numéros à composer, les faibles taux de réponse signifient que les échantillons avec lesquels les sondeurs se retrouvent peuvent ne pas être représentatifs – généralement, les électeurs plus jeunes et moins instruits sont minces sur le terrain.

Michael Ramlet, co-fondateur et PDG de Morning Consult, a déclaré à BuzzFeed News que l'idée qu'un sondeur travaille aujourd'hui avec un véritable échantillon aléatoire est essentiellement un mythe.



Pour corriger tout écart par rapport aux données démographiques connues, les sondeurs ont longtemps pondéré leurs résultats. Si un échantillon ne contient par exemple que la moitié des 18-25 ans qu'il devrait et deux fois plus de personnes de plus de 65 ans, les jeunes votants se verraient attribuer un poids de deux, et les plus âgés un poids de 0,5. Ainsi, chaque jeune déclarant avoir l'intention de voter pour Trump ou Clinton compterait deux fois, tandis que deux partisans plus âgés seraient nécessaires pour enregistrer une seule préférence pour chaque candidat.

Si les facteurs de pondération deviennent extrêmes, un petit nombre de réponses d'un groupe sous-représenté peut fausser le résultat global du sondage. Et comme les taux de réponse aux sondages téléphoniques ont diminué, les facteurs de pondération utilisés par les sondeurs ont augmenté.

Étant donné que les sondeurs en ligne choisissent leurs participants pour essayer de faire correspondre les données démographiques connues avant de commencer une enquête, ils utilisent principalement des facteurs de pondération post-enquête plus petits que les sondeurs téléphoniques. YouGov n'a généralement pas besoin d'appliquer des pondérations supérieures à 1,3 pour un échantillon national américain, a déclaré Rivers à BuzzFeed News.



Ainsi, d'une manière ou d'une autre, les sondeurs doivent tous faire des ajustements pour pallier la difficulté d'obtenir des échantillons représentatifs. Et lorsqu'ils essaient de déclencher des élections, ils doivent également déterminer quels répondants sont réellement susceptibles de voter — lesquels six sur dix les électeurs éligibles l'ont fait lors de l'élection présidentielle de 2012.

Il n'y a pas de méthode convenue pour identifier les électeurs probables, et lorsqu'elle est combinée avec des différences dans la manière dont les différents sondeurs appliquent des facteurs de pondération, la façon dont cela est fait peut faire une grande différence dans les résultats du sondage rapportés. Plus tôt cette semaine Le résultat a rapporté qu'il avait donné les mêmes données de sondage brutes à quatre sondeurs différents, obtenant un écart de résultats allant d'une avance de 4 points de pourcentage pour Clinton à une avance de 1 point pour Trump.

Andrew Burton / Getty Images

Les sondeurs disent qu'ils sont indépendants, mais parfois ils se regroupent.

La marge de manœuvre offerte par la pondération et la modélisation des électeurs probables peut également expliquer une autre conclusion inquiétante du sondage post-mortem des élections britanniques de 2015 : un phénomène appelé troupeau , dans laquelle les sondeurs semblaient converger sur la même réponse erronée.

Ce qui était surprenant, c'est qu'ils avaient tous tort de la même manière, a déclaré Sturgis.

Cela ne signifie pas que les sondeurs étaient de connivence, mais cela indique probablement qu'ils prenaient chacun des décisions concernant l'ajustement de l'échantillon, la pondération et la modélisation des votants potentiels en gardant un œil sur les résultats provenant d'autres entreprises — rejetant des choix qui auraient déplacé leur résultats loin de la foule.

Malgré la débâcle britannique de 2015, la plupart des experts en sondages américains consultés par BuzzFeed News s'attendent à un échec similaire pour l'élection présidentielle de 2016, étant donné qu'elle est soumise à des sondages plus intensifs utilisant une variété de méthodes différentes.

L'élection présidentielle est étudiée à mort, a déclaré Timothy Johnson, qui dirige le Survey Research Laboratory de l'Université de l'Illinois à Chicago. Je pense que les sondages font du très bon travail collectivement.

Jusqu'à présent, au moins, l'exactitude des sondages présidentiels a bien résisté.

Peter Aldhous pour BuzzFeed News / Via ncpp.org

L'erreur moyenne des candidats est la différence en points de pourcentage entre les estimations des sondages et le soutien réel pour chaque candidat à l'élection.

Mais d'ici le prochain cycle électoral, des pressions économiques et logistiques inexorables pourraient signifier que le paysage des sondages aux États-Unis ressemblera davantage à celui de la Grande-Bretagne, avec la prédominance des sondages en ligne opt-in. D'ici les élections de 2020, les sondages téléphoniques pourraient être une catégorie résiduelle, a déclaré Johnson.

Dans un monde imparfait, quelle méthode de sondage est la meilleure ?

Les comparaisons directes entre les sondages téléphoniques RDD et ceux effectués à l'aide d'échantillons en ligne opt-in ont jusqu'à présent produit des résultats mitigés. En 2011, des chercheurs dirigés par Jon Krosnick et David Yeager de l'Université de Stanford comparé les résultats pour les sondages téléphoniques en ligne et RDD exécutés entre 2004 et 2009, concluant que les sondages en ligne étaient moins précis.

Si les véritables enquêtes scientifiques finissent par s'arrêter parce qu'il n'y a plus de centres d'appels et que toute l'infrastructure passe à Internet, à ce stade, les enquêtes, en ce qui me concerne, mourront, a déclaré Krosnick à BuzzFeed News.

Mais sur la base d'études plus récentes, d'autres experts en sondages adoptent un point de vue moins apocalyptique. En 2014, les politologues Stephen Ansolabehere de l'Université Harvard et Brian Schaffner de l'Université du Massachusetts trouvé peu de différence dans les résultats obtenus par un sondage téléphonique RDD effectué par YouGov et un sondage en ligne, en utilisant un échantillon d'adhésion ajusté pour refléter la composition de la population au sens large.

Et en mai de cette année, le Pew Research Center comparé les performances de l'un de ses propres échantillons aléatoires avec neuf panels d'inscription en ligne distincts. En testant les échantillons dans une enquête en ligne, Pew a constaté une grande variation dans leurs performances, avec son propre échantillon aléatoire tombant au milieu du peloton. YouGov, qui a utilisé des ajustements et une pondération élaborés de l'échantillon, est sorti en tête .

Alors peut-être que les sondeurs en ligne ont raison, quand ils disent que leurs ajustements peuvent compenser le manque d'échantillonnage aléatoire.

Cela avance et pourrait bien y arriver, a déclaré à BuzzFeed News Charles Franklin, politologue et sondeur téléphonique traditionnel à l'Université Marquette de Milwaukee, dans le Wisconsin. Nous en saurons plus en novembre.

CORRECTION

26 septembre 2016 à 19:18

Plusieurs parties de cette histoire ont été modifiées pour refléter plus précisément les nuances de la méthodologie de sondage :

La sélection aléatoire de numéros de téléphone devrait rapprocher les sondeurs d'un échantillon représentatif de la population, mais cela ne garantit pas que tous ceux qui ont un téléphone ont une probabilité égale d'être échantillonnés.

Les sondages en ligne peuvent désormais être complétés à une fraction du coût des sondages téléphoniques RDD. Mais les sondages téléphoniques RDD prennent généralement des jours, et non des semaines, à remplir.

Un exemple de pondération des sondages téléphoniques effectués par Langer Research Associates pour ABC News a été supprimé car ces pondérations sont utilisées depuis plusieurs années.

La plupart des experts en sondage consultés par BuzzFeed News s'attendent à ce que les sondages de l'élection présidentielle de 2016 soient globalement assez précis.

Les échantillons de sondages téléphoniques avec de faibles taux de réponse peuvent ne pas être représentatifs. L'ampleur exacte de ce problème dans la pratique est un sujet de débat.


L'élection ne sera probablement pas gagnée par les partisans cachés de Trump

buzzfeed.com

Les partisans de Trump disent que les sondages sont faux et qu'il est en fait en train de gagner

buzzfeed.com