Mon blog sondages
Publié également dans blogs.mediapart.fr/michel-lejeune
Articles en accès public (cliquez sur "Voir l'article")
19 décembre 2021
Il faut raison garder face aux fluctuations d’intentions de vote des candidats
Résumé On a fait grand cas récemment de l’augmentation de la cote dans les sondages de Valérie Pécresse, comme cela avait été fait début octobre pour celle d’Éric Zemmour. La raison voudrait qu’on ne se précipite pas sur le premier écart substantiel venu en se perdant en conjectures. Mais ce vœu est difficilement compatible avec les attentes médiatiques et la propulsion excessive de sondages.
On a fait grand cas récemment de l’augmentation de la cote de Valérie Pécresse, suite à sa nomination comme candidate LR aux élections présidentielles, comme cela avait été fait début octobre pour celle d’Éric Zemmour, alors qu’Alexandre Dézé et moi-même avions appelé à la retenue (Libération du 8 octobre). V. Pécresse a obtenu chronologiquement en intentions de vote 14% selon HARRIS (sondage du 3 au 6 décembre), 17% selon IFOP (du 4, après 18h, au 6), 20% selon ELABE (du 6 au 7). Y avait-il vraiment matière à effervescence médiatique sur ces chiffres ? En répondant à cette question particulière j’indique une marche à suivre générale.
Face à un écart observé entre deux sondages, le statisticien détermine s’il peut être purement fortuit, c’est-à-dire compatible avec les fluctuations aléatoires d’un échantillon à l’autre en raison des hasards de la sélection des personnes interrogées, ou s’il est « significatif » d’une différence réelle. On s’est surtout interrogé sur le passage de V. Pécresse de 14% à 20% de HARRIS à ELABE, une différence largement significative qui, en toute vraisemblance, pouvait être due au fait que les deux premiers jours du sondage HARRIS, sans doute les plus abondants en retours de questionnaires, se situaient avant la consécration de V. Pécresse actée le 4 décembre à 18h. Il faut donc être d’abord bien attentif aux périodes exactes de déroulement du sondage lorsqu’un événement déterminant se produit. Un calcul montre que la différence de 3 points entre le sondage d’ELABE et celui de l’IFOP, juste postérieur à l’élection, n’est pas significative. C’est rédhibitoire, il n’y avait aucune raison de s’emballer. En revanche, le sondage publié par IPSOS le lendemain de celui d’ELABE, à 16% soit 4 points de moins, montre une différence tout juste significative. Une règle s’applique aussi pour la différence entre deux candidats dans une enquête. Ainsi pour le deuxième tour, l’écart 52-48 en faveur de V. Pécresse face à Emmanuel Macron donné par ELABE et qui a créé un choc est résolument non significatif et ne méritait aucun commentaire au-delà d’une incertitude sur le leadership. Pour l’effectif concerné de 755 répondants il aurait au moins fallu un écart de 7 points.
Cependant, un écart déclaré significatif par la règle de décision théorique peut malgré tout être non significatif du fait de l’existence de biais. Concrètement, pour la comparaison de deux sondages, il faut prendre en compte les divergences de pratiques des sondeurs susceptibles de générer des écarts additionnels. Ceux-ci sont toujours difficiles à quantifier, mais l’expérience aidant, on peut se faire une idée grossière de leurs ampleurs potentielles. Dans le cas qui nous préoccupe on peut affirmer sans crainte que la différence de 4 points entre IPSOS et ELABE n’est pas significative sachant qu’elle l’était à peine du point de vue théorique. Bref, pour les trois résultats postérieurs à l’élection il y avait peu de choses à dire, sauf attendre de voir la suite.
Parmi les pratiques les plus susceptibles de faire une différence dans les estimations, il y a le fait que les résultats sont redressés sur des critères qui varient selon les sondeurs, ce qui peut entrainer de fortes disparités. Ainsi ELABE effectue actuellement ses redressements sur le premier et le deuxième tour des présidentielles 2017 quand IPSOS utilise le premier tour 2017 avec en plus les européennes 2019 ce qui s’est avéré être un mauvais choix, générateur de biais et même de fluctuations plus importants. Ensuite, autre différence notable, certains calculent les intentions de vote sur l’ensemble des répondants qui se prononcent, c’est le cas de l’IFOP et d’HARRIS, alors que d’autres en sélectionnent une partie seulement en fonction d’un indice sensé refléter la certitude ou non d’aller voter. ELABE se cantonne aux répondants ayant donné les notes de 8 à 10 sur une échelle de probabilité d’aller voter, soit 82% des répondants, alors qu’IPSOS n’en sélectionne que 50%, sans préciser son critère qui équivaut à peu près à la note 10 seule. On imagine que cela peut conduire aussi à des décalages d’estimations.
Mais ce n’est pas tout, on ne peut écarter la présence ici ou là de modifications manuelles après redressement lorsque l’on diverge substantiellement des autres sondeurs. Cette pratique est admise à demi-mot par la Commission des Sondages en réponse à une demande des sondeurs. Il peut aussi être tentant de réaliser un coup médiatique sachant que rien ne pourra objectivement venir contester la plausibilité de tel ou tel résultat à bonne distance du scrutin dans un contexte de production très opaque et peu contrôlée. En fait ces manipulations deviennent évidentes par une invraisemblable concordance des sondages à l’approche du verdict des élections. Pour les dernières élections régionales tous les sondages effectués en juin par les différentes sociétés ont donné exactement le même (très mauvais) résultat pour la région AURA comme pour HdF (3 sondages chacune) et de faibles différences de 2 points au plus pour PACA comme pour IdF (4 sondages chacune). Dans mon livre sur les sondages j’ai montré que pour le premier tour des présidentielles 2017 la probabilité d’obtenir la proximité observée des scores selon tous les candidats était de l’ordre d’une chance sur 30.000.Il y a toujours eu cette volonté collective de convergence quitte à se tromper ensemble comme aux régionales plutôt que courir le risque de se distinguer à tort.
Pour conclure, disons que la raison voudrait qu’on ne se précipite pas sur le premier écart substantiel venu en se perdant en conjectures mais que l’on s’impose la discipline de tester d’abord s’il est significatif et, le cas échéant, de laisser le temps révéler s’il se confirme ou non. Ainsi pour E. Zemmour, le fait est que sa cote est repartie à la baisse assez rapidement et pour V. Pécresse un saut à 20% n’a pas été franchement confirmé car les quatre sondages suivants ont donné 17%, 19%, 17% et 17%. Mais ce vœu est difficilement compatible avec les attentes médiatiques et la propulsion excessive de sondages.
10 janvier 2022
Le rôle de la commission des sondages : en réaction à un article du Télégramme
Résumé Le Télégramme vient de publier un article qui restitue des interviews auprès de la Commission des Sondages. Il répartit « ce qu'il faut savoir » sur les contrôles effectués en cinq points : la méthode, les sondages retoqués, les hypothèses de second tour, les échantillons, l'abstention. Je livre une vision critique qui écarte l’argument de qualité que tirent les sondeurs de ce contrôle.
Le Télégramme de Brest a publié le 3 janvier un article dont je viens de prendre connaissance, intitulé « Cinq choses à savoir sur la commission des sondages ».
Le sujet est important car dans leur rhétorique les sondeurs avancent les contrôles de la Commission en témoignage de la qualité de leur production. Cela me donne l’occasion de préciser de mon côté ce qu’il faut savoir. En préambule je veux dire qu’il n’y a pas lieu d’accabler la Commission qui fait comme elle peut, n’étant pas adaptée à la situation et n’ayant pas les moyens nécessaires à un contrôle sérieux. Je ne vais pas aborder ces points que je développe dans mon ouvrage récent sur les sondages (pages 152 à 157) et vais me contenter de commenter chacun des 5 points de l’article qui résulte d’interviews de responsables de la Commission. Je mettrai en italiques ce qui en provient.
Point 1. La méthode
C’est évidemment le point le plus important.
Dans un délai de 24 heures, elle contrôle que l’échantillon « est représentatif du corps électoral » et que la formulation des questions n’est pas biaisée.
Déjà on peut imaginer qu’en si peu de temps – dû à la pression des sondeurs qui souhaitent publier au plus vite - les contrôles sont assez formels, sachant que la commission ne dispose que de deux experts statisticiens « indépendants » et externes pour mener ce travail.
Pour la représentativité c’est immédiat, puisque cela se rapporte à l’usage de la ‘méthode des quotas’. Cependant c'est un qualificatif dont j’ai pu montrer l’usage flou et très restrictif, succinctement dans :
et en profondeur dans mon ouvrage (cf. pages 33 à 36).
Pour ce qui concerne la formulation des questions, c’est certainement bien accompli quoique cela puisse prendre du temps pour des enquêtes souvent volumineuses.
Une autre vérification s’avère plus complexe : celle du redressement...Nous regardons si ces redressements sont cohérents et, surtout, nous exigeons que la méthode de redressement soit toujours la même dans les sondages successifs.
J’ignore ce qui est signifié par la cohérence des redressements. Ce que je sais c’est que les redressements sont utilisés de façon abusive, hasardeuse avec des effets à contresens. Voir mon article du Monde cité plus haut et :
ou plus en détail le chapitre 6 de mon livre consacré aux redressements. En fait les experts ne peuvent qu’acter les choix courants de redressement effectués par tous les sondeurs, d’autant plus que la Commission se fixe comme règle de veiller « à ne jamais substituer son appréciation à celle de l’auteur du sondage », formule reprise en préambule de ses rapports pour 2015-2016 et pour 2017 – voir son site. Il faut savoir que la plupart des commissaires (7 sur 9) sont des juristes dont le jugement repose pour l’essentiel sur le respect de la loi et des règles complémentaires qui ont été édictées.
Le contrôle, comme il est dit, concerne « surtout » le fait que le sondeur conserve toujours les mêmes critères de redressement au cours d’une campagne. C’est une règle claire et simple qu’a dû imposer la Commission car, par le passé, les sondeurs jouaient sur différentes variantes de redressement pour garder une liberté de choix subjective, une attitude peu conforme à une approche scientifique. En réalité la Commission permet des écarts à la règle dans la mesure où cela peut être « justifié ». On peut compter sur l’habileté des sondeurs et la bienveillance de la Commission pour profiter de cette tolérance.
En fait un contrôle sérieux devrait comprendre la possibilité de refaire les redressements pour vérifier leur conformité à ce qui est publié. Cela serait tout à fait faisable car l’un des deux experts dispose de cette capacité. Il ne serait pas utile de faire ce contrôle systématiquement, son existence potentielle suffirait à décourager les corrections manuelles non déclarées. Mais le lobby des sondeurs est formellement opposé à ce type de vérification. Tout contrôle relève d’une suspicion par nature et devrait être accepté par un prestataire. Il est clair que les résultats publiés ne sont pas nécessairement ceux des redressements. Cela apparait parfois à demi-mot dans les déclarations mêmes des sondeurs et est évident en raison de l’invraisemblable proximité de leurs résultats notamment à l’approche du verdict des élections. En règle générale, sauf coup médiatique ou autre, les sondeurs s'arrangent pour rester groupés (voir mon article sur aoc.media cité plus haut et pages 133 à 135 de mon livre).
Point 2. Les sondages sont retoqués
Ils sont très peu nombreux. En fait c’est exceptionnel. Lors de la campagne pour les élections présidentielles 2017 aucune « mise au point » n’a été effectuée. Mais il semble que cela soit en train de changer.
Si un expert décèle un problème dans une enquête d’opinion, un collège constitué « de magistrats, de professionnels de l’université et de spécialistes de la statistique va se réunir pour débattre du problème soulevé ».
Bien évidemment le communiqué paraîtra après, voire bien après la publication du sondage. On constate que les réserves émises n’ont aucune incidence notable sur la crédibilité du sondage.
Point 3. Les hypothèses du second tour
La Commission est « réservée » sur les sondages qui testent des hypothèses de second tour, alors que les résultats du premier ne sont pas acquis.
La commission aurait souhaité qu’on ne teste pas d’hypothèses sur le second tour tant que les candidats du premier tour ne sont pas figés. Elle doit se contenter d’une réserve. Force est de constater actuellement que les analyses de second tour diverses et variées vont bon train. Bien des observateurs s’en sont émus. La déclaration du secrétaire général de la Commission au Télégramme surprend : ...nous nous trouvons dans une phase encore très ouverte de la campagne électorale...Le jeu n’est pas suffisamment fermé pour que nous-mêmes, de notre propre chef, nous obligions les instituts à davantage fermer l’offre. Personnellement j’y vois une autre manifestation de l’impuissance de la Commission à faire respecter ses règles face à un puissant lobby et une bienveillance de sa part tant soit peu contrainte. Ceci est à rapprocher de la déclaration de faible impact du président de la Commission au point 2 à propos du retoquage : ce sont des instituts professionnels qui normalement savent élaborer un échantillon.
Point 4. Les échantillons
Il est dit qu’on écarte a priori un biais d’intérêt pour la politique de la part des personnes interrogées. Cela va contre l’intuition du fait même que les panélistes choisissent eux-mêmes les sondages auxquels ils veulent répondre. Une personne qui a peu d’intérêt pour les affaires politiques a assurément une probabilité plus faible de répondre à des questions qu’il ne se pose pas, surtout dans des questionnaires passablement éprouvants. Par ailleurs certains gestionnaires déclarent béatement qu’ils tiennent compte des centres d’intérêts des panélistes pour l’envoi des questionnaires. Sur le plan factuel j’ai dans mon livre (pages 131-132) une mise en évidence du biais sur la base des résultats des dernières élections municipales. Je crois que la plupart des observateurs avertis partagent ce point de vue.
Point 5. L’abstention
On trouve ici une recommandation du secrétaire général de la commission qui se rapporte à l’idée répandue par les sondeurs selon laquelle la forte abstention a été la cause des mauvaises estimations aux régionales. Hélas c’est une contre-vérité improvisée par les sondeurs et sans fondement. J’y ai fait une allusion dans mon introduction à l’article de aoc.media et ai depuis rédigé un texte spécifique à ce propos. Il sera posté ou publié de préférence, je l’espère, car cet argument a la vie dure et reste d’actualité.
Historiquement le lobby des sondeurs s’est dès le départ, lors du projet de la loi de 1977, opposé avec force au principe même de contrôle. Les rapports de la Commission mentionnent à plusieurs reprises les oppositions qu’elle a rencontrées à chaque étape de renforcement du contrôle et des concessions ou renoncements qu’elle a dû faire. La loi révisée de 2016, portée avec ténacité par les sénateurs Sueur et Portelli, a institutionnalisé une grande avancée sans laquelle on aurait très peu de moyens de juger de la qualité des sondages, à savoir l’obligation de rendre publiques des notices sur le site de la Commission. Mais il reste du chemin à faire ne serait-ce que pour exiger une conformité réelle à l’esprit de la loi actuelle. Une prochaine étape sera la publication des données brutes (avant redressement). Je vois au moins deux sociétés de sondages favorables à une transparence constructive, donc certains espoirs sont permis.
17 janvier 2022
Ah ! l’abstention dans les sondages électoraux
Résumé Dans son édition du samedi 15 – dimanche 16 janvier 2022, Le Figaro relayait la parole des communicants des instituts de sondage en ce qui concerne les difficultés d’appréhender l’abstention ce qui, pensent-ils, rejaillirait sur la qualité de leurs estimations. Or, le lien entre l'abstention estimée et a qualité des intentions de vote n'est pas établi.
Dans son édition du samedi 15-dimanche 16 janvier 2022, Le Figaro relayait la parole des habituels communicants des instituts de sondage en ce qui concerne les difficultés d’appréhender l’abstention ce qui, pensent-ils, rejaillirait sur la qualité de leurs estimations.
Or dans leurs sondages d’intentions de vote, ils n’estiment pas l’abstention. Comme il est dit dans l’article, ils introduisent dans le questionnaire une échelle de « probabilité » d’aller voter de 0 à 10 sur laquelle le répondant doit se positionner. Ensuite ils doivent décider du seuil à partir duquel ils considèrent que commence l’abstention. Outre qu’il est arbitraire, ce choix se limite à trois ou quatre possibilités. On retrouve dans toutes les enquêtes d’une campagne grosso modo les mêmes pourcentages pour chaque seuil : disons pour fixer les idées, dans une campagne présidentielle, en gros 45% pour les réponses de 0 à 9, autour de 30% de 0 à 8, autour de 20% de 0 à 7. Une telle approche ne saurait fournir des estimations précises ce que la plupart se gardent bien de faire.
Vouloir estimer l’abstention sur les panels utilisés actuellement (avec inscription spontanée comme panéliste puis libre choix de répondre ou non à un questionnaire proposé) est mission impossible du fait que les répondants aux questionnaires d'intentions de vote ne sont pas représentatifs de l’électorat dans son ensemble, ayant un intérêt plus prononcé pour la politique et donc une propension plus élevée à aller voter.
En fait les propositions suggérées par les interviewés de l’article sont des approches qualitatives périphériques qui tentent de contourner le problème d’une approche directe. Chacun y va de sa méthode. Brice Teinturier (IPSOS) : « A l’échelle classique de l’intérêt pour la campagne, on a ajouté celle sur le côté engageant de l’élection présidentielle et sur le rapport au vote ». Jean-Daniel Lévy (HARRIS INTERACTIVE) qui a déjà une estimation pour avril prochain : « On a essayé de regarder si les jeunes et les catégories populaires, plus abstentionnistes, sont aussi intéressés par la politique que les autres ». Quant à Frédéric Dabi (IFOP), il déclare : « On pose par exemple un indicateur chiffré d’abstention de 1 à 10, et on essaye de travailler sur de gros échantillons pour décrypter dans le détail ce phénomène » ce qui réhabilite l’usage de l’échelle.
La question se pose de savoir comment réintégrer ces éléments de réponse périphériques sinon en se forgeant une idée propre de leur influence sur l’abstention pour déboucher sur une évaluation « d’expert » exogène, ce qui devrait être clairement dit car relevant d’un ressenti subjectif.
Mais alors où voit-on intervenir concrètement une donnée d’abstention dans la détermination même des intentions de vote ? Simplement par le fait de sélectionner (« filtrer » dans le jargon) uniquement les individus dont la réponse dépasse un certain seuil sur l’échelle des probabilités d’aller voter, et rien d’autre. Donc on est ramené à la case départ : le choix est limité à trois ou quatre possibilités qui s’imposent. A moins, ce qui n’est pas à exclure, que les intentions de vote brutes du sondage soient corrigées manuellement en fonction des analyses des experts. C’est clairement ce que sous-entendent les idées sur la recherche de solutions émises par les communicants sondeurs.
En réalité chaque sondeur a ses propres habitudes et pratique le filtrage sur un seuil constant de l’échelle. Par exemple IPSOS filtre sur la note 10, OPINIONWAY, BVA et probablement ODOXA filtrent sur les notes 9 et 10, ELABE sur les notes 8 à 10, HARRIS INTERACTIVE et IFOP (tiens, tiens) ne filtrent pas. Néanmoins en comparant les prévisions des sondages en dernière semaine des campagnes on n’a jamais pu trancher sur la supériorité d’un choix de filtrage particulier. De plus les variations d’une hypothèse à l’autre ne sont pas fortes. Ces observations sont essentielles car elles réduisent à néant l’idée d’une incidence du niveau d’abstention sur la qualité des estimations d’intentions de vote. Ce qui n’est pas à confondre, comme on le fait souvent, avec l’influence de l’abstention différentielle au scrutin sur les scores des candidats.
On peut s’étonner de cette obsession de vouloir estimer l’abstention à plusieurs mois de l’échéance électorale alors que l’on nous rebat les oreilles du cliché de la photo au temps t. C’est en fait la débâcle des dernières élections régionales qui a laissé des traces, malheureusement en débouchant sur une fausse piste : l’abstention estimée n’a pas grand-chose à voir avec le dérapage des intentions de vote. Les causes se trouvent dans la qualité du sondage et des redressements qui s’ensuivent. Mais c’est une autre affaire...
10 avr. 2022
Que tirer, avant scrutin, des derniers sondages pour le premier tour 2022 ?
Résumé : Ce texte vise à tirer tous les enseignements utiles des derniers sondages avant le scrutin du premier tour de 2022. Peut-on anticiper des sur- ou sous-estimations de certains candidats? Peut-on avoir une estimation fiable de l'abstention? Quel est l'effet des redressements?
L’exercice consiste à voir les enseignements que l’on pouvait retirer à la veille du scrutin sur la base des sondages effectués en dernière semaine.
Tout d’abord on constate l’habituelle convergence des différents instituts lorsque l’on approche du verdict. Si l’on met de côté le sondage Harris sur lequel j’ai des doutes en raison de sa mauvaise « reconstitution » du vote 2017 et Elabe qui aime être en dehors des clous - ici en donnant Le Pen à 25% -, globalement, Mélenchon fluctue entre 16,5 et 17,5 ; Macron entre 26 et 26,5 ; Pécresse entre 8 et 9 ; Le Pen entre 22 et 24 et Zemmour entre 8,5 et 9. De si faibles amplitudes ne peuvent être compatibles avec des sondages indépendants et reflètent des rapprochements vers la moyenne. Cela n’entraîne pas que la moyenne soit une bonne estimation comme on le croit souvent car il existe des biais de même nature pour les échantillons auto-recrutés des access panels.
Ensuite l’estimation de la participation se fait au doigt mouillé car on ne peut espérer faire une estimation sur la base d’échantillons ayant un biais d’intérêt pour la politique. En question directe autour de 95% disent vouloir aller voter. L’usage de l’échelle de 0 à 10 pour la déclaration de participation est arbitraire et inopérant. L’intuition se portera sans doute sur une participation plus faible qu’en 2017 ne serait-ce qu’en raison du pessimisme ambiant relayé dans les médias qu’ils ont amplifié avec des micro-trottoirs bien orientés. Une bonne surprise n’est donc pas à écarter.
Concernant les scores des candidats on peut regarder déjà quels sont les effets des redressements sur la base des reconstitutions opérées par les enquêtés dans leurs déclarations de vote au premier tour 2017 – la variable utilisée par tous, quelquefois avec une autre élection - ainsi que de la matrice de répartition des votants pour chaque candidat en 2012 sur les candidats 2017. On ne dispose pas de ces éléments pour tous les sondages, loin s’en faut, mais on trouve suffisamment de régularités dans les chiffres disponibles pour tirer des conclusions. On constate qu’en moyenne Mélenchon gagne 2,5 points par le jeu des redressements, Macron perd 1,8 points, Pécresse gagne 3 points, Jadot perd 0,7 points et les autres perdent ou gagnent moins de 0,5 point. Par exemple Pécresse gagne substantiellement du fait que 80% de ceux qui déclarent vouloir voter pour elle ont voté pour Fillon en 2017. Or Fillon, qui a laissé peu de trace et a été perdant, est fortement sous-estimé dans la reconstitution 2017, impliquant un coefficient rectificatif de 1,33 qui va peser sur la plupart des votants Pécresse. Le vote Mélenchon de 2017 est également assez déficitaire ce qui explique que son vote 2022 est notablement réhaussé. Voilà les artefacts découlant des redressements.
Mais cela ne permet pas de conclure pour autant que tel ou tel candidat est sur- ou sous-estimé dans son intention de vote. En effet tout dépend du biais de départ sur les estimations brutes avant redressement. On a peu de données de la part des sondeurs sur ces biais de leurs panels et il n’est pas sûr que ceux-ci soient identiques d’une élection à l’autre. Personnellement j’ai pu voir que les panels surestiment légèrement le vote Le Pen et donc je pourrais pronostiquer que son score sera proche de la réalité. Mais ce n’est pas tout, il faut aussi prendre en compte les rectificatifs manuels apportés encore après les redressements. Donc prudence, attendons les résultats. Quoique, je serais tenté d’avancer à mes risques et périls que le score de Pécresse sera plus faible que ce que nous ont dit dernièrement les sondages et celui de Mélenchon peut-être un peu plus faible. Bref, on verra ce soir.
Notons que les évolutions dans le temps méritent considération. En effet autant les niveaux sont sujets à caution en raison des biais autant les variations ont un sens du fait que les biais restent identiques. Ainsi il est sans doute vrai que les scores de Macron et de Le Pen se sont effectivement rapprochés vers la fin, que les scores de Pécresse, Zemmour, Jadot se sont effondrés peu à peu.