Sondages et Etude

Depuis quelques jours, c’est haro sur les sondeurs. Même Plantu s’y met à la une du Monde. Avec un regard professionnel, ne devrait-on pas plutôt conclure que le résultat était « too close to call » ?

Pour le vote populaire au niveau national, les sondages ont annoncé le bon résultat : Clinton a gagné avec une avance faible. Tout au plus peut-on reprocher aux sondages de ne pas avoir anticipé une marge très faible (0,1 % des voix selon les résultats disponibles). Notons que les sondages ont indiqué une tendance nette à la réduction de l’écart aux cours des toutes dernières semaines. Les observateurs attentifs savent que la tendance est essentielle avant un vote (cf le résultat de Le Pen face à Jospin un certain 21 avril). Idée à garder en tête cette semaine avant le 1er tour de la primaire de la droite et du centre…

En revanche, l’échec est patent concernant les sondages dans les swing states (en Floride par exemple). Les résultats annoncés étaient serrés, mais le plus souvent au-delà de la marge d’erreur. Or c’est le résultat Etat par Etat qui donne, à travers le système des Grands Electeurs, le gagnant. Cet échec met en cause les techniques utilisées et les moyens mis en œuvre. L’analyse viendra dans les prochaines semaines.

Il est peut-être à ce stade plus intéressant de s’interroger sur les prévisions proposées par plusieurs organismes de recherche qui, en combinant les sondages et de très nombreuses données macro-économiques, donnaient Clinton gagnante avec une probabilité de 70 à 80 %. Les modèles mathématiques sous-jacents analysent des « Big Data » concernant l’environnement des élections passées pour les projeter sur la prochaine. La limite de ce genre d’exercice est connue : les modèles appréhendent très mal les ruptures et sont incapables de détecter les « black swans » (voir le livre de Nassim Nicholas Taleb). Or le « phénomène Trump », ne serait-ce que parce qu’il a déjoué tous les pronostics lors des primaires républicaines, est manifestement disruptif et de ce fait très difficile à traduire en équations…

Pour moi, la leçon principale à retenir concerne l’interprétation des résultats d’une « évaluation » (sondage ou prévision) au regard de l’enjeu et des décisions qui en découlent.

En marketing, les décisions à prendre n’impliquent pas une précision très forte : si les niveaux de satisfaction sont respectivement de 49 et 51% dans les segments A et B, on conclura qu’il n’y a pas de différence. Simplement parce que cette différence n’est pas exploitable et n’a donc pas d’intérêt.

Pour les commentateurs politiques, les études sont un carburant qui vient, entre autres inputs, contribuer à construire une analyse personnelle : ceux qui voulaient la victoire de Clinton se sont contentés d’une probabilité de 70 à 80%. Simplement parce qu’elle était convergente avec leurs perceptions. Et parce qu’il n’y avait aucune décision à prendre, aucun risque associé (sauf celui de faire une erreur…mais la même que tous leurs confrères).

En fait tout dépend donc du risque qu’on accepte ou non de prendre en fonction du résultat annoncé. Je ne sais pas ce que vous en pensez, mais moi personnellement je ne monte pas dans un avion qui a 70 à 80% de chances d’arriver à destination. Simplement parce que je ne prends pas le risque de 20 à 30% de probabilité de crash…

Alors, les sondages et les Big Data se sont-ils Trumpés ? Si on les prend pour ce qu’ils sont – des outils d’aide à la décision – non : ils ont donné des indications qui auraient dû inciter des observateurs avertis à une conclusion prudente : too close too call !

 

alain.sabathier@lavoixduclient.fr

En savoir plus et contacter la voix du client, éditeur de ce magazine