Le 17 mars 2020

Dans deux exemples très récents, des questions de méthodologie d’étude ont soulevé des polémiques face à des résultats qui dérangent :

Dans les deux cas, c’est la représentativité de l’échantillon qui est en cause et ceux qui contestent semblent avoir de bonnes raisons de le faire :

  • Le testing a été fait non pas auprès des canaux officiels de recrutement, mais en soumettant des candidatures spontanées à des services opérationnels ; de plus, le classement final des entreprises repose sur des écarts de quelques unités parmi l’envoi d’une quarantaine de paires de CV par entreprise. L’échantillon constitué n’est pas pertinent et les écarts dénoncés ne sont pas significatifs
  • L’enquête de Que Choisir repose sur un appel à contributions de clients de mutuelles. Quelques centaines d’entre eux (forcément les plus concernés et les plus agacés) ont répondu en signalant leur cas particulier. La base de données ainsi constituée présente une variance démente et une moyenne générale des augmentations tirée vers le haut par la sur-représentation des cas extrêmes.

Deux observations :

  • Avant de tirer des conclusions générales, interrogeons-nous toujours sur la représentativité des échantillons utilisés et sur les risques de biais résultant des modalités de collecte. C’est notre responsabilité de professionnels du marketing (en institut, comme en entreprise) d’exercer notre esprit critique et de mettre en garde nos clients et collègues
  • J’entends bien ceux qui disent « c’est pas grave, l’important est de faire parler de notre cause ». Je pense qu’ils se trompent lourdement : un tel manque de sérieux nuit à la démarche. Si on doit mener un combat d’arrière-garde – qui plus est de mauvaise foi – sur la méthode, on décrédibilise tout le discours.

Cela me rappelle une anecdote. Présentation houleuse de résultats de satisfaction dans un grand groupe international. Le directeur commercial s’exaspère de ma prudence face à des écarts de performance faibles entre ses différentes régions : « vous ne comprenez décidément rien, je m’en fous que vos écarts soient ou non significatifs. Je veux un classement pour distribuer des primes du premier au dernier ! ». Je lui propose de créer 3 groupes de niveaux et d’y répartir son réseau de façon à ce qu’il obtienne une hiérarchie juste (à tous les sens du mot). Le ton monte encore : « vous m’emmerdez ! Moi mon boulot c’est d’animer, pas de pondre des chiffres et j’ai déjà fait mon règlement de concours. J’ai besoin d’un classement du premier au dernier… ».

Il a fait son classement tout seul, a distribué ses primes, puis s’est fait allumer par un syndicaliste ayant des compétences statistiques (ça existe, méfiez-vous). Je n’ai pas été informé du détail, mais l’année suivante c’est à son successeur que j’ai présenté nos résultats.

En savoir plus et contacter la voix du client, éditeur de ce magazine