Le Polimètre : les biais d'un sondage

Publié le par Olivier Bouba-Olga

Via Versac et Débat 2007, je découvre le Polimètre. Ce sondage, qui doit permettre à chacun de définir de quel(le) candidat(e) à l'élection présidentielle il se sent le plus proche, utilise ce qui ressemble à une échelle de Likert : on nous propose un ensemble d’affirmations, l’ensemble des réponses possibles est exprimé sur une échelle graduée entre « tout à fait d’accord » et « pas d’accord du tout ». Petite capture d’écran :

Ce type de sondage présente plusieurs biais :

1. Le biais de tendance centrale : les répondants hésitent à donner les réponses extrèmes (tout à fait d'accord, fortement opposé)

2. Le biais d'acquiescement : Les personnes répondent en général positivement aux propositions faites, autrement dit, la formulation des propositions n'est pas neutre. Petit exemple, juste ci-dessus avec la proposition "Moins d'immigration permettrait de réduire le chômage en France". Il y en a d'autres : "globalement, la France est en déclin" ou encore "Le niveau scolaire baisse". Pour éviter ce biais, on peut formuler positivement/négativement les questions.

3. Le biais spatial, le plus surprenant : la plupart des personnes ont un biais d'attention à gauche, ce qui peut biaiser les résultats des études. Un groupe de chercheurs a présenté à deux groupes d'étudiants le même questionnaire, mais pour la moitié de l'échantillon, l'échelle était construite de gauche (tout à fait d'accord)  à droite (pas du tout d'accord), alors que pour l'autre moitié, l'échelle allait de droite (tout à fait d'accord) à gauche (pas du tout d'accord). Résultat de l'étude : le groupe utilisant l'échelle où "tout à fait d'accord" est à gauche ont 27% de réponses "tout à fait d'accord" en plus que dans l'autre groupe... Une solution existerait, non mise en oeuvre dans le polimètre je pense : proposer 50% de questionnaire avec les items classés de gauche à droite, et 50% de droite à gauche.

Sachant cela, donc, j'ai testé le questionnaire en répondant "tout à fait d'accord" à toutes les questions, sans réfléchir une seconde. Histoire de voir si le questionnaire permettait d'éviter un tant soit peu le biais spatial et le biais d'acquiescement : s'il est bien fait, on doit avoir des scores équilibrés des candidats, s'il est mal fait, les scores seront déséquilibrés. Résultat :

 

"Légèrement" biaisé, le sondage, semble-t-il...

 

Publié dans Politique

Commenter cet article

Paul-Antoine Chevalier 19/03/2007 01:02

L’objectif du questionnaire n’est pas d’être un sondage mais de mesurer la distance entre l’internaute et les candidats : Apparemment de nombreux critiques ne l’ont pas compris. Par exemple Christophe« La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi). »Admettons que la question soit mal posée (je ne la trouve pas si mal posée que ça), nous n’avons pas pour intention d’interpréter les réponses brutes des internautes à chaque question comme le font les instituts de sondage. Les questions sont posées de manière à créer de la distance entre les candidats. « L'objectif affiché est donc tout ce qu'il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d'actualité.Mais c'est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire) »Je crois qu’il y a un profond malentendu. Le seul moyen de pouvoir tester l’hypothèse évoquée ici selon laquelle certains électeurs ne sont pas d’accord avec le programme de leur candidat mais votent pour lui pour protester, c’est justement de mettre en place notre dispositif et de mesurer l’importance de la proximité politique dans le processus de décision.

wacrill 16/03/2007 17:46

leconomiste: Il faut lire les explications au début du test. Les questions 'personnelles" posées en fin de test n'ont rien à voir avec les calculs de score. C'est juste pour faire une post-analyse.pasperdus: so what? Il y a une méthode de test. Il y a un résultat. Il n'y a aucune analyse. Si vous contestez la méthode, expliquez.M BoubaOlga: Pour que le biais final sur les résultats soit aussi fort que ce que vous observez en frappant tout le temps à gauche ou à droite, il faudrait que les joueurs soient systématiquement influencés par la position gauche/droite de la réponse. C'est quand même une hypothèse extrême.

Antoine T 15/03/2007 08:43

Je ne vois pas bien en quoi le fait que l'Institut de l'Entreprise ai des financements d'entreprises ferait que ses études soient forcément orientées. C'est encore l'esprit de "complot" à la française. Personne ne songe à affirmer que les études des grandes universités américaines sont biaisées, pourtant une bonne partie de leur financement vient du privé...

pas perdus 14/03/2007 22:50

Au sujet de Débat 2007... Il semblerait que débat 2007 soit financé par l'Institut de l'entreprise...L'institut de l'entreprise est piloté par les entreprises suivantes :ACCENTURE  
ACCOR  
ADP-GSI  
ADVANCIA  
AFM  
AGENCE FRANCAISE DE DEVELOPPEMENT (AFD)  
AGF  
AIR FRANCE  
AIR LIQUIDE  
ALSTOM  
ALTADIS  
AON France  
ARCELOR  
AREVA  
ASSEMBLEE DES CHAMBRES FRANCAISES DE COMMERCE ET D'INDUSTRIE (ACFCI)  
AUDENCIA  
AXA  
BIOMERIEUX  
BNP PARIBAS  
BP FRANCE  
BRED  
  CAISSE DES DEPOTS ET CONSIGNATIONS  
CAISSE NATIONALE DES CAISSES D'EPARGNE  
CALYON  
CAP GEMINI  
CARREFOUR  
CEGOS  
CHAMBRE DE COMMERCE ET D'INDUSTRIE DE PARIS (CCIP)  
CHARBONNAGES DE FRANCE  
CIC Finance  
CIMENTS FRANCAIS  
CMS BUREAU FRANCIS LEFEBVRE  
CNP ASSURANCES  
COMMUNICATION & SYSTEMES (CS)  
COMPAGNIE FINANCIERE EDMOND DE ROTHSCHILD  
CONSTRUCTIONS INDUSTRIELLES DE MEDITERRANEE (CNIM)  
COVEA (MAAF Assurances et MMA)  
CREDIT AGRICOLE  
CREDIT MUTUEL  
DELOITTE  
DEXIA   
E.M. LYON  
EADS France  
ECOLE CENTRALE PARIS  
EDF  
EIFFAGE DEVELOPPEMENT  
ELIOR  
ERNST & YOUNG  
ESCP-EAP  
ESSILOR INTERNATIONAL  
EURONEXT Paris  
 FAURECIA  
FEDERATION DES INDUSTRIES ELECTRIQUES, ELECTRONIQUES et de COMMUNICATION (FIEEC)   
FEDERATION FRANCAISE DE LA PARFUMERIE (FIP)  
FEDERATION NATIONALE DES TRAVAUX PUBLICS (FNTP)  
FIMALAC  
FINANCIERE FRANKLIN  
FRANCE TELECOM  
  GAIPARE  
GALERIES LAFAYETTE  
GAZ DE FRANCE  
GROUPE CASINO-EURIS-RALLYE  
GROUPE DANONE  
GROUPE DES BANQUES POPULAIRES  
GROUPE DES INDUSTRIES METALLURGIQUES DE LA REGION PARISIENNE (GIM)  
GROUPE ESSEC  
GROUPE HEC  
GROUPE HENNER   
GROUPE INSEEC  
GSE 
HACHETTE FILIPACCHI ASSOCIES  
HAMEUR et Cie  
HSBC France  
  IBM France  
IDRH  
INSTITUT FRANCAIS DE GESTION  
INVESTORS IN INDUSTRY SA (3i SA)  
  JP MORGAN 
KEA & PARTNERS  
KPMG  
  L'OREAL  
LA FRANCAISE DES JEUX  
LAFARGE  
LVMH  
MEDEF  
MEDERIC  
MERCER Management Consulting  
MERCK France  
MICROSOFT France  
MTB 

NESTLE France  
NOVARTIS France  

PERNOD RICARD  
PLASTIC OMNIUM  
POCLAIN HYDRAULICS  
POMONA  
PRICEWATERHOUSECOOPERS France  
PSA PEUGEOT CITROËN  
PUBLICIS CONSULTANTS  

RATP  
RHODIA  
ROTHSCHILD & Cie BANQUE  
RSM SALUSTRO REYDEL 
SAFRAN  
SANOFI AVENTIS  
SCHNEIDER ELECTRIC   
SFR - CEGETEL  
SHELL France   
SIA CONSEIL  
SIEMENS France  
SNCF  
SOCIETE GENERALE  
SODEXHO ALLIANCE  
SOMDIAA  
SUEZ  

THALES  
TOTAL  
TROY et Associés 

UNIBAIL  
UNIGRAINS  
UNILEVER France  
UNION DES INDUSTRIES ET METIERS DE LA METALLURGIE (UIMM)  
UNION DES INDUSTRIES TEXTILES (UIT)  
  VALLOUREC  
VEOLIA ENVIRONNEMENT  
VINCI  

WENDEL INVESTISSEMENT 

Au regard de tous ces noms,  les analyses de Débat 2007 sont orientées...

leconomiste 14/03/2007 14:51

Eh bien, puisque le créateur du test est là, j'en profite. J'ai fait, ainsi que deux autres doctorants en économie de mon bureau, votre test. Dans les trois cas, les résultats sont manifestement aberrants. Nous nous sommes demandés si les questions finales (gamme de revenu en particulier) jouaient un rôle dans le redressement des résultats, et n'étaient pas gravement sur-pondérées.