Le Polimètre : les biais d'un sondage

Publié le par Olivier Bouba-Olga

Via Versac et Débat 2007, je découvre le Polimètre. Ce sondage, qui doit permettre à chacun de définir de quel(le) candidat(e) à l'élection présidentielle il se sent le plus proche, utilise ce qui ressemble à une échelle de Likert : on nous propose un ensemble d’affirmations, l’ensemble des réponses possibles est exprimé sur une échelle graduée entre « tout à fait d’accord » et « pas d’accord du tout ». Petite capture d’écran :

Ce type de sondage présente plusieurs biais :

1. Le biais de tendance centrale : les répondants hésitent à donner les réponses extrèmes (tout à fait d'accord, fortement opposé)

2. Le biais d'acquiescement : Les personnes répondent en général positivement aux propositions faites, autrement dit, la formulation des propositions n'est pas neutre. Petit exemple, juste ci-dessus avec la proposition "Moins d'immigration permettrait de réduire le chômage en France". Il y en a d'autres : "globalement, la France est en déclin" ou encore "Le niveau scolaire baisse". Pour éviter ce biais, on peut formuler positivement/négativement les questions.

3. Le biais spatial, le plus surprenant : la plupart des personnes ont un biais d'attention à gauche, ce qui peut biaiser les résultats des études. Un groupe de chercheurs a présenté à deux groupes d'étudiants le même questionnaire, mais pour la moitié de l'échantillon, l'échelle était construite de gauche (tout à fait d'accord)  à droite (pas du tout d'accord), alors que pour l'autre moitié, l'échelle allait de droite (tout à fait d'accord) à gauche (pas du tout d'accord). Résultat de l'étude : le groupe utilisant l'échelle où "tout à fait d'accord" est à gauche ont 27% de réponses "tout à fait d'accord" en plus que dans l'autre groupe... Une solution existerait, non mise en oeuvre dans le polimètre je pense : proposer 50% de questionnaire avec les items classés de gauche à droite, et 50% de droite à gauche.

Sachant cela, donc, j'ai testé le questionnaire en répondant "tout à fait d'accord" à toutes les questions, sans réfléchir une seconde. Histoire de voir si le questionnaire permettait d'éviter un tant soit peu le biais spatial et le biais d'acquiescement : s'il est bien fait, on doit avoir des scores équilibrés des candidats, s'il est mal fait, les scores seront déséquilibrés. Résultat :

 

"Légèrement" biaisé, le sondage, semble-t-il...

 

Publié dans Politique

Pour être informé des derniers articles, inscrivez vous :
Commenter cet article
P
L’objectif du questionnaire n’est pas d’être un sondage mais de mesurer la distance entre l’internaute et les candidats : Apparemment de nombreux critiques ne l’ont pas compris. Par exemple Christophe« La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi). »Admettons que la question soit mal posée (je ne la trouve pas si mal posée que ça), nous n’avons pas pour intention d’interpréter les réponses brutes des internautes à chaque question comme le font les instituts de sondage. Les questions sont posées de manière à créer de la distance entre les candidats. « L'objectif affiché est donc tout ce qu'il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d'actualité.Mais c'est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire) »Je crois qu’il y a un profond malentendu. Le seul moyen de pouvoir tester l’hypothèse évoquée ici selon laquelle certains électeurs ne sont pas d’accord avec le programme de leur candidat mais votent pour lui pour protester, c’est justement de mettre en place notre dispositif et de mesurer l’importance de la proximité politique dans le processus de décision.
Répondre
W
leconomiste: Il faut lire les explications au début du test. Les questions 'personnelles" posées en fin de test n'ont rien à voir avec les calculs de score. C'est juste pour faire une post-analyse.pasperdus: so what? Il y a une méthode de test. Il y a un résultat. Il n'y a aucune analyse. Si vous contestez la méthode, expliquez.M BoubaOlga: Pour que le biais final sur les résultats soit aussi fort que ce que vous observez en frappant tout le temps à gauche ou à droite, il faudrait que les joueurs soient systématiquement influencés par la position gauche/droite de la réponse. C'est quand même une hypothèse extrême.
Répondre
A
Je ne vois pas bien en quoi le fait que l'Institut de l'Entreprise ai des financements d'entreprises ferait que ses études soient forcément orientées. C'est encore l'esprit de "complot" à la française. Personne ne songe à affirmer que les études des grandes universités américaines sont biaisées, pourtant une bonne partie de leur financement vient du privé...
Répondre
P
Au sujet de Débat 2007... Il semblerait que débat 2007 soit financé par l'Institut de l'entreprise...L'institut de l'entreprise est piloté par les entreprises suivantes :ACCENTURE   <br /> ACCOR   <br /> ADP-GSI   <br /> ADVANCIA   <br /> AFM   <br /> AGENCE FRANCAISE DE DEVELOPPEMENT (AFD)   <br /> AGF   <br /> AIR FRANCE   <br /> AIR LIQUIDE   <br /> ALSTOM   <br /> ALTADIS   <br /> AON France   <br /> ARCELOR   <br /> AREVA   <br /> ASSEMBLEE DES CHAMBRES FRANCAISES DE COMMERCE ET D'INDUSTRIE (ACFCI)   <br /> AUDENCIA   <br /> AXA   <br /> BIOMERIEUX   <br /> BNP PARIBAS   <br /> BP FRANCE   <br /> BRED   <br />   CAISSE DES DEPOTS ET CONSIGNATIONS   <br /> CAISSE NATIONALE DES CAISSES D'EPARGNE   <br /> CALYON   <br /> CAP GEMINI   <br /> CARREFOUR   <br /> CEGOS   <br /> CHAMBRE DE COMMERCE ET D'INDUSTRIE DE PARIS (CCIP)   <br /> CHARBONNAGES DE FRANCE   <br /> CIC Finance   <br /> CIMENTS FRANCAIS   <br /> CMS BUREAU FRANCIS LEFEBVRE   <br /> CNP ASSURANCES   <br /> COMMUNICATION & SYSTEMES (CS)   <br /> COMPAGNIE FINANCIERE EDMOND DE ROTHSCHILD   <br /> CONSTRUCTIONS INDUSTRIELLES DE MEDITERRANEE (CNIM)   <br /> COVEA (MAAF Assurances et MMA)   <br /> CREDIT AGRICOLE   <br /> CREDIT MUTUEL   <br /> DELOITTE   <br /> DEXIA    <br /> E.M. LYON   <br /> EADS France   <br /> ECOLE CENTRALE PARIS   <br /> EDF   <br /> EIFFAGE DEVELOPPEMENT   <br /> ELIOR   <br /> ERNST & YOUNG   <br /> ESCP-EAP   <br /> ESSILOR INTERNATIONAL   <br /> EURONEXT Paris   <br />  FAURECIA   <br /> FEDERATION DES INDUSTRIES ELECTRIQUES, ELECTRONIQUES et de COMMUNICATION (FIEEC)    <br /> FEDERATION FRANCAISE DE LA PARFUMERIE (FIP)   <br /> FEDERATION NATIONALE DES TRAVAUX PUBLICS (FNTP)   <br /> FIMALAC   <br /> FINANCIERE FRANKLIN   <br /> FRANCE TELECOM   <br />   GAIPARE   <br /> GALERIES LAFAYETTE   <br /> GAZ DE FRANCE   <br /> GROUPE CASINO-EURIS-RALLYE   <br /> GROUPE DANONE   <br /> GROUPE DES BANQUES POPULAIRES   <br /> GROUPE DES INDUSTRIES METALLURGIQUES DE LA REGION PARISIENNE (GIM)   <br /> GROUPE ESSEC   <br /> GROUPE HEC   <br /> GROUPE HENNER    <br /> GROUPE INSEEC   <br /> GSE  <br /> HACHETTE FILIPACCHI ASSOCIES   <br /> HAMEUR et Cie   <br /> HSBC France   <br />   IBM France   <br /> IDRH   <br /> INSTITUT FRANCAIS DE GESTION   <br /> INVESTORS IN INDUSTRY SA (3i SA)   <br />   JP MORGAN  <br /> KEA & PARTNERS   <br /> KPMG   <br />   L'OREAL   <br /> LA FRANCAISE DES JEUX   <br /> LAFARGE   <br /> LVMH   <br /> MEDEF   <br /> MEDERIC   <br /> MERCER Management Consulting   <br /> MERCK France   <br /> MICROSOFT France   <br /> MTB  <br /> <br /> NESTLE France   <br /> NOVARTIS France   <br /> <br /> PERNOD RICARD   <br /> PLASTIC OMNIUM   <br /> POCLAIN HYDRAULICS   <br /> POMONA   <br /> PRICEWATERHOUSECOOPERS France   <br /> PSA PEUGEOT CITROËN   <br /> PUBLICIS CONSULTANTS   <br /> <br /> RATP   <br /> RHODIA   <br /> ROTHSCHILD & Cie BANQUE   <br /> RSM SALUSTRO REYDEL  <br /> SAFRAN   <br /> SANOFI AVENTIS   <br /> SCHNEIDER ELECTRIC    <br /> SFR - CEGETEL   <br /> SHELL France    <br /> SIA CONSEIL   <br /> SIEMENS France   <br /> SNCF   <br /> SOCIETE GENERALE   <br /> SODEXHO ALLIANCE   <br /> SOMDIAA   <br /> SUEZ   <br /> <br /> THALES   <br /> TOTAL   <br /> TROY et Associés  <br /> <br /> UNIBAIL   <br /> UNIGRAINS   <br /> UNILEVER France   <br /> UNION DES INDUSTRIES ET METIERS DE LA METALLURGIE (UIMM)   <br /> UNION DES INDUSTRIES TEXTILES (UIT)   <br />   VALLOUREC   <br /> VEOLIA ENVIRONNEMENT   <br /> VINCI   <br /> <br /> WENDEL INVESTISSEMENT  <br /> <br /> Au regard de tous ces noms,  les analyses de Débat 2007 sont orientées...
Répondre
L
Eh bien, puisque le créateur du test est là, j'en profite. J'ai fait, ainsi que deux autres doctorants en économie de mon bureau, votre test. Dans les trois cas, les résultats sont manifestement aberrants. Nous nous sommes demandés si les questions finales (gamme de revenu en particulier) jouaient un rôle dans le redressement des résultats, et n'étaient pas gravement sur-pondérées.
Répondre