2017/04/03

Sondages et démocratie

GOV est la petite application qui monte. C'est un embryon de démocratie directe qui vient donner quelques coups de pied dans la fourmilière du système de contrôle médiatique.

Si vous ne la connaissez pas encore, lisez l'article sur Le Figaro paru l'année dernière, Le Parisien, l'article du 20 mars LCI s'allie à Gov, l'intéressant article de La Dépèche paru hier, ou mieux: écoutez le débat bref mais intense aujourd'hui sur RTL Matin (repères: 1h09 à 1h16), qui a opposé les représentants de Gov et de l'institut de sondage Kantar TNS (anciennement TNS Sofres), ce dernier étant particulièrement sur la défensive. 
"Nous vivons dans un système qui est défié totalement et les sondeurs font partie de ce système."
Les péchés mortels des sondeurs traditionnels sont connus, et cet article récent de France Info les explique particulièrement bien. Je vous conseille de le relire attentivement.


Gov présente de grands avantages, très résumés dans l'interview de RTL, mais aussi quelques défauts (de jeunesse ?).
Par exemple suite à cette exposition médiatique, les serveurs de Gov ont été saturés, et l'application ne répondait pratiquement plus depuis lundi matin 8h15 (màj: le retour à la normale s'est produit un peu après le débat des 11 candidats à la présidentielle, mercredi matin). 
Mais il y a plus. Cet article se propose de donner quelques éclairages qui tombent à pic.

1) quelle est la part des Français qui pensent comme vous ?


Gov vous permet d'estimer en 48h quelle part des Français pensent comme vous sur chaque question qui vous tient à cœur. Cette parole directement montante du peuple est à l'opposé d'initiative comme celle de Decideus.com par exemple. 

Cependant, cette estimation du pourcentage national doit être assortie, à mon sens, d'indispensables précautions, liées au nombre de réponses enregistrées.

A chaque vote, l'application indique un nombre de "points Govs". Ce nombre est-il égal au nombre de votes reçus ? Nous ne le pensons pas. En effet à chaque clic, le nombre s’accroît au minimum de 8 ou 9 Govs, indépendamment de la question, du nombre de govs déjà reçus, de l'heure du jour ou de la nuit, ou du nombre d'utilisateurs simultanés. Ceci n'est pas le comportement d'un algorithme visant à optimiser la tenue à la charge d'une application. Nous avons donc pris comme règle pour tous nos résultats 1 vote réel = 8 govs.
Ensuite, il faut estimer quel est l’intervalle de confiance de cette estimation.
En statistiques, pour un échantillon aléatoire de 1000 personnes, l’intervalle de confiance est (au seuil de probabilité de 95%) de plus ou moins 3.1%. Mais il s'agit là de la règle pour un sondage réalisé par tirage aléatoire. 

Pour un sondage utilisant la méthode des quotas, il n'existe pas d'estimation scientifique de l’intervalle de confiance. Pire, la méthode des quotas part de l'hypothèse que les quotas définis par la catégorie socio-culturelle, le lieu de résidence, permettent de représenter fidèlement l'opinion nationale. Cette hypothèse n'est jamais démontrée. Au mieux est-elle valable a posteriori, quand on connait déjà le résultat national à obtenir parce que l'opinion aurait très peu changé depuis la dernière élection. Dans ce cas, l'usage est de dire, sans le démontrer, que l'intervalle de confiance est "inférieur ou égal à celui obtenu avec le sondage selon la méthode aléatoire". 
Et ceci c'est dans le meilleur des cas, celui où le sondage n'est pas complètement pipé, comme l'explique l'article de France Info. Nous pouvons le dire avec un peu d'humour : quand le sujet de sondage n'est pas socialement critique, la méthode des quotas est faite pour vous.
Nous pensons que l'état de bouillonnement dans lequel se trouvent les sociétés occidentales, du fait de la profondeur de la crise où elle sont plongées (cf ci-dessous en particulier le paragraphe 10), invalide purement et simplement les sondages par quotas.

Gov est disponible depuis décembre 2013. Il existe environ 130 000 inscrits sur Gov, dont actuellement 40 à 50 000 utilisateurs actifs chaque jour (cf supra l'interview RTL). En avril 2016, Gov comptait 4 millions de votes enregistrés. A ce jour il en compte 7 millions.

Sur les questions visant à mieux les caractériser, les utilisateurs de Gov déclarent ceci entre le 8 et le 10/04 :


Vous vivez à Paris (+) ou en province ?
Vivez-vous en région parisienne (-) ou en province (+)?
% de oui/+
29
68
govs
15395
12335

Vivez-vous dans une commune de plus de 50000 habitants ?
46 11702
Avez-vous plus (+) ou moins de 25 ans ? 86 11694

Etes-vous sur Gov depuis + d’un an ou moins ? 7 6698

Ton âge : supérieur à 40 ans (+) ou inférieur à 40 ans ?

76

6506

Avez-vous déjà assisté à un conseil municipal dans votre commune ?

33 5734
Etes-vous en couple (+) ou célibataire ?

Votre niveau d'anglais est-il suffisant pour vous  informer via les sites de langue anglaise ? 
82

50

6000

(depuis le 20/4)


Chaque réponse est associée à un profil d'inscrit. Les CGU précisent que :
 Les résultats mis en avant par l'Application ne constituent en aucun cas des sondages au sens de la loi n° 77-808 du 19 juillet 1977 relative à la publication et à la diffusion de certains sondages d'opinion. Ces résultats ne font que refléter l'opinion des membres de la communauté GOV ayant accepté de répondre à telle ou telle question et ne sont en aucune manière des résultats représentatifs de l'opinion de la population du pays.

Cependant, il est envisageable d'assimiler les utilisateurs de Gov répondant sur 24h glissantes à un tirage aléatoire parmi la population française. (1)
Nous avons restreint notre étude aux questions qui sont nouvellement publiées, et qui restent jusqu'à 48h dans un état "actif". (2) 
Nous avons utilisé cette table pour estimer l'intervalle de confiance brut. Celui-ci a ensuite été arrondi à l'unité supérieure. Nos résultats sont ensuite présentés par une fourchette : "le % de réponses Oui (ou + ou Pour ou D'accord) est compris entre...% et ... %". 
Nous n'avons pas utilisé dans nos résultats les questions actives en permanence sur l'appréciation des candidats puisqu'il est permis d'apprécier plusieurs candidats à la fois toutes les 24h.

2) quelles questions sont éligibles sur Gov ?


Le premier défaut des sondages traditionnels que comble Gov est celui de la pertinence des questions posées. Ce sont les internautes qui posent les questions. Les administrateurs de Gov les filtre. Ce filtre est très opaque. Aucun retour n'est donné. Le compte Twitter de GOV indique que les questions sont filtrées pour des raisons de doublons, d'orthographe, ou qui ne sont pas liées aux programmes des candidats (pour les questions sur la politique). (3) A l'inverse nous avons observé un petit nombre de doublons acceptés ou de questions extrêmement ambiguës.
A notre connaissance, les administrateurs de Gov ne modifient pas les questions soumises: soit elles sont refusées, soit elles sont publiées telles quelles. Il n'y a pas de place pour le "politiquement correct", vous allez vite vous en rendre compte.

3) où trouver l'historique des questions de Gov ? 


Il est possible de retrouver une question anciennement posée sur Gov mais cela ne se recherche que sur mot-clé. Et surtout, les histogrammes ne comportent pas les nombres de réponses. Un nombre inférieur à 900 govs ne donne pas selon nous un résultat exploitable.

Nous avons donc enregistré au fil des jours une série de résultats détaillés, qui permet de mieux comprendre ce qui se passe sur Gov comme phénomène de démocratie. Bien que l'attrait de Gov soit particulier en cette période de campagne, nous avons essayé de capturer des signes de tendance profonde dans la société,  qui ne changent pas du jour au lendemain. Il s'agit pour nous de dépeindre Voilà de quoi demain sera fait.

Cette synthèse des résultats est à jour unique.
[MàJ 6/04/2017] : Nous avons complété cette première radiographie de la France par une évaluation de la population des Goveurs sur la campagne présidentielle. Pour ces questions spécifiques, nous donnons quelques éléments supplémentaires qui nous font penser que l'électorat de Gov s'est décantée depuis mars, et qu'il ne représente plus suffisamment bien l'électorat national. 

4) ce que les utilisateurs de Gov disent sur cet outil


thème question le % de réponses Oui/+/pour
est compris entre...
et... Nbre de Govs
« aujourd’hui » Observé
durée date
gov l’ensemble des goveurs forme-t-il un ensemble représentatif du corps électoral français ? 50 56 13844 2j 29/03/17
gov Pensez-vous que les réponses / statistiques de cette application reflètent la pensée de l’ensemble des français ? 48 54 9743 2j 29/03/17
gov Gov était le seul à donner Fillon et Hamon gagnants aux primaires…
Croyez-vous Gov plus performant que les sondages classiques ? Oui +
71 77 12997 2j 02/04/17
gov Pensez-vous que les résultats des sondages sur Gov représentent l’opinion de l’ensemble des français ? 50 56 10125 2j 01/04/17
gov Gov utile (+) ou bien gadget ? 78 88 2414 2j 27/03/17
gov Répondez-vous tout le temps sérieusement sur Gov (+)
ou vous arrive-t-il de mentir ?
89 n/a 140 1 mois Du 27/02 au 27/03/17
gov les militants fillonistes et macronistes faussent les résultats des sondages Gov ? Oui + 47 n/a 315
depuis le 6/03
gov GOV préfigure-t-il l’outil de démocratie directe d’un futur relativement proche (oui+) 66 72 9701 2j 27/03/17

 n/a signale un nombre de réponses trop faible pour calculer un intervalle de confiance. Cependant le fait que la question existe présente déjà un intérêt.
Dans les synthèses ci-dessous les questions où le nombre de govs est surligné en jaune sont celles qui sont encore actives à cette heure, et qui continuent d'évoluer.

En synthèse, à partir de ce que les utilisateurs de Gov déclarent, voici ce que l'on peut constater sur :

5) l'opinion des Français sur les média

voir ici.

6) l'opinion des Français sur la démocratie en France

voir ici.

7) l'opinion des Goveurs sur la campagne présidentielle

voir ici.

8) l'opinion des Français sur la politique internationale

voir ici.

9) l'opinion des Français sur l'éducation en France

voir ici.

10) l'opinion des Français sur la philosophie et la religion

voir ici.

11) l'opinion des Français sur la société française

voir ici 

12) l'opinion des Français sur l'économie

voir ici

Méthodologie :
Tous les résultats ont été observés entre le 12/03 et le 3/04/2017.
Nous avons pris comme règle pour calculer l'intervalle de confiance : 1 vote réel = 8 govs.
Les nombres de govs sont donnés sur 24h glissantes. Ce chiffre doit être distingué des valeurs et histogrammes par jour calendaire. Il doit aussi être distingué du nombre maximum effectivement atteint pour une question sur 24h glissantes. Comme ce maximum n'est pas consultable, nous nous sommes fondés sur nos observations directes. 
_________________

(1) : Evidemment il existe un certain nombre de biais contre cette hypothèes parmi lesquels :
  • gov n'existe que sur iOS ou Android ; le taux d'équipement en smartphone ou en tablette pourrait sur-représenter certaines tranches d'âge (86% des utilisateurs de Gov ont plus de 25 ans), les urbains (46% des utilisateurs de Gov habitent dans une ville de plus de 50000 habitants), et les professions tertiaires
  • gov est intégralement en langue française mais ne restreint pas les participants à la France, ni ne contrôle l'âge des participants : une partie des utilisateurs de Gov n'ont pas le droit de vote en France
(2) : Le cycle de vie des questions sur Gov est relativement complexe et sa description détaillée dépasse le cadre de cet article.
Nous avons sélectionné les questions qui répondaient à 2 critères:
  • obtenir un nombre suffisant de réponses (> 900 govs sur 24h glissantes)
  • présenter un caractère le plus pertinent à nos yeux
Les réponses sur Gov pour chaque question sont présentées distribuées selon la préférence politique initiale indiquée dans le profil des usagers. Nous n'avons pas utilisé ces données, pour de multiples raisons méthodologiques.

(3) : Nous avons personnellement soumis au fil des jours 27 questions qui ont été acceptées. 14 autres ont été refusées bien qu'elles ne rentrent pas dans ces raisons. La liste de ces questions peut être obtenue sur demande. 

Aucun commentaire:

Enregistrer un commentaire