Satisfaction des usagers et évaluation des politiques publiques

Elle est très large ! Leur première fonction est de donner accès à la compréhension des territoires, ce qui revient à connaître le contexte socio-économique dans lequel interviennent les politiques, connaître les publics et leurs caractéristiques. Qu’il s’agisse de réaliser une analyse des besoins sociaux, d’évaluer le public éligible à tel ou tel dispositif, de savoir par exemple comment favoriser le retour à l’emploi des femmes qui se sont arrêtées de travailler pour s’occuper de leurs enfants, ou de connaître les caractéristiques des communes de façon à définir des modes de garde, etc., on recourra à l’analyse et l’exploitation secondaire de données produites, notamment par l’Insee qui met à disposition des fichiers détails [3], ou en exploitant les déclarations annuelles des données sociales (DADS). Il est possible d’aller assez loin avec ces données « administratives », avant de faire appel à des méthodologies plus compréhensives.

Une deuxième fonction est d’approfondir, par des enquêtes qui couvrent aussi un champ très vaste, les connaissances sur les parcours des bénéficiaires, leurs caractéristiques, attentes, besoins, motivations. Dans le domaine de la petite enfance, on pourra chercher à savoir de manière fine comment s’organisent les parents et ce que cela implique ; concernant l’accompagnement du RSA, on pourra vouloir mieux connaître les besoins et motivations des allocataires, de manière à améliorer les dispositifs.

La troisième utilisation, moins répandue, correspond au travail des observatoires qui assurent le suivi des politiques mises en oeuvre. La question est alors de définir comment et sur la base de quelles données les alimenter.

La loi organique relative aux lois de finances (LOLF) a donné une place importante aux indicateurs quantitatifs dans le pilotage des politiques sociales, ce qui à mon sens a fait beaucoup de mal à l’évaluation, en ancrant la confusion entre évaluation et contrôle, et entre évaluation et atteinte des bons résultats. Elle suscite par ailleurs le risque, non négligeable, que les indicateurs finissent par se substituer aux finalités poursuivies par chaque politique publique.

J’observe aussi l’effacement de la dichotomie autrefois très marquée entre le quantitatif et le qualitatif. L’idée s’impose qu’en raison de leurs forces et faiblesses respectives, c’est leur juxtaposition qu’il faut obtenir. La force du « quali » est d’accéder à une compréhension très fine des comportements, sa faiblesse de ne pouvoir généraliser ses résultats. Que faire du discours extrêmement intéressant d’un bénéficiaire, qui est sans doute anecdotique par rapport à l’ensemble des bénéficiaires ? Le « quanti » permet pour sa part de mettre à la bonne place les constats, mais il a deux gros défauts : il ne suffit pas pour obtenir une compréhension fine des phénomènes, et il débouche toujours sur des chiffres qui semblent incontestables. Quelle que soit la question posée, même si elle n’a aucun sens, vous aurez des réponses et un chiffre qui, comme c’est un chiffre, paraîtra incontestable. L’utilisation des méthodes quantitatives demande un niveau de technicité important pour éviter ces dérives, d’autant qu’avec l’essor de logiciels d’analyse quantitative très « presse bouton », il suffit d’entrer des chiffres pour obtenir une multitude d’analyses en aval, sans recul sur ce qui a été mesuré. Le mode de construction des échantillons est aussi une source fréquente de biais. Dans le domaine de la petite enfance, je vois certains cabinets qui pour trouver les parents, se rendent dans les lieux d’accueil de la petite enfance. Les conclusions ne seront pas les mêmes si l’on interroge l’ensemble des familles, y compris celles qui ne fréquentent pas ces lieux.

Ces mesures se justifient, car c’est souvent l’un des objectifs d’une politique publique que de proposer une bonne qualité de service pour les bénéficiaires, et qu’à l’inverse une mauvaise qualité de service est une source d’inefficience. Dans les politiques sociales, c’est un facteur de non-recours aux droits par exemple.

En revanche elles n’aident pas vraiment à caler une politique. Nous n’apprenons pas grand-chose quand les allocataires du RSA qui sortent du dispositif se déclarent, en général, très satisfaits sur tous les aspects mesurés, alors que ceux qui tournent en rond se disent insatisfaits. La satisfaction des bénéficiaires n’est pas l’objectif premier d’une politique, dont le succès dépend de beaucoup d’autres paramètres. Dans les politiques sociales on recherche surtout à faire évoluer les parcours. De ce fait, la mesure de la satisfaction ne saurait être une composante essentielle du pilotage des politiques sociales. Et il ne faudrait pas réduire la participation des usagers à la mesure de leur satisfaction, ils peuvent aussi avoir un positionnement sur les politiques à mettre en place, pas seulement en fonction de leur intérêt individuel, mais de l’intérêt collectif, ou de ce qu’ils peuvent appréhender dans leur environnement. Je vois enfin un risque : comme on publie la qualité de service, avec une exigence de bons résultats ou d’amélioration des résultats, le risque est qu’une priorité soit donnée à la réalisation de ces indicateurs, au détriment d’autres objectifs de la politique qui sont à moyen ou long terme beaucoup plus importants.

Quitte à faire des enquêtes de satisfaction, autant en profiter pour les assortir d’autres mesures, sur les parcours, les motivations, afin d’obtenir de multiples enseignements qui ne seront pas forcément publiés, comme l’Insee qui adosse d’autres enquêtes à son recensement. Et d’aller bien plus loin dans l’analyse de la satisfaction, car des outils puissants sont à disposition. Avec la modélisation statistique on mesure l’impact de différents items sur la satisfaction globale. Les cartes de satisfaction indiquent ce sur quoi il faut travailler en priorité (items situés dans le cadran « fort impact sur la satisfaction globale / fort niveau d’insatisfaction » notamment).

Il est difficile de mesurer ce que l’on appelle les effets propres d’une politique ou d’un dispositif, parce que d'autres facteurs, comme l’environnement socio-économique ou d'autres politiques impactent leur bénéficiaires. Par exemple quelle était l’efficacité du RMI pour ses bénéficiaires, alors que nombre d’entre eux s’installaient dans le dispositif, et qu’on présumait que le dispositif manquait d'incitation à la reprise d'activité ? Les évaluations ex-post montraient l'existence de bénéficiaires restant très longtemps dans le dispositif mais ne suffisaient pas à assurer que c'était un effet du RMI, autrement dit, ne pouvaient répondre à la question de savoir quelle aurait été la trajectoire des bénéficiaires en l'absence du dispositif. L'action publique a tâtonné pour répondre à cette problématique : prime à l'emploi, contrat d'insertion qui se prolonge, dispositifs d'intéressement lors de la reprise d'emploi comme le RSA activité. Autre exemple, les allocations permettant aux parents de rester au foyer (CLCA et APE) ont des risques identifiés : baisse de l'employabilité, stigmatisation supplémentaire des salariées par rapport à leurs collègues masculins, comportements dans le couple où la femme se centre sur les tâches domestiques, mais aucun résultat ne permet de s'assurer que ces risques sont avérés. En matière d’allocations logement, des études ont mesuré leur impact inflationniste sur les loyers selon les zones géographiques, sans que cela ait suffit à mobiliser une action publique. Quels sont les impacts des politiques d'emploi ciblées sur certains publics ? Est-ce que cela modifie simplement l'ordre au sein de files d'attente et donc accroît l'employabilité de certains au détriment d'autres publics ? Face à de telles difficultés, l'expérimentation sociale contrôlée est une solution très intéressante qui permet de mesurer les effets propres des dispositifs de politique publique, et donc de modifier ce qui doit l’être avant de les déployer.

Elle vient des États-Unis. Dans les années 1960, dans le cadre d'un débat sur la protection sociale, des chercheurs ont pensé que l’expérimentation qui fonctionne bien en recherche médicale ou pharmaceutique, à savoir sélectionner aléatoirement, parmi la population cible, un groupe bénéficiaires auquel on donne le traitement, et un groupe témoins auquel on donne un placébo, pour regarder les effets produits par le traitement, devait aussi fonctionner dans le domaine social. Si les effectifs sont suffisants, les paramètres externes susceptibles de biaiser l'analyse sont contrôlés, seul l'effet du dispositif est mesuré. Dans l’expérimentation sociale il y a l’idée de faire à petite échelle, avec un nombre réduit de bénéficiaires, sur une durée limitée, une politique dont on n’est pas sûr qu’elle fonctionne. Elle est mise en œuvre dans des conditions qui permettent d’en évaluer les effets, ce qui permettra de la généraliser, de l'améliorer, ou d'y renoncer... Il faut chaque fois trouver un compromis entre le coût de l'expérimentation et les enseignements qu'il est possible d'en tirer.

Ces méthodes sont utilisées dans les pays anglo-saxons, pour évaluer toutes sortes de nouveaux dispositifs, fixation des prix de l'électricité, dispositif de retour à l’emploi, etc. Aux États-Unis en 2000-2001 elles ont servi par exemple à mesurer l’incidence d’informations et de primes sur les décisions d'épargne dans un contexte où les autorités voulaient encourager l’ensemble des salariés à participer au plan de retraite adossé à un compte d'impôt différé, pour éviter la précarité parmi certains seniors.

Dans les années 2000, les programmes d'expérimentation se sont diffusés dans les pays en voie de développement, comme outils de lutte contre la pauvreté, d'accès à la santé et à l'éducation sous l'impulsion notable du J-PAL, laboratoire d'action contre la pauvreté qu'Esther Duflo, lauréate de la médaille Clarck devenue conseillère à l’économie de Barak Obama, a fondé en 2003 avec deux autres professeurs du MIT. Un exemple : dans le cadre de la prévention du Sida par l’intermédiaire des écoles primaires au Kenya, 164 écoles sélectionnées aléatoirement ont reçu une formation sur le Sida et la manière d'aborder le sujet. Une évaluation à moyen terme a porté sur l'évolution des connaissances et des comportements, et une autre à plus long terme sur les comportements après la scolarité (grossesses et notamment grossesses hors mariage) puis sur les taux d'infection par le virus. Un bureau J-PAL Europe a été créé en 2007, au sein de l’École d’économie de Paris.

Oui, mais elle est venue tardivement, en raison de blocages institutionnels (principe d'égalité de l'accès aux droits). Quelques expérimentations ont eu lieu, sur le RMI dans deux départements, sur l'APA, testée dans une douzaine de départements, sur la CMU, qui résulte d'expériences développées par des caisses primaires d'assurance maladie. Mais il a fallu attendre 2003 pour qu’une révision constitutionnelle ouvre le droit à l’expérimentation (toute collectivité locale peut désormais expérimenter sur son territoire une politique, même si elle touche au droit commun et si elle est destinée qu’à une petite partie de la population) et 2005 pour que tout démarre : la commission Familles, vulnérabilité, pauvreté présidée par Martin Hirsch rend son rapport, Au possible, nous sommes tenus. Parmi les mesures proposées, le RSA dont va commencer l’expérimentation contrôlée.

Martin Hirsch a voulu expérimenter le RSA au sein de territoires témoins, parmi les 33 départements volontaires. Plusieurs modalités ont été expérimentées (champ des bénéficiaires ciblés, types d'emplois et d’accompagnement mis en place, etc.), avec quatre objectifs précis : encourager l’accès ou le retour à l’emploi en garantissant que tout retour à l’emploi donne lieu, dans la durée, à une augmentation de revenus ; lutter contre la pauvreté en complétant les revenus du travail pour ceux qui en ont besoin ; améliorer l’accompagnement social et l’insertion professionnelle ; simplifier le système des minima sociaux. L'expérimentation devait fournir des éléments dans la perspective de généralisation du RSA, et tirer par ailleurs des enseignements pour la démarche d'expérimentation sociale, mais cela ne s’est pas passé comme prévu. L’échantillon témoin aléatoire n’a pas pu être mis en place, parce que les départements ont voulu choisir, sur la base d'une concertation locale, les territoires expérimentaux. Globalement l’expérimentation menée auprès de 3500 allocataires a indiqué un impact positif sur le retour à l'emploi pour les territoires témoins, mais avec des écarts importants selon les départements, ce qui signalait l’influence des modalités de mise en œuvre et des organisations locales.

Enfin, en raison du calendrier politique, le RSA a été généralisé avant que l’expérimentation ait été menée à terme, ce qui n’a pas permis d’avoir de données sur son impact à moyen terme, ni de mesurer l’effet « trappe » à bas revenus, ni n’a donné le recul suffisant pour mesurer les impacts socio-économiques. Ainsi, le non-recours au RSA n'a pas été observé par l'expérimentation. Cela amène aujourd’hui à détricoter en partie le RSA, avec une « prime d’activité » qui remplacera en 2016 le PPE et le RSA activité pour les bas salaires.

Oui, en tout cas pour la France. Il portait l’idée qu’on peut faire au niveau local, en tirant partie des bonnes idées et des énergies, ce qui ne peut être réalisé au niveau national. En 2007, la Délégation interministérielle à l’innovation, à l’expérimentation sociale et l’économie sociale (DIIESES) a lancé un premier appel à projets d'innovation sociale (37 projets seront financés). L’année suivante, c’est aussi Martin Hirsch qui crée le Fonds d'Expérimentation pour la Jeunesse (FEJ), très bien doté, pour promouvoir l'innovation sociale, et se donner les moyens d'identifier les projets qui ont un impact positif pour construire des politiques nationales. Toute association et collectivité pouvait en réaliser, à condition de les accompagner d’une évaluation. Une multitude de projets et d’expérimentations ont alors éclos au niveau local, sur les politiques jeunesse et sur d’autres thématiques (égalité homme-femme, etc.) alors même que ni les porteurs de projet, ni les évaluateurs, n’avaient de culture de l'expérimentation sociale contrôlée. Aujourd’hui les ministères soutenant l'expérimentation sont plus nombreux, et plusieurs centaines de millions d'euros y sont dédiées.

Une expérimentation d’envergure a consisté à comparer un dispositif d’accompagnement renforcé, dont l’objectif était d’accélérer le retour à l'emploi des demandeurs d’emploi, porté par deux programmes : Cap Vers l’Entreprise (CVE), directement mis en œuvre par l’ANPE, et Opérateurs Privés de Placement (OPP), service fourni par des entreprises privées mandatées par l’UNEDIC. Menée dans les règles de l’art, elle a porté sur 40 000 bénéficiaires, accompagnés par des OPP dans 10 régions, et par l'ANPE dans 6 régions. Les actions étaient identifiables : accompagnement hebdomadaire, durant 6 mois, par des conseillers ayant en charge peu de demandeurs d’emploi, public cible bien défini : des demandeurs d'emploi susceptibles d'être concernés par du chômage de longue durée. Un évaluateur externe compétent (laboratoire CREST) a été mobilisé. Même s’il y a eu quelques difficultés (moins de la moitié des personnes orientées ont accepté d'entrer dans le programme, d’où un groupe bénéficiaires non strictement comparable au groupe témoins), on a obtenu des résultats scientifiques rigoureux. Les deux dispositifs (le CVE comme l'accompagnement par les OPP) ont eu un impact positif sur les sorties du chômage et sur celles des situations d'activité réduite. Ils ont diminué la récurrence au chômage. Le CVE a eu un impact à la fois plus important et plus rapide, sur la sortie du chômage, ce qui a suscité des interrogations en termes d'efficience, l'accompagnement par les OPP étant très coûteux.

En France, nous avons véritablement « expérimenté l’expérimentation », et beaucoup débattu entre professionnels sur ce qu’était l’expérimentation sociale à la française, qui a une dimension plus qualitative que dans les pays anglo-saxons. Pour fournir des résultats scientifiquement incontestables, une expérimentation doit être évaluée de manière externe, doit être évaluable (la politique expérimentale doit avoir des objectifs précis, mesurables…), la population cible doit être suffisamment nombreuse pour permettre de se prononcer sur les différences observées entre les groupes témoins et les groupes bénéficiaires. Ces méthodes soulèvent pour autant de nombreuses questions. : faut-il par exemple privilégier, comme le veut la théorie, les expérimentations contrôlées randomisées ? Ces expérimentations restent-elles valides si elles ne sont pas contrôlées, autrement dit sans échantillon témoin, sachant que sept fois sur dix, pour des raisons diverses, c’est le cas. En pratique, je dirais que cela n’empêche pas d’avoir des résultats intéressants[4]. On s’est aussi rendu compte qu’il était préférable de privilégier l'essaimage plutôt que la généralisation immédiate des dispositifs expérimentés.

Non, car on se heurte à plusieurs types de difficultés : risques de contamination entre les échantillons témoins et bénéficiaires (la présence de l'expérimentation peut avoir un impact sur la situation de l'échantillon témoins) ; diminution de la participation aux enquêtes au cours du temps, ce qui complexifie l'interprétation des résultats ; temps de l’expérimentation qui est parfois différent du temps politique, avec des porteurs de projet qui veulent obtenir un financement pour un projet qu'ils estiment utile pour leur territoire, et font alors pression sur l'évaluation pour obtenir de manière trop précoce des résultats... La question de stabiliser le financement à l'issue du temps de l'expérimentation se pose aussi.

 Les résultats d’une expérimentation peuvent dépendre de l’environnement : caractéristiques des publics, jeux d'acteurs chaque fois particuliers, partenariats qui ont pu se nouer sur un territoire mais qui ne se noueront pas nécessairement dans d'autres contextes. De ce fait, les résultats obtenus ne vaudront pas forcément ailleurs. Tel dispositif de retour à l'emploi peut avoir un impact négatif sur le taux de chômage sur un territoire de faible taille, alors qu’il aura des effets positifs ailleurs.

Elles sont à plusieurs niveaux. Au moment de l’évaluation, dire à des travailleurs sociaux qu’on va choisir au hasard des bénéficiaires passe très mal, cela ne cadre pas avec leurs schémas : l'égalité de traitement est un principe très ancré dans le secteur social, et s’il y a sélection, on voudra l’orienter vers « les bénéficiaires qui en ont le plus besoin ». Lors de l’expérimentation dans sept missions locales d’un parcours vers l’apprentissage, les structures estimaient qu’elles n’avaient pas à aider des jeunes qui ont un Bac+2 et des parents cadres, alors qu’en réalité ils pouvaient avoir besoin d’une aide, et que l’expérimentation sociale cherchait à connaître l’effet du dispositif « quel que soit le jeune », donc il était important de ne pas se polariser sur une catégorie donnée. De telles représentations sont un frein aux expérimentations, d’autant que s’y ajoute souvent un frein politique dans le même sens. Dans le champ de la santé, la randomisation est la normalité, pas dans le champ social. Pour pallier aux réticences, je fais valoir que le hasard est intéressant, par sa capacité à révéler des publics et des besoins jamais identifiés, mais cela suffit rarement. Nous mettons alors en place des « jokers » : les structures évaluées pourront décider par exemple de sortir de l’évaluation certaines personnes, ce qui ne fausse guère les résultats et permet de trouver un terrain d’entente. Des aménagements et négociations sont donc nécessaires pour faire accepter le principe de la randomisation.

Ma conviction est qu’il serait intéressant de créer un observatoire dans une logique transverse aux politiques de la collectivité, et non dans une logique sectorielle. Pour réaliser ses politiques, le Grand Lyon élabore de nombreux programmes d’action, qui forcément se marchent un peu les uns sur les autres, ce qui pourrait être davantage le cas avec les compétences prises au 1^er janvier 2015 par la Métropole. La mise en place d’un observatoire transversal serait un moyen de produire de la cohérence en amont, à partir d’un travail sur les indicateurs de suivi des politiques menées, et en aval en montrant les points de croisement entre ces plans et programmes d’action. Un tel observatoire transversal n’existe pas à ma connaissance, ce qui existe, ce sont des observatoires locaux thématiques (social, habitat, etc.), qui fonctionnent bien au demeurant, mais selon une autre logique. L’idée ne serait pas forcément de les fusionner, mais de préciser l’échange de données, dans les deux sens, entre l’observatoire transverse et les observatoires thématiques.

Il est possible de l’alimenter tous les ans en mobilisant des données disponibles, puis en les complétant par des données plus spécifiques. Le cadre de transmission des données fournies chaque année serait formalisé, de manière à « encapsuler » les indicateurs jugés pertinents pour l’observatoire. C’est ce que nous réalisons à VizGet pour le suivi des salariés de l’hospitalisation privée. Le premier travail est de préciser ou redéfinir avec le commanditaire les objectifs de sa ou de ses politiques, pour savoir ce qui sera évalué en continu. Si l’on s’intéresse à l’efficience et la cohérence des politiques, on aura à la fois des données sur les bénéficiaires et sur les professionnels qui les mettent en œuvre. Pour définir les indicateurs, il convient ensuite d’avoir une idée précise des données existantes, donc de rencontrer les producteurs de données, par exemple les observatoires existants dans le cas du Grand Lyon. On se rendra alors compte qu’il y a des « trous », qu’il est possible ou non de combler. Dans tous les cas, il convient de partir de l’existant, de prendre connaissance des tableaux de bord que les personnes remplissent déjà, et de s’interroger sur l’information vraiment utile que l’on sollicitera.

Déjà, il est impératif de se conformer au principe déontologique de la confidentialité des données. Tout observatoire doit utiliser des données anonymisées, c’est fondamental, d’autant que l’enjeu de protection des données personnelles n’a jamais été aussi important (tendance au rapprochement des données, etc.).

Il faut aussi éviter la surenchère dans les indicateurs, pour plusieurs raisons : non seulement trop d’information tue l’information, mais les personnes qui mettent en œuvre les dispositifs sont déjà débordées. Le ras-le-bol vis-à-vis des tableaux de bord de gestion et des indicateurs de suivi des résultats qu’ils contiennent est manifeste, avec des stratégies d’évitement. Par expérience, les tableaux de bord qui marchent le mieux sont ceux où un terrain d’entente a été trouvé entre les besoins pour la gestion (ces tableaux servent d’outils de pilotage dans l’action quotidienne), et les besoins statistiques. Ils font alors sens dans les deux cas. Ce sont aussi ceux qui utilisent autant que possible des données déjà existantes, sous réserve qu'elles puissent être compilées et comparées.