Corinne Hooge : « En matière d’évaluation, la satisfaction des usagers est une brique qui doit être croisée avec d’autres angles d’analyse »

Dans la sphère des politiques publiques, on parle peut-être de plus en plus de l’évaluation, mais derrière ce terme, on met beaucoup de choses différentes, qui ne sont pas toujours strictement de l’évaluation. Pour certains, il s’agit simplement de mesurer la satisfaction des usagers. On peut retrouver aussi le simple bilan, qui fait état de ce qui a été réalisé, à quel coût, mais qui ne dit pas en quoi ça a changé la donne au niveau du problème identifié au départ, ce que ça a transformé. L’évaluation peut s’intéresser par exemple aux effets au niveau des usagers (la mesure répond aux besoins, elle est efficace), mais aussi au niveau du fonctionnement partenarial (Les orientations sont-elles lisibles ? Agit-on de manière cohérente ? Les instances de coordination permettent-elles d’aborder les sujets qui comptent, etc.). Dans la transformation publique, on s’intéresse beaucoup aux modes de faire.

Je ne sais pas si l’on peut dire que les usagers d’aujourd’hui sont plus « exigeants », je crois surtout que leurs attentes se sont diversifiées, et les pratiques d’évaluation ont d’ailleurs suivi ce mouvement pour élargir leur champ d’analyse. Au début des années 90, l’évaluation est née dans le cadre de la mise en place du RMI, avec une approche très scientiste, basée sur des batteries d’indicateurs, sans que l’on ne sache trop quoi faire des résultats. Petit à petit, elle a atterri dans les collectivités territoriales, d’abord au niveau des régions, puis des départements et des métropoles. La nature des questionnements et les méthodes ont évolué. Je dirais que l’évaluation est devenue plus pragmatique. Par exemple, la question du lien entre évaluation et usagers s’est posée plus fortement à partir du moment où on est arrivé dans des collectivités qui proposaient des services plus directement tournés vers le public.

Ensuite, selon les moments, la nature des collectivités et les commandes politiques, on a développé des pratiques différentes de l’évaluation. À l’origine, l’évaluation a souvent été considérée comme un moyen de renforcer la transparence de l’action publique, et donc de la démocratiser. Aujourd’hui, on constate que peu de collectivités lient évaluation et participation citoyenne. L’évaluation est plutôt au service de la performance de l’action publique, en appui au pilotage. Ce qui ne veut pas dire que la préoccupation « usagers/bénéficiaires » ne soit pas présente, bien au contraire. L’évaluation permet d’interroger des bénéficiaires, des opérateurs qui conduisent l’action en partenariat avec nous ou parfois pour nous, et nos partenaires. On cherche à en tirer des enseignements, qui peuvent nous aider à savoir si on est bien sur des actions qui répondent à des besoins, mais aussi à comprendre comment on peut mieux se coordonner, être plus cohérent. On cherche alors davantage à questionner des freins, là où on a des interrogations, pour améliorer l’action.

Après, la finalité démocratique de l’évaluation n’est pas nécessairement incompatible avec la recherche d’une plus grande performance. Mais il y a des incidences dans la manière dont la méthodologie est développée, et la manière dont l’évaluation est sollicitée et restituée est quand même différente. Dans ce domaine, très peu de collectivités ont un volet démocratique important. La plus avancée reste Nantes, mais la grande majorité des services Évaluation en France sont plutôt tournés vers la transformation de l’action publique.

Tout ne peut pas reposer pas sur l’avis des bénéficiaires. Pour moi, la mesure de la satisfaction des usagers n’est pas à proprement parler de l’évaluation. Elle en est une brique qui doit être croisée avec d’autres angles d’analyse, et notamment le projet politique de la collectivité, les orientations opérationnelles et le standard que l’on considère comme possible d’assurer, au regard des moyens alloués. En évaluation, on part d’une politique publique, d’une intention politique initiale. Par exemple, dans le champ du social, l’accès au droit, c’est quelque chose d’important. Assurer la dignité des personnes que l’on reçoit aussi, et cela, c’est une priorité qui est fixée par la collectivité, et qui se traduit dans son organisation et le service rendu.

Au niveau des usagers, il peut y avoir des attentes de standards qui ne sont pas complètement les mêmes que ceux de la collectivité, par exemple avec quelqu’un qui demanderait une aide financière directe, alors que la politique de la collectivité vise plutôt à l’amener à l’autonomie, et apporte son aide de manière différente. Autre exemple, plus problématique, l’accès au logement social, alors qu’il n’existe qu’un logement disponible pour neuf demandes. Il peut donc y avoir des écarts. Donc bien sûr, c’est important de  connaître le degré de satisfaction des usagers. C’est un thermomètre parmi d’autres, et à la Métropole de Lyon, le service Usages et Expérimentations le mesure chaque année sur des sujets précis avec ses baromètres : à intervalle régulier, on mesure les représentations et pratiques des habitants ainsi que l’appropriation de nos services. C’est intéressant de nous interroger sur ce qui est important pour eux. Mais les critères de réussite d’une politique publique tiennent aussi aux orientations que se fixe la collectivité elle-même, aux moyens alloués. Il faut bien avoir conscience qu’on n’a pas forcément tous les leviers pour satisfaire les demandes. Pour objectiver un sujet comme la qualité de l’accueil, la première étape est de repartir des standards idéals de la collectivité.

À la base, dans une délibération par exemple, les objectifs sont rarement fixés de manière  très précise. À l’exception du domaine environnemental, où on peut dire que l’on veut réduire de tant de pourcents la quantité de déchets incinérés, ou augmenter de tant de pourcents notre part d’énergie renouvelable, ils sont souvent formulés comme des orientations, un cap à suivre. Dans le champ du social, c’est bien plus compliqué d’avoir ce genre de repères précis.

Dans tous les cas, la première étape d’une évaluation est de repartir des objectifs initiaux, d’identifier les réalisations qui en ont découlé, pour se projeter dans les effets que l’on pouvait en attendre dans l’idéal. Les échanges autour de cette reconstruction de ce que les évaluateurs appellent la « logique d’action » permet de définir les questions précises auxquelles le travail d’évaluation devra répondre. Il s’agit des points clés de l’amélioration et du rendu-compte de la politique. On compare ensuite les résultats obtenus à ceux escomptés.

Il faut bien comprendre qu’il faut choisir ce que l’on veut évaluer, et pour quoi faire. On ne fait pas du 360°. Si on regarde tout, on ne regarde rien. Par contre, on peut être multi-angles. On peut regarder à la fois des questions de coûts/bénéfices et des questions d’ergonomie d’espaces. Autre point, on recourt à l’évaluation lors des étapes charnières d’un projet, pour passer par exemple d’une phase d’expérimentation à une phase de déploiement, ou en fin de cycle. C’est ce qui fait la différence avec le suivi des politiques publiques, qui concerne plus des choses récurrentes et continues.

La deuxième étape consiste à traduire ces questions en critères de réussite – par exemple, l’accueil social est réussi si les usagers peuvent se rendre facilement à la MDM, s’ils sont reçus dans des conditions satisfaisantes, s’ils comprennent ce que les services sociaux peuvent leur apporter, etc. Ensuite, ces critères sont traduits en indicateurs qualitatifs – si je poursuis mon exemple, les perceptions des usagers, des agents d’accueil et travailleurs sociaux, des acteurs sociaux du territoire, …- et quantitatifs – l’accessibilité des services, en fonction de la desserte des transports en commun, l’amplitude et la fiabilité des horaires, les délais pour obtenir un rendez-vous, etc. C’est donc un croisement entre des critères quantitatifs et critères qualitatifs, qui permettent de dire si l’accueil est satisfaisant ou non. C’est important de croiser ces approches quantitatives et qualitatives, parce que les chiffres ne confirment pas toujours le ressenti, et inversement. On tend à l’objectivité en croisant des faisceaux d’indices. Cette manière d’évaluer est aujourd’hui la plus répandue dans les collectivités locales.

Oui, il existe d’autres approches, dites « contrefactuelles », où l’on va chercher à isoler l’effet d’une action. Pour ce faire on constitue deux groupes homogènes. La mesure bénéficiera à l’un d’entre eux et on suivra l’évolution des deux groupes dans le temps. Cette méthode se rapproche  de ce qui se pratique dans la recherche médicale, avec un groupe qui teste le médicament et un groupe témoin qui reçoit un placébo. On pourrait employer ce type d’approche pour évaluer l’efficacité d’une aide sociale, mais peu de collectivités le font, notamment pour des raisons éthiques. C’est assez compliqué à justifier. Très souvent, on recherche plutôt les effets de contribution : en quoi une action mise en place par la collectivité a permis d’améliorer les choses, et quelles sont les marges de progrès.

Enfin, toute évaluation se termine à minima par des pistes de réflexion assez opérationnelles, ou des préconisations. C’est une des différences par rapport à la prospective, qui ouvre plus sur du débat. L’évaluation va jusqu’à pointer plus ou moins précisément les améliorations possibles, selon la nature des projets. La visée est clairement plus opérationnelle.

Au niveau des ressources, je m’appuie sur des cabinets d’évaluation, des experts plus ou moins spécialistes de certains champs de politiques publiques, mais qui sont quand même plutôt des généralistes. Quand je veux plus pousser la réflexion sur certains aspects, je peux m’appuyer sur des sociologues ou des psychologues-sociaux, qui peuvent avoir des qualités de mise en relation avec certains publics sans doute plus adaptées qu’un évaluateur. Ça nous apporte des choses extrêmement riches, de manières souvent plus globales. Justement, les qualités des généralistes constituent aussi leurs limites. C’est l’avantage de travailler au sein de la Direction de la Prospective et du Dialogue public : je peux m’appuyer sur les compétences et les ressources des autres services, qu’il s’agisse de la Prospective des politiques publiques ou des Usages et expérimentations.

Ces différents consultants, je les fais rentrer le plus tôt possible dans le processus, pour qu’ils comprennent au mieux les contextes des politiques dans lequel leur travail s’inscrit. Sur des évaluations complexes, je les mobilise d’entrée de jeu pour animer les ateliers qui vont permettre à chacun de s’exprimer pour définir la feuille de route du projet d’évaluation. À ce moment-là, il ne s’agit pas de palier des manques de compétences en interne, mais de s’appuyer sur le regard du tiers extérieur, qui peut rassurer tout le monde. Les experts, de par leur expérience, sont aussi là pour nous dire dans certains cas « Vous voulez savoir ça, mais je peux déjà vous dire qu’on ne sera pas en mesure d’apporter une réponse objectivée ». Cela permet aussi de rationaliser les attentes.

Au maximum, j’essaye de travailler au plus près des référents et principales parties-prenantes des politiques ou projets évalués. Le cahier des charges est coproduit avec le service commanditaire, et idéalement au sein du comité technique, avec les partenaires associés au pilotage opérationnel. Les élus responsables sont consultés, et éventuellement certains opérateurs ou acteurs clés. Par exemple pour l’évaluation du Pacte de cohérence métropolitain, quelques maires de la majorité et de l’opposition avaient été consultés dès la phase de cadrage, pour vérifier que les axes de l’évaluation correspondaient bien à leurs préoccupations. Cette approche évite les incompréhensions et une évaluation « hors sol ».

Ensuite, les services restent mobilisés tout au long du processus, ne serait-ce que pour faciliter l’accès aux données métiers, aux contacts à rencontrer, etc. Des réunions partenariales sont tenues aux étapes clés, pour partager des résultats intermédiaires, comprendre les avancées et les freins, et se projeter collectivement dans ce qu’il est possible d’améliorer.

Mon rôle, en tant que chargée d’évaluation interne, est de travailler à la commande d’évaluation, d’assurer l’interface entre les commanditaires et les prestataires et de fluidifier le processus. Le démarrage est un moment clé, avec les élus et les services, pour qualifier le besoin. Ensuite, il y a le cadrage de l’évaluation à conduire, et je joue ensuite, tout au long du processus, un rôle de « traductrice » entre les parties. Je connais bien l’environnement métropolitain, donc je peux me permettre de poser des questions sur des points qui me semblent importants et qui ne viennent pas spontanément dans la discussion. Ce faisant, je participe donc aussi à l’orientation de l’évaluation. J’interviens aussi auprès des consultants, qui peuvent arriver avec des idées raccourcies, à nuancer leur jugement, en restant garante de la déontologie de l’évaluation.

Au niveau de la production des résultats, j’interviens assez peu. Je veille au respect des délais, j’assure la continuité en cas de changement du chef de projet par exemple. Par contre, à la fin, j’interviens beaucoup : je suis la première à lire le rapport d’évaluation, on a une série d’aller-retours pour obtenir la forme attendue. Ensuite, j’écris les synthèses et je travaille avec les services dans la manière dont ils vont se servir de toute cette matière. Souvent, alors que les consultants sont sortis du jeu, je poursuis encore longtemps le travail, pour favoriser l’appropriation des résultats obtenus.

Une démarche d’évaluation, c’est une période particulière dans la vie d’un projet, et c’est un temps qui permet de révéler l’intelligence critique des agents. De même, avoir un tiers, que ce soit la DPDP ou des experts, qui met à plat la diversité des représentations autour d’un sujet, ça crée de bonnes bases de discussion. Ça permet également de rationaliser les objectifs, par rapport à certaines attentes qui peuvent s’avérer trop fortes pour X raisons, et n’oublions pas que cela peut être aussi une occasion de reconnaître la qualité du travail mené. C’est un processus d’objectivation, qui permet à tous les acteurs de mieux comprendre le sens de ce à quoi ils participent, et donc de mieux savoir comment y jouer leur rôle.