Voisinages : de la confusion à la complémentarité. Évaluation, audit de performance, pilotage de la performance, management par la qualité

Ce cahier traite de quatre activités qui concourent à la conception, au pilotage et à l’amélioration des politiques publiques : l’audit, l’évaluation, le management par la qualité, et le suivi (ou pilotage). Ces activités se recouvrent en partie, mais elles sont cependant identifiables, ne serait-ce que par les différentes communautés professionnelles qui s’y reconnaissent.

La confusion entre activités est entretenue par le fait que chacune d’elles multiplie ses formes d’exercice et se cherche en évoluant. Cela conduit par exemple à ce que des praticiens de deux professions définissent leurs activités réciproques de façon contradictoire, qu’un même mot recouvre des réalités différentes, ou même qu’on ne sache pas encore nommer certaines pratiques nouvelles.

La confusion n’est pas seulement un état de fait ou un désagrément, elle est également porteuse de conséquences concrètement dommageables. Elle conduit en effet à ce qu’une même pratique soit exercée par les personnes se réclamant de plusieurs professions, appliquant des méthodes différentes, et n’ayant pas les mêmes références en matière de qualité et de déontologie.

Ce travail de clarification a été conduit de façon collaborative avec l’aide de praticiens appartenant aux quatre activités étudiées, de façon ouverte en s’appuyant sur des points de vue internationaux, et de façon empirique en partant d’exemples de bonnes pratiques reconnues par les associations professionnelles concernées.

Après une introduction au débat, ce cahier donne la parole à des professionnels qui sont en position d’interface entre plusieurs activités. Il s’agit d’abord de Jeremy Lonsdale (National Audit Office, Londres) et de Sylvie Trosa (Institut de la gestion publique et du développement économique et IEP de Paris). Tous deux réfléchissent aux ressemblances et aux différences entre l’audit de performance et l’évaluation. Juliette Amar (Délégation générale à l’outre-mer, AFIGESE, SFÉ) propose ensuite son point de vue sur le contrôle de gestion et l’évaluation. Enfin, Ville Valovirta et Petri Virtanen décrivent et distinguent le management par la qualité et l’évaluation. Ils ont une expérience concrète de ces deux activités dans leur pays (Finlande) ainsi qu’au niveau européen (EFQM).

Le cahier présente ensuite quatre « exemples types » d’audit, d’évaluation, de management par la qualité, et de suivi / pilotage. Ces exemples ont en commun de s’appliquer à des politiques publiques (et non pas à des services ou à des organisations) et d’avoir été affichés comme des bonnes pratiques par les professions concernées. Tous ont porté un jugement sur les résultats des politiques concernées en vue de proposer des améliorations. Il s’agit de l’audit de performance (dit audit de modernisation) de l’enseignement technique agricole, du pilotage de la performance de la politique d’insertion en Val d’Oise, du management par la qualité de la politique des sports en Corrèze, et de l’évaluation de l’aide au développement des PME en Rhône-Alpes.

En se basant sur une analyse comparée de ces quatre exemples, et en prenant en compte les points de vue exprimés par J.Amar, J.Lonsdale, S.Trosa, V.Valovirta and P.Virtanen, on arrive à identifier sept critères qui peuvent aider à caractériser une pratique particulière, sachant que les critères s’appliquent de façon nuancée (plutôt oui ou plutôt non) bien plus souvent que de façon dichotomique :
– Objet de la pratique : une politique ou une organisation
– Attitude du praticien : portant un jugement ou non
– Orientation de la pratique : vers la règle ou le résultat
– Finalité de la pratique : étendue à une remise en cause ou non
– Perspective de la pratique : incluant un débat ouvert ou non
– Regard du praticien : interne ou distancié
– Point(s) de vue mobilisés par la pratique : unique ou pluriel
– Référentiel du praticien : préexistant ou construit
– Rythme de la pratique : récurrent ou occasionnel
– Portée de l’analyse effectuée dans le cadre de la pratique : étendue aux impacts ou non.

Si l’on parle des activités en général comme l’audit, l’évaluation, etc., force est de reconnaître qu’elles sont multiformes et ont des zones de recouvrement parfois importantes. Il faudrait donc caractériser toutes les formes de toutes les activités pour identifier les critères qui sont les plus discriminants et qui révèlent leurs valeurs ajoutées respectives, mais cela n’a pu être fait à ce jour que de façon très rapide. Sur cette base encore fragile, les auteurs de ce cahier suggèrent de définir la valeur ajoutée de chaque activité comme suit :
– L’audit de performance recherche et identifie des dysfonctionnements et en examine les causes, notamment dans un souci d’imputabilité en vue d’apprécier la performance des institutions concernées. Pour autant que les impacts de l’action publique sont concernés, l’audit de performance se contente généralement d’hypothèses explicatives plutôt que de réaliser des analyses approfondies
– L’évaluation se préoccupe moins de juger les institutions que d’améliorer les politiques. Elle peut cependant aller jusqu’à questionner la raison d’être des actions publiques qu’elle examine. Elle étend ses analyses aux impacts avec une forte exigence méthodologique
– Le management par la qualité vise à l’adaptation de la politique examinée aux besoins des destinataires, au juste coût, par une démarche d’amélioration continue. Il privilégie le point de vue des destinataires4 tout en intégrant l’examen et l’analyse des faits de court et de long terme ainsi que le point de vue des agents.
– Le pilotage de la performance vise également l’amélioration continue de la politique examinée. Par contre, il privilégie le jugement porté du point de vue de l’atteinte efficiente des objectifs. Ceux-ci sont exprimés en termes de résultats

Le rythme des activités crée à l’évidence une première différence et une première complémentarité. L’audit de performance et l’évaluation des politiques sont réalisés occasionnellement ou à des intervalles de temps de plusieurs années. Ils ont de ce fait la possibilité de réaliser des analyses plus difficiles, d’envisager des remises en cause plus profondes, et de conduire à des réformes plus substantielles, toutes choses qu’il est moins facile de faire dans une démarche d’amélioration en continu5 . À l’inverse, le management par la qualité et le pilotage de la performance ont un meilleur potentiel de mobilisation des acteurs, une capacité d’alerte avancée, et une congruence avec la temporalité courte des mandats électoraux, toutes choses qu’on ne peut pas attendre d’un exercice qui intervient tous les cinq ans ou même plus rarement.

L’audit de performance et l’évaluation des politiques sont complémentaires dans le sens où la première de ces deux activités cherche à imputer les problèmes identifiés aux institutions qui en sont responsables tandis que la seconde analyse des impacts qui relèvent le plus souvent d’une responsabilité partagée et donc d’un apprentissage collectif.

La complémentarité entre le pilotage de la performance et le management par la qualité est probablement plus difficile à cultiver pour une même politique dans la mesure où les deux activités sont récurrentes et visent à une amélioration continue, mais ont des perspectives fort différentes. Faut-il privilégier l’une ou l’autre en fonction des enjeux de la politique concernée, ou au contraire construire des systèmes hybrides ? Dans le second cas, il faudrait articuler deux façons de juger qui sont complémentaires, mais pas automatiquement compatibles, c’est-à-dire un jugement plutôt unidimensionnel porté en fonction de l’obtention efficiente du résultat attendu (pilotage), ou un jugement ouvert aux points de vue éventuellement multiples des publics destinataires (qualité).

Ce cahier se termine sur la question d’une éventuelle convergence entre activités. Pour trois d’entre elles (audit, qualité, suivi/pilotage), on observe des trajectoires en partie parallèles avec une transition depuis la gestion privée vers la gestion publique, puis une deuxième transition, actuellement en cours, depuis les organisations publiques vers les politiques publiques, terrain sur lequel est née l’évaluation il y a une quarantaine d’années aux Etats-Unis. Ces mouvements de longue période vont-ils conduire à unifier les pratiques et les institutions, et à créer une méta-profession ? … ou bien aura-t-on intérêt à maintenir des activités distinctes, dotées de leurs propres critères de qualité et de leurs propres principes déontologiques, bref à maintenir des professions différentes ? Le débat reste ouvert.

SOMMAIRE
Introduction
Sommaire
Résumé

Introduction au débat
Pourquoi ce cahier ?
Les activités étudiées
Une démarche empirique

Evaluation et audit : l’exemple des pays anglo-saxons, J. Lonsdale et S. Trosa
En quoi l’audit se distingue-t-il de l’évaluation ?
Vers un rapprochement entre audit et évaluation ?
Nécessité d’un soutien institutionnel à l’évaluation

Différences entre évaluation et contrôle de gestion, J. Amar
Trois démarches articulées : le cas du RMI
Cinq critères de différenciation
Conclusion : distinguer ou créer des ponts ?

Evaluation et management & auto-appréciation de la qualité, V. Valovirta et P. Virtanen
Introduction
Origines et atouts
Quelques similitudes conceptuelles et différences pratiques
Intégration souple de l’évaluation et du management de la qualité : une mission possible ?

Analyse empirique de quatre exemples
Une définition et des caractères communs
Présentation des quatre exemples
Caractères distinctifs
Profils des quatre exemples

Conclusion d’étape
Comment caractériser une pratique donnée ?
Valeurs ajoutées et complémentarités
Vers une convergence ou une spécialisation ?

Ce cahier résulte d’un travail mené en partenariat entre le SFÉ et notamment son groupe Standards de qualité et déontologie, l’Association FInances – GEStion – Évaluation des Collectivités Territoriales (AFIGESE) et France Qualité Publique (FQP).

DIRECTEUR DE LA PUBLICATION : Annie Fouquet, présidente de la SFE
MISE EN PAGE : Stéphanie Breton
COORDINATION DU CAHIER : Jacques Toulemonde
EQUIPE DE REDACTION : Jacques Toulemonde, Gaëlle Baron, Jean Claude Barbier, Annie Fouquet, Catherine Gerhart, Benoît Lajudie, René Padieu, Stéphane Paul, Bernard Perret, Michael Ruleta et Carole Ryckewaert
ONT EGALEMENT CONTRIBUE A CE CAHIER : Juliette Amar, Jean Claude Barbier, Erick Blanchard, Colette Couture Neulat, Bertrand de Quatrebarbes, Jean Louis Dethier, Dominique Gagey, Catherine Gerhart, Jeremy Lonsdale, Hélène Milet, René Padieu, Stéphane Paul, Bernard Perret, Michael Ruleta, Sylvie Trosa, Ville Valovirta et Petri Virtanen.