Ce cahier est une initiative du groupe « Standards de qualité et déontologie » de la Société Française de l’Évaluation (SFÉ). Sa vocation première est la vulgarisation. C’est dans ce but que les présentations sont systématiquement illustrées d’exemples et que le vocabulaire technique est réduit à l’essentiel. Les auteurs du cahier ont également cherché à faire une présentation équilibrée et aussi impartiale que possible des différentes méthodes disponibles. De par son format et son modeste niveau technique, ce cahier n’est pas destiné à ceux qui recherchent une compétence dans telle ou telle méthode ou technique. Par contre, il pourra contribuer au progrès d’une « méta-compétence » permettant aux professionnels d’apprécier le caractère approprié ou non de l’usage de telle ou telle méthode dans telle ou telle situation.
Qu’elle soit quantitative ou qualitative, l’information qui sert de base à l’évaluation a besoin d’être analysée, interprétée et/ou discutée. Il s’agit de dépasser la description pour produire des connaissances et formuler des jugements. C’est particulièrement vrai pour l’analyse des impacts car il est très rare que ceux-ci soient directement observables. C’est dans ce cadre général qu’il convient de replacer la question de l’analyse des impacts. Même si l’évaluation ne s’y réduit pas, il n’est pas illogique d’en faire un enjeu central. Elle répond en effet à la première question que posent spontanément les décideurs et le public aux évaluateurs : la politique est-elle « efficace » ?
Il n’y a pas de définition unique, claire et stable du terme impact. Les termes effets, résultats et impacts ont des définitions qui se superposent, se percutent ou s’articulent. Les principales définitions et acceptions sont présentées et discutées dans ce cahier (voir 2.2). Elles convergent sur le fait que l’impact est une catégorie d’effet des interventions publiques.
C’est dans les années 1920 et 1930 que l’analyse des impacts a commencé à faire son chemin dans le domaine des politiques publiques, notamment au moyen de tests sur la taille des classes, la supervision des écoles ou l’éducation à la santé en milieu scolaire. Les principaux développements de l’analyse des impacts se sont toutefois produits au cours des cinquante dernières années qui ont vu à la fois une diversification et un approfondissement des méthodes disponibles (voir 2.3).
Le chapitre 3 montre, à l’aide de quelques contre-exemples, que l’évaluation des impacts doit reposer sur une analyse de causalité reposant sur des méthodes éprouvées, sous peine d’erreurs parfois grossières. Une dizaine de méthodes sont ensuite présentées, illustrées par des exemples et commentées sur le plan de leur utilité et de leurs conditions d’application. Les méthodes disponibles sont « basées sur la théorie » (voir 3.4) ou basées sur une comparaison « avec-sans » intervention. Dans ce dernier cas, la situation « sans intervention » (ou contrefactuelle) est elle-même observée sur un groupe de comparaison (voir 3.2) ou calculée (voir 3.3).
Les méthodes basées sur une comparaison avec une situation contrefactuelles procèdent par « attribution », c’est-à-dire qu’elles attribuent à l’action publique évaluée une proportion des évolutions ou changements quantitatifs observées dans les indicateurs d’impacts. À l’inverse, les méthodes basées sur la théorie concluent sur l’existence des impacts et en donnent une explication, mais elles ne débouchent pas sur des estimations chiffrées. Tout au plus peuvent-elle donner une indication de l’importance relative de la contribution de l’action publique par rapport aux autres facteurs explicatifs.
En majorité, les méthodes présentées sont applicables à une évaluation isolée. Cependant deux méthodes concernent la synthèse d’un ensemble d’évaluations et/ou de recherches antérieures (voir 3.5).
Le chapitre 4 présente trois exemples d’évaluations ayant répondu à des questions d’impact. Chaque exemple commence par une description de l’évaluation et de la méthode d’analyse utilisée, et se poursuit par une discussion ouverte sur cette méthode. Les thèmes de discussion concernent la qualité de l’analyse, l’adaptation de la méthode au contexte, l’utilisation des résultats d’analyse, et les questions d’éthique. La discussion de ces trois cas n’est pas structurée de façons homogènes. Il y aurait matière à un autre cahier pour présenter une plus grande variété de cas de façon plus harmonisée. Avis aux futurs contributeurs !
Le premier exemple porte sur l’évaluation d’une action collective de développement agricole mettant en œuvre des systèmes herbagers économes en intrants. Elle est fondée sur une série d’études de cas très approfondies incluant des informations qualitatives et quantitatives. Considérées dans leur ensemble, ces études de cas confirment que la plupart des impacts attendus lors de la mise en place de l’action collective ont bien été obtenus. Cet exemple montre qu’il est possible d’évaluer des impacts avec rigueur, même s’ils sont complexes, multiples, en partie indirects, et s’ils se produisent sur un pas de temps long.
Le second exemple porte sur l’évaluation du mécanisme mis en place par les États membres de l’Union européenne pour coordonner leurs politiques socio-économiques, mécanisme connu sous le nom de « Méthode Ouverte de Coordination ». L’évaluation a répondu à une demande politique très forte visant à juger cette coordination intergouvernementale au vu de ses impacts, et de fait, l’évaluation a satisfait cette demande en répondant de façon claire et argumentée aux questions posées. Dans ce cas, l’analyse de contribution a permis d’analyser les impacts dans un système compliqué (plus de vingt champs de réformes dans plus de vingt États membres) et très ouvert aux contextes nationaux et internationaux. De plus, les hypothèses testées étaient complexes et faisaient intervenir des causalités circulaires.
Le troisième exemple est emblématique de l’utilisation des méthodes expérimentale et quasi-expérimentale en France dans les dernières années. Il s’agit de l’évaluation d’une « expérimentation » du Revenu de solidarité active (RSA) par comparaison entre une série de zones tests et de zones témoins. Dans cet exemple, l’évaluation est très directement connectée à la décision politique, ce qui met en lumière les questions de distanciation et de temporalité.
Les trois exemples sont discutés sous l’angle de l’adéquation de la méthode au contexte de l’évaluation, mais ce cahier est bien loin de dégager des leçons de portée générale en la matière. Le chemin qui reste à faire est long.
Finalement, le chapitre 5 revient sur le débat qui a donné naissance à ce cahier. Depuis les années 2000, la question de l’évaluation des Evaluation des impacts Les Cahiers de la SFE n° 6 -3 – impacts a en effet acquis une grande visibilité dans les milieux de l’évaluation. La réflexion sur les méthodes en a été relancée, et les communautés d’évaluateurs ne peuvent qu’y trouver raison de se réjouir. Dans l’esprit d’animer le débat plutôt que de chercher à le clore, les auteurs du cahier reviennent dans ce dernier chapitre sur trois sujets sensibles.
La première controverse vient de ce que la méthode de l’expérimentation aléatoire contrôlée a été qualifiée de gold standard de l’évaluation des impacts par une minorité de ses promoteurs. En opposition à ce point de vue, les auteurs du cahier, et plus généralement la SFE, affirment qu’il n’y a pas d’étalon-or, mais une gamme de méthodes parmi lesquelles il faut choisir en fonction de l’objet évalué, des objectifs assignés à l’évaluation, des contraintes de temps et d’accès à l’information, et plus généralement du contexte de l’analyse d’impact. La seconde controverse tient à l’usage ambigu du terme « expérimentation ». Il peut s’entendre en effet au sens d’expérimentation sociale (modes d’action innovants inventés par des acteurs de la société civile), ou au sens d’un programme pilote appliqué sous forme de test à un petit nombre de personnes ou de territoires avant d’être étendu à grande échelle (expérimentation au sens juridique, telle qu’elle est autorisée par la réforme de la constitution de 2003), ou enfin au sens d’une méthode d’analyse de l’impact (expérimentation aléatoire contrôlée). La confusion peut naître, voire être sciemment entretenue, lorsqu’une action innovante ou un programme pilote est évalué avec un groupe de contrôle et un tirage au sort. Les enjeux d’une telle confusion sont subtils et vont probablement plus loin qu’une simple question de vocabulaire.
SOMMAIRE
Résumé
Introduction
L’évaluation des impacts : définitions et origines
L’analyse des impacts et l’évaluation
Terminologie liée aux impacts et à leur évaluation
L’évaluation des impacts : repères historiques
Les méthodes d’analyse des impacts
L’analyse des impacts doit être outillée
Groupe de comparaison
Situation contrefactuelle modélisée
Analyse basée sur la théorie
Synthèse d’analyses existantes
Exemples commentés d’évaluation des impacts
Action collective de développement agricole
Coordination des politiques socio-économiques en Europe
Evaluation du revenu de solidarité active en 2007-2009
Un débat très actif
La diversité des impacts
Multiplicité des méthodes et « gold standard »
L’expérimentation et ses multiples visages : une question collective
Peut-on expérimenter ?
L’importance des standards de qualité et de déontologie
Index
Ce cahier résulte d’un travail réalisé au sein du groupe de travail Standards de qualité et déontologie de la Société française de l’évaluation
Ont contribué à ce Cahier : Jean-Claude Barbier, Université Paris 1 et CNRS Jocelyne Delarue, AFD, Agathe Devaux-Spartarakis, centre Emile Durkheim et Euréval Nadège Garambois, AgroParisTech, UP Systèmes agraires et développement rural Benoît Lajudie, Ministère de l’Outre Mer Bernard Perret, Conseil général de l’environnement et du développement durable, Jacques Toulemonde, Sciences Po Lyon et Eureval
Une aide précieuse a été apportée par Stéphanie Breton, Simon Gagnage, Pierre Padilla, Ximena Rodriguez et Laure Tougard.