La participation à l’évaluation : du concept à la mesure

La popularité croissante des approches participatives représente une tendance lourde dans le champ de l’évaluation des politiques. La prolifération des définitions et des termes utilisés pour désigner la participation génère cependant beaucoup de confusion chez les chercheurs et praticiens du domaine. Il n’existe en outre aucun instrument de mesure adéquat de la participation, ce qui freine l’avancement des connaissances.
Trois questions de recherche structurent cette thèse :
1) Qu’est-ce que la participation à l’évaluation?;
2) Comment traduire ce concept en un instrument de mesure opérationnel?;
et 3) Est-ce que cet instrument mesure la participation de manière fidèle et valide ?
Une conceptualisation cohérente de l’évaluation participative s’inscrivant dans la foulée des travaux de Cousins et Whitmore (1998) est d’abord proposée. Cette conceptualisation, fondée sur la logique des conditions nécessaires et suffisantes, est opérationnalisée en un instrument de mesure de la participation.
L’instrument (Participatory Evaluation Measurement Instrument – PEMI) fait ensuite l’objet d’une validation empirique à partir d’un échantillon de 40 cas d’évaluation tirés de la littérature et d’un sondage auprès de leurs auteurs. Trois éléments sont appréciés quantitativement : 1) la fidélité intercodeur; 2) la convergence des scores des codeurs et desauteurs sur le PEMI; et 3) la convergence des scores des auteurs sur le PEMI et un instrument de mesure alternatif. De manière générale, cette étude suggère que le PEMI génère des scores dont la fidélité et la validité sont d’un niveau acceptable. Troisièmement, une étude de validation du PEMI combinant méthodes qualitatives et quantitatives est présentée. Le recours aux méthodes mixtes a généré un cycle inattendu –mais bénéfique – de révision de l’instrument et de validation quantitative supplémentaire. Les résultats de validation suggèrent que la version révisée du PEMI, désormais fondée sur une structure conceptuelle hybride, est plus en phase avec l’opinion des répondants quant au niveau de participation des cas d’évaluation. La valeur ajoutée des méthodes mixtes à des fins de validation est également discutée