L'un des outils les plus utiles pour préparer un plan de S&E consiste à élaborer une théorie décrivant la manière dont votre projet pourra atteindre ses extrants ainsi que les résultats et les impacts associés. C'est ce qu'on appelle souvent une "théorie du changement". L'élaboration d'une théorie du changement vous permettra d'établir les processus de suivi et d'évaluation appropriés.
Qu'est-ce qu'une théorie du changement ?
Une théorie du changement décrit la manière dont votre projet propose de générer un changement de comportement ou des résultats sur la santé en décrivant une série d'événements progressifs ayant un lien de causalité. Pour élaborer une théorie du changement, il convient d'adopter une approche de "cartographie à rebours" : il s'agit de partir du résultat recherché puis de remonter et d'identifier les mesures à prendre à court et moyen terme afin d'atteindre ce résultat. Une théorie du changement se fonde sur des hypothèses définissant ce qu'il faut faire, en tenant compte de la manière dont le contexte peut favoriser ou entraver le succès de l'intervention.
Source : Matthew Freeman
Il existe une foule de termes pour décrire les différentes composantes d'une théorie du changement. Les organisations peuvent utiliser différentes structures pour comprendre la nature causale de la théorie du changement, notamment des cadres logiques et des chemins d'impact.
Voici les termes et les définitions employés dans cette ressource :
Intrants : Les éléments bruts requis par votre projet (p. ex. l'argent, les matériels, l'expertise technique, la formation, les relations et le personnel) en vue d'exécuter les activités et d'atteindre les extrants et les objectifs.
Activités : Le processus ou les actions entrepris pour transformer les intrants et les ressources en extrants comme souhaité.
Extrants : Les résultats directs des activités du projet. L'ensemble des extrants comprend tout ce qui peut être réalisé pendant la période de la subvention et qui est lié aux objectifs et aux buts.
Résultats : Énoncés spécifiques des avantages qu'un projet ou une intervention prévoit d'apporter. Ces résultats doivent soutenir le but, être mesurables, assortis de délais et spécifiques au projet. La plupart des projets poursuivent plusieurs objectifs.
Impact : Il s'agit du défi à long terme et à grande échelle que votre programme contribuera à relever.
L'utilisation des intrants et la réalisation des activités du projet formeront une cascade d’événements dont les extrants conduiront à des résultats comportementaux et des impacts sur la santé. Si nous n'obtenons pas le changement escompté à l'aide d'un projet, nous sommes face à, soit un "échec de la théorie" (notre théorie du changement était erronée) soit à un "échec de la mise en œuvre" (nous n'avons pas exécuté le projet correctement). L'évaluation du processus permet de déterminer s'il s'agit d'un échec de la mise en œuvre. Le S&E associé à la théorie du changement peut contribuer à déterminer s'il s'agit d'un échec de la théorie.
Un exemple concret de théorie du changement appliquée à un projet de changement de comportement en matière de lavage des mains
Voici un exemple de théorie du changement simplifiée pour le lavage des mains au savon dans la perspective du contrôle de la COVID-19. La théorie réelle du changement pour tout projet individuel peut être plus spécifique, et devrait inclure des indicateurs plus mesurables.
Source : Matt Freeman
Suivi et évaluation et théorie du changement
Une théorie du changement bien formulée peut être utilisée pour documenter les activités de suivi et d'évaluation. Le suivi est un processus continu qui doit se concentrer en priorité sur les indicateurs associés aux activités et aux extrants. Il peut également comprendre des évaluations périodiques des résultats du projet. L'évaluation porte essentiellement sur les dernières étapes de la théorie du changement, qui évalue les résultats et les impacts. Les composantes de l'évaluation dépendront du type de l'évaluation.
On peut employer plusieurs types d'évaluations au cours de l'élaboration, de l'exécution et de l'évaluation des interventions menées dans le cadre de la COVID-19. Ils se définissent comme suit :
Évaluation du processus : Documente la façon dont un projet est mis en œuvre et ce qui a été réellement fourni par rapport aux plans prédéfinis. Les évaluations de processus s'intéressent souvent aux aspects suivants :
Fidélité et qualité – Évalue dans quelle mesure le projet a été mis en œuvre conformément aux plans (p. ex., est-ce que toutes les étapes définies dans la proposition initiale ou le manuel de projet ont été exécutées).
Achèvement – Se rapporte au nombre d'activités du projet qui ont été exécutées comme prévu. S'agissant de projets d'hygiène, cela pourrait inclure le nombre de kits d'hygiène distribués, le nombre de familles visitées ou le nombre d'annonces diffusées à la radio. On parle parfois de la "dose administrée".
Exposition – Décrit l'ampleur et la fréquence de la participation active de la population cible aux activités du projet. S'agissant de projets d'hygiène, cela pourrait inclure l'utilisation et l'usage continu de kits d'hygiène, la participation à des séances de formation ou les visites à domicile, ainsi que le nombre de personnes qui ont entendu les messages dans les médias. On parle parfois de la "dose reçue". L'exposition diffère de l'achèvement car elle se concentre sur la participation réelle. Par exemple, pour documenter l'achèvement, vous pouvez indiquer que les messages à la radio ont été diffusés 50 fois, mais en évaluant l'exposition, vous constaterez peut-être que la population cible n'a pas entendu ces messages car cette station de radio ne touche pas un large auditoire.
Acceptabilité et satisfaction – Décrit dans quelle mesure les participants et les membres de la communauté ont eu le sentiment que le projet s'attaquait à des problèmes pertinents pour eux et avait été exécuté d'une façon qui leur semblait acceptable et appropriée.
Inclusivité – Détermine dans quelle mesure votre projet a atteint les personnes qu'il avait prévu de toucher, notamment les groupes vulnérables. Pour en savoir plus sur la façon de rendre des projets inclusifs, voir ces ressources.
Des définitions et des informations plus détaillées sur tous ces termes liés à l'évaluation du processus sont disponibles ici. Vous trouverez aussi toute une série de ressources sur les évaluations de processus sur ce site Internet.
Évaluation de l'adéquation : Ces évaluations déterminent dans quelle mesure un programme ou un projet a atteint les cibles prédéfinies au sein de la population concernée. Il peut s'agir de cibles comportementales (p. ex., le pourcentage de la population qui pratique le lavage des mains à des moments clés), de cibles d'accès ou de cibles sanitaires. Dans une évaluation de l'adéquation, le succès se mesure par rapport à des cibles prédéfinies établies au début des activités du projet. Dans la mesure où les évaluations d'adéquation ne comparent pas les projets à un groupe de contrôle, une évaluation d'adéquation ne peut pas déterminer ce qui se serait passé si le projet n'avait pas eu lieu (ce qui est important pour déterminer la causalité). Ainsi, les évaluations d'adéquation n'indiquent pas directement si le projet est la cause des changements mesurés dans la population concernée. Cependant, si l'évaluation de l'adéquation mesure des indicateurs directement liés aux activités et aux extrants du projet, et si aucun autre projet n'est en cours dans cette région, on peut en conclure que les changements résultent probablement du projet.
Évaluation de l'impact : Références dans le domaine de la santé publique, les évaluations d'impact (qui comprennent des essais randomisés ou des études quasi-expérimentales) déterminent si une intervention, un projet ou un programme a statistiquement affecté un indicateur d'intérêt clé (p. ex. la santé). Il s'agira souvent de mesurer les résultats à moyen et long terme, et d'examiner les causes et les effets en vue de comprendre si les changements en matière de comportement ou de santé peuvent être attribués à l'intervention. Les évaluations d'impact exigent la présence un groupe de contrôle, c'est-à-dire un ensemble d'unités (p. ex. familles, communautés, écoles) qui n'ont pas bénéficié de l'intervention. Ces types d'évaluations peuvent s'avérer coûteuses et compliquées. Il peut être impossible ou déconseillé d'utiliser des évaluations d'impact dans le contexte de la COVID-19.
Pour en savoir plus sur l'évaluation de l'adéquation et de l'impact (plausibilité et probabilité) nous recommandons la lecture de cet article qui explique clairement non seulement ce qu'il convient de mesurer pour ce type d'évaluation, mais également ce qui peut être revendiqué ou démontré par chaque type d'évaluation.
Source : Matt Freeman
Vous voulez en savoir sur les principes généraux de suivi et d'évaluation des projets d'hygiène en lien avec la COVID-19 ?
Notes de révision
Rédigé par : Matt Freeman, Sian White, Fiona Majorin
Vérifié par : Peter Winch, Katie Greenland, Karine Le Roch
Article mis à jour le : 02/07/2020