Quelle est la différence entre le suivi et l'évaluation ?
Ce document traite des principes de suivi et d'évaluation (S&E) et des moyens pratiques de les appliquer à l'hygiène lors des interventions contre les maladies infectieuses. Nous fournissons également quelques principes généraux permettant de comprendre si votre projet a un impact sur les comportements préventifs pertinents.
Le suivi et l'évaluation permettent d'évaluer les performances d'un projet. Le suivi et l'évaluation doivent être considérés comme un processus unique, utilisant des données collectées de manière continue et à différents moments. Les données de suivi et d'évaluation favorisent l'apprentissage et la responsabilisation de toutes les parties prenantes, y compris les bailleurs de fonds, les bénéficiaires, les responsables de la mise en œuvre et les décideurs politiques.
Le suivi est un processus continu de collecte de données tout au long du cycle de vie d'un projet. Il implique la collecte, l'analyse, la communication et l'utilisation d'informations sur l'avancement du projet. Les systèmes et procédures de suivi doivent fournir les mécanismes permettant de fournir les bonnes informations aux bonnes personnes au bon moment, afin de les aider à prendre des décisions éclairées sur l'avancement du projet. Les données de suivi doivent mettre en évidence les forces et les faiblesses de la mise en œuvre du projet et permettre de résoudre les problèmes, d'améliorer les performances, de tirer parti des succès et d'adapter les projets à l'évolution des circonstances. Souvent, les données de suivi de routine alimentent les évaluations de processus décrites ci-dessous.
L'évaluation consiste à déterminer systématiquement si un projet atteint les buts et objectifs fixés lors de sa conception et/ou dans quelle mesure le programme a produit les résultats et l'impact escomptés au sein de la population cible et si des résultats ou un impact imprévus en ont résulté. Veuillez consulter cette ressource pour obtenir des définitions détaillées de chacun de ces éléments. Les évaluations ont souvent lieu au début, à mi-parcours et à la fin. L'évaluation se distingue du suivi et de l'examen régulier par les caractéristiques suivantes :
Portée : Les évaluations sont généralement conçues pour répondre à des questions ciblées visant à déterminer si les résultats et les impacts du projet ont été atteints, comment ces impacts ont été obtenus, si les objectifs et les stratégies appropriés ont été choisis et si l'intervention a été mise en œuvre comme prévu.
Le calendrier : Les évaluations sont moins fréquentes et ont le plus souvent lieu à des moments précis du cycle du projet.
Personnel impliqué : Les évaluations sont souvent réalisées par du personnel externe ou indépendant afin de garantir une plus grande objectivité. En effet, si le personnel du projet effectue l'évaluation, les résultats peuvent être biaisés.
Utilisateurs des résultats : Les évaluations peuvent être utilisées par les planificateurs et les responsables concernés par les questions de politique stratégique et de programmation, plutôt que par les seuls gestionnaires responsables de la mise en œuvre des projets.
Qu'est-ce qu'une "théorie du changement" et comment informe-t-elle le suivi et l'évaluation des programmes ?
L'un des outils les plus utiles pour élaborer un plan de suivi et d'évaluation consiste à développer une théorie sur la manière dont votre projet est susceptible d'atteindre ses résultats et les effets et impacts associés. C'est ce que l'on appelle souvent une "théorie du changement". L'élaboration d'une théorie du changement vous permettra de mettre en place des processus de suivi et d'évaluation appropriés.
Qu'est-ce qu'une théorie du changement ?
Une théorie du changement (article en anglais) décrit la manière dont votre projet propose de modifier les comportements ou les résultats en matière de santé en décrivant une série d'événements causaux, étape par étape. Lors de l'élaboration d'une théorie du changement, il est utile d'utiliser une approche de "cartographie à rebours" (document en anglais), qui commence par le résultat souhaité et travaille ensuite à rebours, en identifiant les actions et les objectifs nécessaires à court et à moyen terme pour y parvenir. Une théorie du changement est basée sur des hypothèses concernant ce qui doit se produire et intègre une compréhension de la manière dont le contexte peut soutenir ou entraver le succès de l'intervention.
Source : Matthew Freeman
De nombreux termes différents sont utilisés pour décrire les diverses composantes d'une théorie du changement. Les organisations peuvent utiliser différentes structures pour comprendre la nature causale d'une théorie du changement, notamment les cadres logiques et les chemins de l'impact (en anglais).
Les termes et définitions suivants sont utilisés dans cette ressource :
Intrants: Les matières premières nécessaires (par exemple, l'argent, les matériaux, l'expertise technique, la formation, les relations et le personnel) à votre projet pour mener à bien les activités et atteindre les résultats et les objectifs.
Activités: Le processus ou les actions entreprises qui transformeront les intrants et les ressources en résultats souhaités.
Extrants: Les résultats directs des activités du projet. Tout les résultats sont des choses qui peuvent être accomplies pendant la période de financement et qui sont liées aux objectifs et aux buts.
Résultats: Énoncés spécifiques des avantages qu'un projet ou une intervention sont censés apporter. Ils doivent soutenir l'objectif et être mesurables, limités dans le temps et spécifiques au projet. De nombreux projets ont plus d'un objectif.
Impact: Le défi à long terme et à grande échelle que votre programme contribuera à relever.
Source : Matthew Freeman
L'utilisation d'intrants et la réalisation d'activités de projet entraînent une cascade d'événements dont les résultats se traduisent par des effets sur le comportement et la santé. Si nous ne constatons pas le changement que nous attendions d'un projet, il s'agit soit d'un "échec théorique" (notre théorie du changement était erronée), soit d'un "échec de la mise en œuvre" (nous n'avons pas exécuté le projet correctement). L'évaluation du processus permet de déterminer s'il s'agit d'un échec de la mise en œuvre. Le suivi et l'évaluation de la théorie du changement peuvent aider à déterminer s'il y a un échec théorique.
Exemple de théorie du changement appliquée à un projet de changement de comportement en matière de lavage des mains pour COVID-19
Nous présentons ici un exemple de théorie du changement simplifiée pour le lavage des mains au savon dans le cadre de la lutte contre le COVID-19, bien que cet exemple puisse s'appliquer à d'autres maladies infectieuses ayant des modes de transmission similaires. La théorie du changement propre à chaque projet peut être plus spécifique et doit inclure des indicateurs plus mesurables.
Source : Matthew Freeman
Suivi et évaluation et théorie du changement
Une théorie du changement bien articulée peut être utilisée pour informer les activités de suivi et d'évaluation. Le suivi est un processus continu qui doit se concentrer principalement sur les indicateurs liés aux activités et aux résultats. Il peut également inclure une évaluation de routine des résultats du projet. L'évaluation se concentre principalement sur les étapes ultérieures de la théorie du changement, en évaluant la réalisation des résultats et des impacts. Les éléments couverts par les évaluations dépendent du type d'évaluation effectué.
Il existe plusieurs types d'évaluations qui pourraient être utilisées dans le cadre de l'élaboration, de la mise en œuvre et de l'évaluation des interventions de santé publique. Ils sont définis ci-dessous :
L'évaluation du processus : Ces évaluations documentent la manière dont un projet est mis en œuvre et ce qui a été effectivement réalisé par rapport aux plans prédéfinis. Les évaluations de processus portent souvent sur les points suivants:
Exactitude et qualité - Mesure dans laquelle un projet a été mis en œuvre comme prévu (par exemple, toutes les étapes décrites dans la proposition initiale ou le manuel du projet ont-elles été réalisées).
Complétude - Il s'agit du nombre d'activités de projet réalisées comme prévu. Pour les projets d'hygiène, il peut s'agir du nombre de kits d'hygiène distribués, du nombre de ménages visités ou du nombre de publicités radiophoniques diffusées. On parle aussi parfois de "dose livrée".
Exposition - Il s'agit de décrire dans quelle mesure et à quelle fréquence la population cible participe activement aux activités du projet. Pour les projets d'hygiène, il peut s'agir de l'utilisation et de l'usage continue des kits d'hygiène, de la participation à des séances de formation ou à des visites à domicile, et du nombre de personnes qui entendent les messages diffusés par les médias. C'est ce que l'on appelle parfois la "dose reçue". L'exposition diffère de la complétude, car elle se concentre sur l'engagement réel. Par exemple, pour la complétude, vous pouvez documenter que les messages radio ont été diffusés 50 fois, mais lorsque vous évaluez l'exposition, vous pouvez découvrir que votre population cible n'a pas entendu ces messages, car la station de radio choisie n'était pas très écoutée.
Acceptabilité et satisfaction - Il s'agit de décrire dans quelle mesure les participants et les membres de la communauté ont estimé que le projet abordait des questions pertinentes pour eux et qu'il était mis en œuvre d'une manière acceptable et appropriée pour eux.
Inclusion - Il s'agit de la mesure dans laquelle votre projet a atteint toutes les personnes qu'il visait à atteindre, y compris les groupes qui peuvent être vulnérables à la discrimination et à l'exclusion ou les personnes considérées comme vulnérables sur le plan clinique. Pour plus d'informations sur la manière de rendre les projets inclusifs, consultez les ressources suivantes.
Évaluation de l'adéquation : Ces évaluations mesurent la mesure dans laquelle un programme ou un projet a atteint des objectifs prédéfinis au sein de la population visée.
Ces objectifs peuvent être comportementaux (par exemple : pourcentage de la population se lavant les mains à des moments clés), d'accès ou de santé.
Dans une évaluation de l'adéquation, le succès est mesuré par rapport à des objectifs prédéfinis qui sont établis au début des activités du projet. Étant donné que les évaluations d'adéquation ne comparent pas les projets à un groupe de contrôle, elles ne peuvent pas déterminer ce qui se serait passé si le projet n'avait pas eu lieu (un élément important pour déterminer le lien de causalité). Ainsi, les évaluations d'adéquation n'indiquent pas directement si le projet a provoqué les changements mesurés dans la population visée. Toutefois, si une évaluation d'adéquation mesure des indicateurs directement liés aux activités et aux résultats du projet et qu'il n'y a pas d'autres projets en cours dans cette région, nous pouvons conclure que les changements sont probablement le résultat du projet.
Évaluation d'impact : "L'étalon-or" de la santé publique, les évaluations d'impact (qui comprennent des essais aléatoires ou des études quasi-expérimentales) déterminent si une intervention, un projet ou un programme a eu un impact statistique sur un indicateur clé d'intérêt (par exemple la santé). Elles comprennent souvent la mesure des résultats à moyen et long terme et examinent la relation de cause à effet pour comprendre si les changements de comportement ou de santé peuvent être attribués à l'intervention. Les évaluations d'impact nécessitent un groupe de contrôle, un ensemble d'unités (par exemple, des ménages, des communautés, des écoles) qui n'ont pas bénéficié de l'intervention. Ces types d'évaluation peuvent être coûteux et compliqués. L'utilisation d'évaluations d'impact peut ne pas être possible ou conseillée dans certains contextes.
Pour plus d'informations sur l'adéquation et les évaluations d'impact (plausibilité et probabilité), nous recommandons la lecture de cet article (en anglais) qui explique clairement non seulement ce qu'il faut mesurer pour ce type d'évaluation, mais aussi ce qui peut être revendiqué ou démontré par chaque type d'évaluation.
Source : Matthew Freeman
Quels types d'évaluation conviennent le mieux aux projets d'hygiène ?
Dans le contexte des épidémies, les approches dominantes en matière de suivi et d'évaluation comprennent généralement le contrôle et l'évaluation des processus ou de l'adéquation. Pendant les épidémies, il est moins courant d'avoir recours à des évaluations d'impact. En effet, les évaluations d'impact sont généralement plus coûteuses (elles impliquent du personnel externe et des contrôles plus stricts sur la manière dont les données sont collectées), posent des problèmes éthiques (tels que l'utilisation de groupes de contrôle) et nécessitent une mesure du comportement ou des résultats sanitaires (qu'il sera probablement difficile de collecter avec qualité pendant les épidémies). Pour plus d'informations sur les raisons pour lesquelles les mesures sanitaires ne sont pas largement utilisées pendant les épidémies, voir cette ressource. Nous recommandons plutôt aux responsables de la mise en œuvre des projets d'accorder la priorité à l'évaluation des progrès des interventions par rapport à des objectifs prédéterminés en matière de comportement et d'accès liés aux résultats du projet.
Compte tenu de l'ampleur de certaines épidémies, il se peut que de nombreuses organisations collectent des données de suivi et d'évaluation dans votre région. Pour éviter les doublons et la lassitude des populations, essayez de coordonner vos processus de suivi et d'évaluation avec d'autres organisations travaillant dans la même zone.
Devrions-nous suivre les cas et les taux de mortalité pour comprendre si nos programmes ont un impact ? - exemple de COVID-19
Il convient de noter que, bien que cette section utilise le COVID-19 comme exemple, les principes peuvent être appliqués à d'autres maladies similaires. Il n'est pas recommandé de suivre l'incidence des cas de COVID-19 et la mortalité dans le cadre des évaluations de l'impact des programmes. Les raisons en sont décrites ci-dessous.
Limites des données sur les cas de COVID-19 et la mortalité :
Cas de COVID-19
Les cas de COVID-19 peuvent être soit suspectés, soit probables, soit confirmés par un test de laboratoire. La plupart des chiffres nationaux ou mondiaux concernant les cas de COVID-19 sont des cas confirmés. Cependant, l'ampleur des tests varie d'un pays à l'autre (de 0,1 test pour mille personnes en Indonésie à plus de 100 tests pour mille personnes en Islande), et les données sur les tests sont parfois indisponibles ou incomplètes. Outre les différences de stratégies et de protocoles de dépistage, d'autres facteurs peuvent influer sur le nombre de cas, notamment la détection, les définitions, la déclaration et les délais, et ces facteurs varient également d'un pays à l'autre. Dans de nombreux pays, les tests sont limités aux personnes qui présentent des symptômes, alors que des données suggèrent que des personnes peuvent être des porteurs asymptomatiques et transmettre le COVID-19.
COVID-19 Taux de mortalité
Il existe un certain nombre de mesures différentes de la fréquence de la mortalité. En ce qui concerne COVID-19, nous nous référons souvent au taux de létalité, qui est défini comme la proportion de personnes atteintes d'une maladie particulière (cas) qui décèdent de cette maladie. Pour mesurer le taux de létalité, il est nécessaire de connaître le nombre total de cas de COVID-19 et le nombre de décès dus à COVID-19 parmi ces cas.
Lors de l'apparition d'une maladie, les tests de diagnostic ne sont souvent pas effectués de manière systématique, ce qui nous empêche d'avoir une bonne idée du nombre total de personnes touchées, comme cela a été le cas avec le COVID-19. Les tests n'étant pas effectués de la même manière dans tous les pays, il est difficile de comparer les taux de mortalité dans différentes populations au niveau régional et mondial. Outre les problèmes liés à la définition du nombre de cas, il existe également des différences dans la définition des décès liés à COVID-19 et des problèmes liés aux décès cachés (personnes décédées à cause de COVID-19 et qui n'ont jamais été testées). Ce problème se pose fréquemment lors des épidémies de choléra et d'Ebola, lorsqu'il y a à la fois des cas et des décès dans les établissements de santé et dans la communauté, ce qui rend difficile la compréhension du nombre total réel de cas et de décès. Par conséquent, il convient d'être prudent dans l'interprétation du nombre de cas et des taux de létalité lors des épidémies, en particulier lorsqu'il s'agit de les comparer entre les pays.
Compte tenu de la durée et de la gravité sans précédent de la pandémie, les capacités de diagnostic, de surveillance et de notification, les mesures de traitement et l'adoption de mesures préventives se sont améliorées. En mars 2020, le CFR variait de 0,22 % en Allemagne à 6,81 % en Italie et à 3,74 % au niveau mondial. Un an plus tard, après le premier cas confirmé de COVID-19, le TFC variait de 2,86 % en Allemagne à 3,17 % en Italie et à 2,29 % au niveau mondial. Trois ans plus tard, depuis le début de la pandémie, des TFC de 1,19 %, 1,89 % et 1,91 % sont encore signalés en Inde, au Brésil et en Iran, respectivement.
Source : Notre monde en données
Lors de l'élaboration de mesures visant à comprendre l'impact de votre programme sur la santé, il est souvent difficile d'attribuer tout changement dans l'incidence des cas et de la mortalité à un programme spécifique. Cela est difficile pour les raisons suivantes :
Dans les régions où des foyers de COVID-19 sont apparus, de nombreuses mesures sont prises. Il s'agit notamment d'actions menées par les gouvernements, les entreprises, les organisations non gouvernementales, les individus ou les communautés. Il est probable que tout changement dans la tendance épidémiologique résultera de la combinaison de ces actions.
Les actions préventives au niveau communautaire n'auront pas d'effet direct sur les taux de mortalité liés à COVID-19. Les taux de mortalité sont plus étroitement liés à la capacité des établissements de santé à gérer les cas graves et à la proportion de la population qui présente une vulnérabilité accrue (par exemple, en raison de conditions médicales existantes, de l'âge ou d'une vulnérabilité à l'exclusion et à la discrimination).
Il est donc conseillé de mesurer l'impact du programme à travers une théorie du changement pour voir si le programme a eu les conséquences escomptées tout au long du parcours qui pourrait conduire à une réduction de la transmission du COVID-19, des cas et des décès qui en résultent. Il est également important de gérer dès le départ les attentes quant à ce que l'évaluation d'un programme permettra ou non de réaliser, afin que personne n'attende des données sur l'impact sanitaire et ne comprenne pourquoi cela n'est pas utile.
Que faire si les processus de suivi et d'évaluation montrent que le projet de mon organisation n'a pas fonctionné comme prévu ?
Il arrive que les résultats des processus de suivi et d'évaluation soient décevants ou ne soient pas aussi positifs que ce à quoi votre organisation s'attendait. Il est souvent tentant de ne pas partager ces résultats avec les autres de la même manière que vous partagez les résultats positifs. Cependant, dans le secteur WASH, on constate un regain d'intérêt pour l'apprentissage constructif à partir des échecs. L'Accord de Nakuru encourage les praticiens du secteur WASH à :
Promouvoir une culture du partage et de l'apprentissage qui permette aux gens de parler ouvertement lorsque les choses tournent mal.
Être farouchement transparent et me tenir responsable de ma pensée, de ma communication et de mes actions.
Intégrer de la flexibilité dans les demandes de financement pour permettre l'adaptation.
Concevoir un système de suivi et d'évaluation à long terme qui permette d'évaluer la durabilité.
Concevoir dans une optique de durabilité en tenant compte de l'ensemble du cycle de vie.
Rechercher activement un retour d'information de la part de toutes les parties prenantes, en particulier des utilisateurs finaux.
Reconnaître que les choses tournent mal et partager volontiers ces expériences, y compris les informations sur les facteurs contributifs et les solutions possibles, de manière productive.
Examiner de manière critique les preuves disponibles, en reconnaissant que toutes les preuves ne sont pas équivalentes.
Rédiger et parler en langage clair, surtout lorsqu'il s'agit de discuter de ce qui n'a pas fonctionné.
Pendant les épidémies, les organisations peuvent être encore moins succeptibles de discuter et de signaler les échecs programmatiques - grands ou petits - parce qu'elles perçoivent les risques comme étant plus élevés. Cependant, un partage efficace des défis et des échecs peut signifier que ces erreurs ne seront pas répétées par d'autres et que l'ensemble du secteur en bénéficiera et sera en mesure d'améliorer la réponse à l'épidémie.
Quelles sont les autres ressources disponibles sur le suivi et l'évaluation ?
Ressources générales de suivi et d'évaluation :
The Intrac M&E Universe - Un ensemble de ressources d'apprentissage en ligne couvrant une série de sujets liés au S&E. Il comprend des guides utiles sur la manière de développer des cadres logiques et des théories du changement. Il comprend des guides utiles sur la manière de développer des cadres logiques et des théories du changement. Certaines ressources sont disponibles en plusieurs langues.
Liste de ressources du LSHTM - une liste de ressources utiles sur les évaluations de processus.
Systèmes de responsabilisation et d'assurance qualité - via le Global WASH Cluster, l'AQAS fournit un cadre analytique modulaire qui communique des conseils sur les approches de suivi, les normes et les indicateurs pour le suivi de la qualité dans les domaines clés de l'eau, de l'assainissement et de l'hygiène (WASH).
Ressources ALNAP - Un ensemble de ressources sur la manière d'améliorer le suivi et l'évaluation dans le cadre de la réponse humanitaire.
Wash'Em M&E guide - Une brève note contenant des conseils sur la manière de procéder au suivi et à l'évaluation pendant les épidémies et les crises humanitaires.
Modèles de S&E - Tools4Dev fournit plusieurs modèles pour les évaluations tout au long du cycle du projet, y compris un modèle de plan de S&E et un modèle de cadre de S&E.
Normes de qualité des programmes - WaterAid rassemble les normes et les "bonnes pratiques" acceptées dans le secteur WASH au sens large. Par ailleurs, son guide de soutien à la planification, au suivi, à l'évaluation et à l'apprentissage propose une approche structurée de la programmation adaptative.
Compendium of Hygiene Promotion in Emergencies - un guide complet du réseau allemand WASH, de la FICR, du Global WASH Cluster et de la Sustainable Sanitation Alliance, publié en 2022. Il comprend un chapitre sur le suivi, l'évaluation, la responsabilité et l'apprentissage (MEAL).
SAVE guidance on monitoring in insecure environments - Décrit les défis et les options d'atténuation pour de nombreux outils de collecte de données à distance.
Cours de formation en ligne sur le suivi et l'évaluation :
Disaster Ready - une série de cours sur tous les aspects du suivi, de l'évaluation, de l'apprentissage et de la responsabilité.
Centre d'apprentissage en santé mondiale - Principes de base du suivi et de l'évaluation
Poverty Action Lab - une série de cours sur les évaluations d'impact, les enquêtes et l'évaluation des projets sociaux.
Save the Children - un cours ouvert sur tous les aspects du MEAL.
RedR- RedR est en train d'adapter une partie de l'enseignement en face à face sur le S&E pour une utilisation en ligne.
COVID-19 Ressources en matière de suivi et d'évaluation :
Cadre de suivi et d'évaluation COVID-19 de l'OMS - Il s'agit d'un cadre général qui n'est pas spécifique aux projets d'hygiène ou de prévention.
Travailler sur le terrain en cas de pandémie - Il s'agit d'un guide sur les méthodes de recherche sociale. Il se concentre principalement sur les contextes où l'accès à la technologie est élevé.
Facteurs comportementaux et sociaux de la vaccination : outils et conseils pratiques pour atteindre un taux élevé de vaccination: Ce document présente une série d'outils permettant de comprendre ce qui motive l'adoption des vaccins en communiquant les sources de données à collecter, la manière d'analyser, de planifier, de suivre et d'évaluer les programmes de vaccination.
CartONG overview on how to adapt monitoring during the COVID-19 pandemic - Ce document détaillé est conçu pour les humanitaires et fournit une vue d'ensemble des principes clés pour la collecte de données à distance et des considérations pratiques pour les méthodes à distance.
Notes de la rédaction:
Auteurs : Matt Freeman
Réviseurs : Peter Winch, Katie Greenland, Karine Le Roch
Date de la version : 28.5.2020
Date de mise à jour : 01.03.2023