À propos de ce dossier
Ce dossier présente un résumé des leçons à retenir en matière de suivi et d'évaluation (S&E) des programmes de prévention de la COVID-19. Il décrit l'évolution des approches de suivi et d'évaluation au cours de la pandémie et présente six façons de renforcer l'apprentissage programmatique à l'avenir. Les leçons exposées dans ce dossier sont tirées du travail du Hub d'Hygiène pour la COVID-19. Ces données proviennent de différentes sources :
Des centaines de conversations informelles avec des responsables de la mise en œuvre des programmes dans 65 pays entre avril 2020 et mai 2021.
Plus de 50 initiatives de soutien technique approfondi.
Plus de 70 entretiens avec des organisations de lutte contre la COVID-19, des donateurs et des mécanismes de coordination.
10 discussions avec des organisations humanitaires sur les défis communs en matière de S&E dans le cadre d'une collaboration avec le cluster mondial WASH.
Ce dossier d'apprentissage vient compléter les ressources du Hub d'Hygiène pour la COVID-19 sur le S&E et notre liste de ressources externes sur ce sujet. Il est destiné en priorité aux personnes qui travaillent dans le secteur de l'eau, l'hygiène et l'assainissement (WASH) ainsi qu'à tous les acteurs impliqués dans des programmes de prévention de la COVID-19.
Tendances du S&E pendant la pandémie
Le S&E a été décrit dans de nombreux pays comme une "victime" de la pandémie. Le tableau ci-dessous résume les difficultés rencontrées dans la collecte des données et l'apprentissage programmatique, et leur évolution au fil de la pandémie.
Défis du S&E apparus pendant la pandémie de COVID-19
Phase aiguë | Phase prolongée |
|
|
Les activités de S&E ont également été affectées par les difficultés plus générales auxquelles le personnel d'intervention a été confronté pour s'adapter à la "nouvelle normalité" du travail. Et notamment les changements dans la dynamique d'équipe du personnel ainsi que dans les rôles et les responsabilités liés au travail à distance. Le travail à distance a eu tendance à accroître la pression sur le personnel de première ligne, confronté à la fois aux exigences d'une réaction rapide et de la connexion à des réunions en ligne tout en gérant les répercussions personnelles de la pandémie sur leur propre vie. Les futures initiatives de riposte pourraient tirer profit d'une réévaluation de la manière dont les organisations soutiennent le personnel de première ligne et assurent le "devoir de diligence".
Les organisations dont les systèmes de suivi et d'évaluation étaient médiocres ou dont les capacités étaient moindres avant la COVID-19 se sont évidemment trouvées plus désavantagées lorsque la pandémie a frappé. Cela montre la nécessité d'investir dans des initiatives de renforcement des capacités de suivi et d'évaluation pour soutenir la surveillance de routine et renforcer la résilience face aux futures épidémies.
Ce qu'il faut savoir pour renforcer le S&E
Les sections suivantes de ce dossier se concentrent sur les leçons à retenir dans six domaines clés et décrivent les défis les plus courants et des exemples de pratiques positives. Les domaines traités sont les suivants : la collecte de données en personne en toute sécurité ; les approches efficaces et créatives de la collecte de données à distance ; l'amélioration de la conception des enquêtes ; l'adaptation des processus d'observation des comportements de prévention ; l'amélioration de l'apprentissage opérationnel de routine ; et la recherche d'alternatives réalisables pour mesurer l'impact des programmes. Ces domaines ont été sélectionnés non pas parce qu'ils sont les seuls à prendre en compte pour effectuer des activités de S&E pendant les épidémies, mais parce qu'ils sont les principaux domaines d'apprentissage qui sont ressortis des discussions avec les praticiens.
Collecter des données en personne en toute sécurité
Si la collecte de données à distance est devenue plus courante au cours de la pandémie, la plupart des initiatives de suivi et d'évaluation ont continué à utiliser des approches de collecte de données en personne. Les décisions concernant l'utilisation d'approches de S&E "standard", en personne, étaient généralement fondées sur les habitudes et la facilité plutôt que sur l'évaluation détaillée des risques. Peu à peu, beaucoup d'organisations, notamment Action Contre la Faim, Solidarités International et Oxfam, ont préparé des plans de programmation et des plans de suivi et d'évaluation par étapes, prévoyant de faire évoluer leurs interactions avec les communautés en fonction des directives gouvernementales et de la transmission au sein des communautés. D'autres organisations ont déclaré être revenues à la collecte de données en face à face, parce qu'elles ont constaté qu'il était difficile d'établir une relation avec les participants à distance ou de créer des espaces virtuels où il était possible de débattre et de réfléchir à des solutions.
Un certain consensus s'est dégagé sur les considérations relatives à la collecte de données en personne en toute sécurité pendant la pandémie. Elles sont résumées ci-dessous.
Conseils pour effectuer une collecte de données en toute sécurité :
Recommandations générales | Recommandations complémentaires pour les groupes de discussion |
Aligner les procédures de collecte de données en toute sécurité sur les directives et les réglementations gouvernementales nationales. | Limiter la taille des groupes de discussion, avec un maximum de 6 personnes. |
Communiquer des informations aux participants sur le processus de collecte des données, y compris sur les mesures de sécurité que vous adopterez. | Réunir des personnes habitant à proximité pour limiter le brassage. |
Éviter d'entrer dans les demeures des gens et se réunir plutôt dans un endroit privé en plein air ou bien aéré. | Organiser les discussions de groupe près du domicile des participants afin de minimiser les déplacements. |
Faire en sorte que les interactions avec les participants soient aussi brèves que possible. | Installer un dispositif de lavage des mains dans l'espace réservé aux discussions de groupe ou mettre à disposition des participants et du personnel un désinfectant pour les mains afin qu'ils puissent se nettoyer les mains avant et après la session. |
Fournir au personnel et aux participants un désinfectant pour les mains pendant la collecte des données. | Éviter d'impliquer des personnes âgées de plus de 60 ans ou souffrant de maladies préexistantes. Préférer les méthodes individuelles ou la collecte de données à distance pour ces personnes. |
Veiller à ce que le personnel et les participants portent des masques pendant toute la durée de la collecte des données (en distribuer aux participants si nécessaire). |
|
Veiller à ce que les participants aient la possibilité de maintenir une distance physique tout au long de la session et le signaler par la disposition des sièges. |
|
Réduire le nombre d'objets partagés (par exemple, les stylos) et nettoyer les surfaces fréquemment touchées. |
|
Former des collecteurs de données locaux issus de la communauté cible afin de réduire les déplacements du personnel des ONG. |
|
Encourager le personnel de première ligne à se faire vacciner dès que possible. |
|
Image de gauche : Les collecteurs de données de Y-PEER Sudan ont installé des espaces extérieurs privés pour les groupes de discussion et mis en place les mesures nécessaires pour limiter le risque de transmission de la COVID-19. Image de droite : Dans le sud des Philippines, le personnel d'Oxfam a adopté des mesures de protection pendant les entretiens sur les déterminants du comportement en matière de lavage des mains. Ils ont fourni des masques et veillé à la distanciation physique.
Des approches efficaces et créatives de la collecte de données à distance
De nombreuses organisations n'étaient pas préparées à passer soudainement à la collecte de données à distance, non seulement en ce qui concerne la technologie requise, mais aussi la manière dont les méthodes devaient être adaptées aux nouvelles modalités. Certains acteurs humanitaires qui disposaient déjà de moyens d'atteindre les populations à distance en raison de limitations d'accès préexistantes liées aux crises ont indiqué qu'ils avaient assez facilement pu s'adapter aux méthodes de collecte de données à distance. Par exemple, au Nigeria, l'International Rescue Committee a pu utiliser ses lignes d'assistance téléphonique et ses réseaux de contacts dans les communautés pour comprendre l'évolution de la situation. De nombreux acteurs ont mentionné qu'ils avaient une expérience antérieure de la réponse aux épidémies (par exemple, lors d'épidémies de choléra ou d'Ebola) mais que les enseignements relatifs au S&E n'étaient pas toujours transférables à la pandémie actuelle, puisque les déplacements étaient rarement limités lors des épidémies précédentes et que, par conséquent, la collecte de données en personne restait la principale méthode de travail.
Le passage à la collecte de données à distance a entraîné des difficultés pour obtenir des données de qualité susceptibles d'éclairer la programmation. De nombreuses organisations ont indiqué que leurs processus de suivi avaient été simplifiés en raison de la pandémie. En général, les organisations se sont concentrées sur la collecte d'indicateurs numériques évaluant la portée des programmes, ainsi que sur les perceptions et les comportements rapportés directement par les intéressés. Les organisations ont ressenti le besoin de raccourcir les enquêtes pour maintenir l'attention des personnes interrogées pendant les sondages par téléphone ou par SMS, mais les données ainsi générées n'étaient pas assez nuancées pour servir de bases d'action. Au début de la pandémie, de nombreuses organisations ont essayé d'utiliser des serveurs vocaux interactifs pour les enquêtes (avec des questions automatiques préenregistrées et des réponses à choix multiples fournies via le clavier), car cette approche pouvait être sous-traitée à des prestataires de services et permettait une collecte de données à grande échelle avec des ressources humaines limitées. Mais cette démarche a souvent généré des taux élevés de non-réponse, et les réponses courtes et fermées n'ont pas été d'un grand secours pour les acteurs de la riposte dans leurs prises de décisions programmatiques. D'autres acteurs ont utilisé les médias sociaux pour réaliser des sondages ou promouvoir des enquêtes. Cette méthode s'est avérée efficace pour collecter de grandes quantités de données, mais elle était souvent biaisée en termes de participation et il était difficile d'établir des liens entre la population ayant répondu à l'enquête et la population vivant dans les zones ciblées.
Étant donné que les informations et les réponses à la pandémie changeaient en permanence, de nombreuses organisations ont tenté de mettre en place des mécanismes de suivi qui permettraient la collecte et le partage des données au fil du temps. Certaines organisations l'ont fait en intégrant des activités de suivi dans leurs plateformes de communication à distance. C'est par exemple le cas de l'"action tracker" intégré à U Afya, une plateforme mobile destinée à renforcer les connaissances et la motivation des mères en matière de prévention de la COVID-19 afin qu'elles promeuvent les changements de comportement au Kenya. D'autres ont mis l'accent sur le suivi des perceptions liées à la COVID-19 et sur leur évolution dans le temps. Les organisations ont indiqué que les données qualitatives étaient souvent plus utiles pour favoriser une adaptation rapide des programmes et ont identifié de nombreuses approches créatives pour les recueillir à distance. Trois exemples novateurs de méthodes qualitatives à distance sont présentés ci-dessous.
Les organisations qui n'étaient pas en mesure d'effectuer une collecte de données en personne ont couramment eu recours à des entretiens ou des enquêtes téléphoniques auprès des populations. Vous trouverez ci-dessous quelques recommandations pour la collecte de données par téléphone :
Conseils pour les entretiens ou les enquêtes par téléphone
Anticiper les problèmes liés à la couverture réseau, aux coupures de courant, à la recharge des téléphones et au crédit téléphonique – Il faudra peut-être prolonger les périodes de collecte de données, fournir un crédit téléphonique aux participants, appeler les gens à des horaires et des jours différents ou les avertir par SMS avant votre appel. Le Groupe de recherche du Soudan sur la COVID-19 associé au personnel de Y-PEER chargé de la collecte de données a dû faire preuve de patience et de persévérance pour surmonter les difficultés des entretiens téléphoniques au Soudan. Ils ont utilisé leurs réseaux existants au sein des communautés pour informer les participants potentiels et leur faire savoir qu'ils essayaient de les contacter. Ils ont adapté les horaires de travail afin que les entretiens puissent être réalisés à des moments qui conviennent aux participants (par exemple, dans la soirée), et ont changé de plateformes pour utiliser celles qui fonctionnaient le mieux même en cas de mauvaise connexion à internet. En Tanzanie, l'ONG Maji Safi a commencé par envoyer des SMS à un grand nombre de participants potentiels en leur posant quelques questions préliminaires. Les enquêteurs n'appelaient ensuite que les personnes qui avaient répondu plusieurs fois en les invitant à participer à une enquête téléphonique plus longue. Bien que cela puisse introduire un biais, cette approche garantissait que les personnes appelées étaient désireuses et capables de participer. |
Utiliser différents types de questions – En général, la collecte de données par téléphone doit être plus courte que les méthodes en face à face, car il est difficile de retenir l'attention de l'interlocuteur. Un bon moyen de maintenir l'attention tout au long du processus consiste à combiner différents types de questions (par exemple, des questions comparatives, des questions basées sur des scénarios, des questions normatives) et de réponses (par exemple, une réponse ouverte, une réponse à choix multiple ou une réponse graduée ou classée). Il est possible également d'échelonner un long questionnaire sur une série d'appels au moyen d'entretiens répétés avec les mêmes participants. |
Tenir compte de l'accès et de la possession d'un téléphone – Dans de nombreux contextes à faible et moyen revenu, les membres de la famille partagent souvent le même téléphone, qui appartient en priorité aux hommes plutôt qu'aux femmes. La possession d'un téléphone est aussi moins répandue chez les personnes les plus pauvres, âgées ou handicapées. Cela peut avoir une double incidence : qui participera alors à la collecte de données par téléphone, et qui pourra entendre les réponses du participant ou de la participante ou l'influencer ? Pour surmonter ce problème, il peut être utile d'expliquer la raison de la collecte des données et de confirmer les heures d'appel. L'équipe Global Research and Data Support (GRDS) d'Innovations for Poverty Action (IPA) recommande de comparer les données démographiques des enquêtes téléphoniques à celles des enquêtes précédentes afin de comprendre comment cela pourrait biaiser les données. |
Faire le maximum pour établir un rapport avec les participants – Sans interactions en face à face, il peut être difficile de créer un lien avec les participants. Au Liban, les chercheurs d'Oxfam ont constaté qu'ils parvenaient à établir une relation pendant les entretiens téléphoniques lorsqu'ils prenaient le temps de se présenter et de décrire le projet en détail, d'utiliser des femmes pour interroger les participantes et vice versa pour les hommes, d'écouter les préoccupations des participants (même si elles étaient hors sujet) et de mener des entretiens répétés avec le même groupe de participants. |
Les collecteurs de données ont également la responsabilité d'informer – Compte tenu de la nature inédite de la COVID-19 et des directives changeantes qui y sont associées, les collecteurs de données peuvent jouer un rôle important en fournissant un retour d'information aux participants. Au Zimbabwe, les chercheurs d'Action contre la Faim ont produit une série de messages sur la COVID-19 à communiquer aux participants à la fin des entretiens téléphoniques. Ils ont délivré ces messages lorsque les participants exprimaient des points de vue divergents des directives locales ou pour les informer des services disponibles. Le fait de les communiquer à la fin de l'entretien a permis d'éviter d'ajouter un biais aux réponses des participants. |
Image : Un assistant de recherche d'Oxfam mène des entretiens téléphoniques à distance avec des réfugiés syriens au Liban.
Malgré les difficultés liées à la collecte de données par téléphone, celle-ci présente également des avantages. Par exemple, elle a souvent amélioré l'efficacité de la collecte de données en permettant de réaliser plus d'entretiens par jour dans des zones géographiques variés. Parmi les organisations qui ont découvert la collecte de données à distance pour la première fois pendant la pandémie, beaucoup ont estimé qu'il s'agissait d'un changement positif et ont souhaité continuer à renforcer les capacités de collecte de données à distance dans le cadre de leurs stratégies de S&E à plus long terme.
Améliorer la conception des enquêtes
Les enquêtes sont restées le mode dominant de collecte des données pendant la pandémie. Cependant, il est arrivé relativement souvent que les acteurs de la riposte ne sachent pas comment adapter leurs programmes à partir des données générées. Nous indiquons ci-dessous quelques mesures à prendre pour améliorer la conception de l'enquête et faciliter l'obtention d'informations utiles pour la programmation :
Utiliser des indicateurs validés et fiables – Dans la mesure du possible, reportez-vous à des enquêtes préalables qui ont été élaborées et testées par d'autres organismes et qui utilisent des indicateurs ou des questions similaires. Même si la COVID-19 est une nouvelle maladie, il existe des indicateurs standard pour certains comportements de prévention essentiels (par exemple, le lavage des mains) et des outils développés lors d'épidémies précédentes qui peuvent être facilement adaptés (par exemple, les mesures de perception du risque lors des épidémies précédentes d'Ebola ou de SRAS). L'utilisation d'approches standardisées peut accroître la validité et la fiabilité des questions et permettre la comparabilité des résultats. Il existe également des possibilités de standardiser les indicateurs au niveau national et mondial. Par exemple, le cluster national WASH en Colombie a standardisé les indicateurs de base et les rapports entre les partenaires. Cela a aidé tous les partenaires à partager plus facilement les données de leurs départements chaque mois et a permis au cluster d'analyser les données pour éclairer les processus décisionnels. Le cluster mondial WASH a développé un guide sectoriel WASH sur la Covid-19 pour les besoins humanitaires qui encourage l'élaboration de tels indicateurs sectoriels de base. Le Collaborative Service de RCCE travaille également avec une série de partenaires pour standardiser les indicateurs relatifs à la communication des risques et à l'engagement communautaire. |
Définir l'objectif de chaque question et la manière dont vous utiliserez les données – Pour chaque question de l'enquête, il convient de déterminer ce qu'elle mesure et de se demander "pourquoi cette question est-elle importante ?" et "comment vais-je utiliser ces informations pour améliorer mon programme ?". Cela vous permettra de mettre la priorité sur les questions les plus susceptibles d'être utiles pour l'adaptation des programmes. En Syrie, Save the Children a élaboré une enquête destinée aux enfants des écoles et des centres d'apprentissage temporaires. Ils souhaitaient que l'enquête soit transférable et utilisable dans différents contextes locaux. Ils ont dressé une liste de questions possibles et pour chacune d'entre elles, ils ont indiqué le type de question, le comportement visé, si elle mesurait les connaissances, les attitudes ou les pratiques, et la source de la question. Ce processus a permis au personnel de chaque région de sélectionner les questions les plus pertinentes pour leur programmation. |
Inclure des questions conçues pour mesurer le changement – Pour faciliter l'adoption des comportements de prévention de la COVID-19, il est important de comprendre ce qui a changé dans la situation des personnes (par exemple, les déterminants comportementaux) ou comment les comportements réels ont évolué sur une période définie. Il est donc important de concevoir les questions de manière à ce qu'elles portent sur cet aspect du changement. Par exemple, WaterAid a réalisé une évaluation rapide des comportements en matière d'hygiène dans huit pays. Elle comportait des indicateurs liés à l'exposition aux programmes, aux canaux de prestation préférés, aux comportements autodéclarés et aux déterminants de ces comportements. WaterAid a réalisé que pour mesurer le changement, il était important d'être précis lors de la collecte des données. Ils ont trouvé utile de faire la distinction entre les moments critiques "normaux" pour l'hygiène des mains et les "nouveaux moments" qui ont été encouragés pendant la pandémie (par exemple, le lavage des mains au savon avant d'entrer ou de sortir du foyer, après avoir toussé/éternué, après avoir touché des surfaces fréquemment touchées, et avant/après avoir soigné une personne présentant des symptômes de la COVID-19). Cela leur a permis de comprendre comment les activités de prévention de la COVID-19 pouvaient être intégrées dans leurs programmes d'hygiène existants et comment adapter les programmes à mesure que la pandémie se poursuit. Demander aux gens quand et pourquoi ils ont changé de comportement peut également être essentiel pour prendre des décisions programmatiques. |
S'assurer que les questions sont comprises dans les langues locales – De nombreux aspects de l'épidémiologie, de la perception et de la prévention des maladies sont complexes à expliquer. Avant de lancer une enquête, il est important de consacrer du temps à la traduction des termes dans les langues locales. Le fait de tester un pilote de l'enquête auprès de quelques personnes permet souvent de déceler les questions mal comprises. Par exemple, une ONG en Ouganda a initialement développé son outil d'enquête en anglais, mais a ensuite décidé de le traduire dans deux langues locales pour en améliorer la compréhension. Ils ont utilisé une approche consistant à travailler avec des locuteurs de langue maternelle afin de trouver des termes locaux appropriés pour certains concepts épidémiologiques ou spécifiques à la COVID-19. L'entretien cognitif est une méthode facile à employer pour vérifier si les personnes interrogées comprennent correctement les questions de l'enquêteur. Pour appliquer cette méthode, sélectionnez un ou plusieurs mots clés pour chaque question et demandez au répondant de vous expliquer ces termes. Si l'explication donnée par la personne interrogée correspond au sens que l'enquêteur voulait donner au mot clé, cela indique que celui-ci est bien compris. Pour tester des questions entières, on peut également demander au répondant de répondre à la question et d'expliquer ensuite les raisons de sa réponse. Cette méthode permet d'identifier efficacement les malentendus. |
Réunir des données sociodémographiques – La pression exercée pour réduire la longueur des enquêtes peut souvent amener les acteurs à supprimer les questions relatives aux facteurs sociodémographiques. Cependant, les informations concernant le sexe, l'âge, le lieu de résidence, les capacités, l'éducation, le statut économique et d'autres facteurs jouent souvent un rôle fondamental pour traduire les informations en actions programmatiques ciblées. Les questions relatives au statut économique et à l'appartenance religieuse peuvent être sensibles pour certaines personnes ou dans certains pays. L'utilisation de questions préalablement validées, la réalisation d'enquêtes pilotes et le fait de prendre le temps d'établir un rapport peuvent atténuer ces problèmes. La collecte et l'analyse des données sociodémographiques peuvent également contribuer à déceler des problèmes d'équité dans la collecte des données et la programmation future (par exemple, moins de femmes participantes, représentation limitée des personnes handicapées, etc.). En procédant à un échantillonnage stratifié ou raisonné et tenant compte de l'accès au téléphone ou aux réseaux sociaux, il est possible de surmonter ces obstacles dans la collecte de données. |
Inclure des questions ouvertes et compléter les enquêtes avec d'autres outils – L'une des difficultés des enquêtes est qu'elles ne peuvent générer des données que sur les questions posées et que, normalement, les options de réponse possibles doivent être précisées à l'avance. Cela signifie que les conclusions négligent parfois d'autres aspects qui n'ont pas été abordés. L'inclusion de questions ouvertes plus larges peut aider à surmonter ce problème et à générer des informations sur les raisons pour lesquelles les gens pensent ou se comportent comme ils le font. Toutefois, les questions ouvertes doivent être soigneusement sélectionnées et hiérarchisées, car l'analyse de chaque réponse prendra plus de temps. L'inclusion de questions ouvertes auprès d'un sous-échantillon plus restreint de participants permet de faciliter la réalisation de ce processus. Par ailleurs, les conclusions des données de l'enquête peuvent être complétées par d'autres méthodes de collecte de données. Par exemple, il peut être utile de faire suivre l'enquête par une courte période de collecte de données qualitatives pour explorer et valider certaines tendances qui se dégagent des données de l'enquête. L'utilisation de plusieurs méthodes permet également de tenir compte des limites et des biais de chaque méthode. |
Établir un plan d'analyse des données – L'analyse des données n'est souvent envisagée que dans un deuxième temps. Un plan d'analyse des données doit décrire exactement ce qui sera fait avec les données de chaque question et prendre en compte les délais d'analyse et les capacités du personnel. Si vous envisagez d'étudier l'effet combiné de plusieurs variables sur un résultat particulier, cela doit être prévu dès le départ. Si les outils d'enquête sont standardisés entre les pays, les plans d'analyse peuvent également être standardisés, ce qui les rend plus efficaces. De même, il est important de planifier à l'avance la manière dont les résultats peuvent être diffusés et dont les idées seront utilisées pour décider de la programmation. Il convient par exemple d'informer rapidement les autres acteurs que vous avez prévu une collecte de données et de prévoir suffisamment de temps et de budget dans les programmes pour apporter des changements itératifs. |
Adaptation des processus d'observation des comportements de prévention
L'observation est généralement considérée comme une mesure plus fiable que l'auto-évaluation pour comprendre le comportement. Cela s'explique par le fait que le grand nombre de messages promouvant les comportements préventifs de la COVID-19 amène souvent les gens à surdéclarer leurs actions préventives parce qu'ils veulent être considérés comme faisant "ce qu'il faut". Dans la phase initiale de la pandémie, l'observation était souvent écartée pour des raisons de sécurité. Toutefois, au fil du temps, des adaptations efficaces et sûres des méthodes d'observation ont été mises en place. Les adaptations les plus courantes ont consisté à ajuster les méthodes pour qu'elles conviennent à l'observation dans des lieux publics, à permettre la collecte de données d'observation par des membres de la communauté et à mener des observations sur une courte période. Un nombre croissant d'organisations ont également recours à des contrôles ponctuels ou à des grilles d'observation. Ces outils permettent d'évaluer rapidement l'environnement physique pour indiquer s'il est propice à la pratique des comportements de prévention. Par exemple, en Indonésie et au Mozambique, SNV a collaboré avec Upward Spiral pour établir une liste de vérification permettant d'évaluer les mesures de prévention de la COVID-19 sur les marchés, dans les gares et dans les centres de santé. Grâce à cette liste, les responsables de ces lieux ont pu s'engager activement dans la prévention de la COVID-19 dans ces espaces en calculant un score de sécurité COVID-19 et en obtenant des recommandations sur les mesures spécifiques qu'ils pourraient prendre pour améliorer leur score. Des récompenses ont été prévues pour encourager les changements. De telles listes sont relativement rapides à utiliser, ce qui permet de suivre les mêmes informations au fil du temps. Par exemple, WaterAid a créé une liste de vérification standardisée pour surveiller le fonctionnement et l'accessibilité des installations de lavage des mains implantées dans des lieux publics dans huit pays, et l'organisation a l'intention de continuer à utiliser cette liste de manière répétée à l'avenir. Nous présentons ci-dessous quelques mesures qui peuvent être prises pour renforcer les méthodes d'observation.
Image de gauche : Une carte des lieux publics (marqués en orange) dans le nord-ouest de la Syrie où UDER a observé le comportement d'utilisation des masques. Image de droite : Un observateur documente l'utilisation des masques à l'entrée d'un marché.
Conseils pour renforcer les méthodes d'observation :
Investir du temps dans le renforcement des capacités du personnel – L'observation est une compétence nouvelle pour beaucoup et nécessite à la fois des cours théoriques et une mise en pratique dans des situations réelles. En Éthiopie, en République démocratique du Congo et au Bangladesh, Oxfam a formé son personnel à l'observation et aux contrôles ponctuels pour surveiller l'utilisation de son stand de lavage des mains dans les camps d'accueil de populations déplacées. Ils ont constaté qu'il fallait créer des scénarios fictifs pour la formation théorique, et de donner ensuite au personnel de chaque pays le temps de mettre en pratique les outils avant de formuler des commentaires et des remarques. La qualité des observations peut également être améliorée en demandant aux superviseurs de procéder à des contrôles aléatoires des personnes qui effectuent les observations et en réalisant un examen en équipe des données recueillies chaque jour. Ce processus peut également aider à surmonter des obstacles contextuels qui n'ont peut-être pas été anticipés. |
Fournir des conseils sur la manière de classer les observations – On demande généralement aux observateurs de déterminer si une personne adopte un comportement à un moment donné et, éventuellement, de donner des détails sur la façon dont elle le fait. Pour faciliter cette classification, il est important que les catégories soient bien définies. Par exemple, dans le nord-ouest de la Syrie, UDER a mené une enquête sur l'utilisation des masques et l'a complétée par des observations dans des espaces publics. Pour faciliter la classification, les chercheurs ont inclus des images lors de la formation du personnel pour expliquer ce qu'était l'utilisation "correcte" du masque et les différentes formes d'utilisation "incorrecte". À la suite d'un essai pilote dans le contexte local, une catégorie supplémentaire a été ajoutée pour tenir compte du niqab ou du shemagh (voile ou foulard porté dans certaines cultures), car il n'est pas possible en général de dire si les personnes utilisant un niqab ou un shemagh portent un masque en dessous. |
Retenir la bonne quantité de détails – Comme pour toutes les méthodes de collecte de données, il est important de ne recueillir que les données qui seront utiles à la programmation. Pour cela, il faut limiter la collecte de données aux variables les plus importantes et déterminer le niveau de détail qui sera nécessaire à la prise de décision. Kenya NBCC a mis en place plus de 5 000 installations de lavage des mains dans des lieux publics à travers le Kenya. L'évaluation consistait notamment à vérifier la présence d'eau et de savon dans les installations. Au départ, les équipes enregistraient des mesures détaillées de la quantité d'eau contenue dans les unités de lavage des mains (¼, ½, plein, etc.), mais avec le recul, elles ont réalisé qu'elles pouvaient simplifier le travail en notant simplement la présence ou l'absence d'eau. Elles ont compris que cette catégorisation binaire était suffisante pour indiquer si l'installation était fonctionnelle ou non. |
Convenir d'un moyen de mesurer le dénominateur de votre résultat – Les données d'observation peuvent être utilisées de différentes manières, mais elles servent généralement à calculer la proportion de personnes pratiquant un comportement à un moment clé ou dans un cadre particulier. Au début de la collecte des données, il est important d'identifier comment le dénominateur sera calculé et testé préalablement. Dans les lieux publics, cela peut s'avérer difficile et cela risque d'affecter le choix des sites à observer. En Indonésie, l'UNICEF et le gouvernement national ont développé un système de surveillance en temps réel basé sur l'observation pour évaluer le lavage des mains, la distanciation physique et l'utilisation du masque. Ils ont utilisé un réseau de volontaires chargés d'effectuer des observations rapides dans tout le pays et de saisir les données dans un document standard. L'UNICEF a décidé de concentrer ses observations sur les lieux où il y avait un point d'entrée clairement défini, ce qui lui a permis de noter le nombre de personnes entrant dans cet espace. Les volontaires, dont beaucoup faisaient partie de l'équipe nationale de lutte contre la COVID-19, ont été formés pour documenter les comportements de prévention des dix premières personnes qu'ils voyaient entrer dans cet espace. Le processus était donc rapide, réalisable et facile à mesurer. Les volontaires ont également reçu du crédit téléphonique pour les aider et les encourager dans leur travail. |
Image : Des contrôles ponctuels ont été menés régulièrement pour évaluer l'entretien et le fonctionnement des installations de lavage des mains fournies par NBCC.
Améliorer l'apprentissage opérationnel de routine
De nombreux acteurs de la riposte ont constaté qu'en plus de l'utilisation de méthodes formelles de suivi et d'évaluation, le partage informel d'informations les aidait à adapter rapidement leurs programmes. L'apprentissage opérationnel informel a été particulièrement important au début de la pandémie, lorsque la collecte de données à grande échelle était plus difficile à réaliser et que la situation changeait rapidement. Pour établir des systèmes de S&E plus solides à l'avenir, il sera indispensable de concevoir des rapports de programmes ou de prévoir des réunions régulières de manière à faciliter l'apprentissage programmatique. Voici quatre idées simples pour renforcer l'apprentissage opérationnel :
Utiliser toutes les données existantes disponibles – Dans la phase initiale de la pandémie, de nombreux acteurs n'ont pas pensé à utiliser les données existantes pour documenter la première phase de leur programmation. Ils pouvaient, par exemple, utiliser des évaluations antérieures des comportements concernés (par exemple, le lavage des mains), des expériences liées à d'autres épidémies (par exemple, le choléra ou Ebola) ou de la disponibilité d'infrastructures et de services appropriés (par exemple, les services de l'eau). En Zambie, GRID3 a collaboré avec le gouvernement national pour créer le Zambia Data Hub qui a utilisé des données existantes (par exemple, des enquêtes démographiques et sanitaires et des données gouvernementales) et les a rendues accessibles par le biais d'applications cartographiques et de tableaux de bord en ligne. Les utilisateurs ont ainsi pu visualiser les populations à risque (en raison d'un accès limité à l'eau pour le lavage des mains, d'un accès limité aux soins de santé ou vivant dans des zones densément peuplées). Au fil du temps, le centre de données de la Zambie s'est élargi pour enregistrer de nouvelles données et permettre la visualisation des perceptions et des comportements à partir des enquêtes des organisations menant les campagnes d'engagement communautaire contre la COVID-19. Les données concernant les cas de COVID-19 au niveau des districts et des provinces, l'emplacement des sites de dépistage et des centres de vaccination, le suivi des doses de vaccin administrées étaient également consignés. Ce portail centralisé de partage des connaissances a permis aux acteurs locaux d'agir rapidement et de façon coordonnée à chaque étape de la réponse. Les clusters WASH humanitaires ont également préparé des conseils pour examiner les données secondaires afin de soutenir les partenaires qui souhaitent utiliser les bases de données existantes pour informer leurs actions de lutte contre la COVID-19. |
Rencontrer fréquemment le personnel de première ligne pour réfléchir à la programmation et en rendre compte dans les rapports – Dans des circonstances normales, les programmes sont parfois modifiés à la suite de discussions informelles qui ont lieu quotidiennement dans les bureaux des organisations. Mais quand beaucoup d'employés travaillent à distance, les occasions d'apprentissage informel se raréfient. Oxfam, Action Contre la Faim et leurs partenaires ont utilisé une approche de suivi des perceptions des communautés dans 14 pays. Le personnel est encouragé à mettre en œuvre des compétences d'écoute active et à documenter systématiquement les perceptions qui lui sont communiquées au cours des activités des programmes. Il est apparu que le processus était considérablement renforcé par la tenue de réunions hebdomadaires du personnel du programme. Il a ainsi été possible d'utiliser les idées émanant des communautés pour améliorer la programmation. Des modèles de rapport standard ont été adoptés afin de guider le personnel pour qu'il sache comment résumer l'information de manière à ce qu'elle soit comprise par les autres acteurs et à maximiser l'apprentissage. |
Établir un dialogue ouvert avec les parties prenantes – Selon de nombreux acteurs, les réseaux informels qui ont été mis en place avec les principales parties prenantes de la communauté ont constitué les mécanismes les plus précieux pour l'apprentissage programmatique continu. Ils facilitent l'échange d'informations dans les deux sens et renforcent l'acceptabilité d'autres approches de collecte de données. Par exemple, au Kenya, l'International Rescue Committee s'est d'abord heurté à la réticence des communautés à participer à la collecte de données dans des camps de déplacés. Avec d'autres partenaires d'intervention, l'organisation a tenu de fréquentes réunions conjointes avec les dirigeants communautaires pour expliquer la raison d'être de la collecte de données. Afin de rendre le suivi moins contraignant pour la communauté, les partenaires se sont efforcés d'harmoniser les procédures de collecte de données ou d'utiliser des procédures conjointes lorsque cela était possible. Une fois la communication établie, la communauté a mieux accepté le S&E et les parties concernées ont pu faire remonter leurs commentaires dans le but d'améliorer la programmation. En raison des difficultés liées à la collecte de données en personne tout au long de la pandémie, de nombreuses organisations ont également pris le temps de former les membres de la communauté à la collecte de données. Cela s'est avéré particulièrement utile pour surveiller le fonctionnement des installations de lavage des mains et s'assurer de la présence d'eau et de savon, car ces mêmes acteurs communautaires peuvent souvent agir directement pour résoudre les problèmes. |
Partager les résultats de manière créative – Le partage de l'apprentissage opérationnel au sein des organisations et entre elles doit être effectué au moment opportun pour influencer la programmation, mais il doit également être bien décrit et bien présenté. Ce n'est pas facile dans un contexte de crise. L'un des problèmes courants concernant la diffusion provient du fait que les collecteurs de données ne décrivent pas clairement la manière dont les données ont été collectées et l'intention qui sous-tend la méthodologie. Sans ces informations, les résultats sont souvent mal interprétés. Lorsqu'elles élaborent des documents de diffusion, les organisations ont parfois du mal à mettre en évidence les liens entre les tendances qui émergent de leurs données et les actions qu'elles recommandent. Enfin, les constatations sont souvent longues ou présentées de façon indigeste ou incompréhensible pour les utilisateurs potentiels. À Cox's Bazar, au Bangladesh, de brèves notes d'information sur la collecte de données qualitatives ont été diffusées à la population. Afin de rendre les résultats plus attrayants, les partenaires ont travaillé avec un graphiste pour illustrer certaines expériences qu'ils ont observées. Comme le produit final était plus attractif visuellement que les informations habituellement diffusées, les résultats ont davantage retenu l'attention des parties prenantes qui pouvaient agir sur ces résultats. Un bon moyen pour partager des informations avec ceux qui peuvent utiliser les résultats consiste à s'appuyer sur des réseaux existants, tels que les groupes de coordination de RCCE ou les clusters WASH. |
Rechercher des alternatives réalisables pour mesurer l'impact
De nombreux acteurs de la lutte contre la COVID-19 ont rencontré des difficultés pour évaluer l'efficacité de leur programmation. Plusieurs facteurs ont accentué la complexité de la mesure de l'impact pendant la pandémie. Par exemple :
Multiplicité des facteurs affectant la transmission de la COVID-19 – Certains acteurs ont envisagé de surveiller les cas de COVID-19, les taux de positivité ou la mortalité comme une mesure potentielle des résultats. Toutefois, ces mesures présentent un certain nombre de limites et de multiples facteurs peuvent influencer la transmission à tout moment. Par conséquent, cela n'a pas été considéré comme un indicateur viable de l'impact des programmes. Cependant, dans certains pays, où le dépistage de la COVID-19 était limité, le travail de surveillance des ONG et des communautés elles-mêmes a constitué une source d'informations utile sur la transmission et la mortalité en temps réel et a permis aux acteurs de la riposte d'adapter leurs programmes en conséquence.
Échelle et diversité de la réponse – Les acteurs de l'aide et du développement travaillent parfois dans un contexte où il y a peu d'autres interventions qui tentent d'atteindre le même résultat de santé publique. Dans ce cas, il est plus facile d'attribuer au programme les changements de comportement ou de perception. Cependant, la pandémie de COVID-19 a déclenché des réponses à une échelle sans précédent et dans tous les contextes, les populations ont été exposées à de multiples initiatives gouvernementales, non gouvernementales et communautaires. Par conséquent, tout changement observé est probablement attribuable à l'impact combiné de tous ces programmes d'intervention, plutôt qu'à un seul.
Utilisation accrue des canaux de diffusion à distance – De nombreux acteurs utilisaient des canaux de diffusion qui leur étaient moins familiers, notamment les réseaux sociaux, les canaux numériques et les médias de masse. Si certains acteurs ont trouvé des moyens de suivre la portée de leurs messages (par exemple, par l'analyse des réseaux sociaux ou la surveillance des médias), il a été beaucoup plus difficile de mesurer l'impact des messages sur la réflexion et le comportement des populations.
Réduction de la fréquence de la collecte de données et de la variété des méthodes – De nombreuses organisations ont déclaré se fier à des mesures du comportement autodéclarées. Tout en reconnaissant les limites de ces approches, elles ont considéré que les méthodes alternatives étaient infaisables ou dangereuses dans leur contexte. D'autres ont déclaré qu'en raison de la réduction des interactions avec les populations, la collecte de données n'avait lieu qu'à quelques moments précis, et qu'il était difficile d'appréhender l'évolution des comportements dans le temps. Ce point était particulièrement important pendant la pandémie, étant donné que les comportements semblaient changer régulièrement en fonction de l'évolution des données probantes et des directives.
Image : Une humanitaire de World Vision menant une interview quantitative en face à face dans un camp de réfugiés au Zimbabwe.
Vous trouverez ci-dessous quelques idées pour aider à renforcer l'évaluation des programmes COVID-19 :
Utiliser une théorie du changement et élaborer des indicateurs pour suivre chaque étape des mécanismes de changement potentiels – Une théorie du changement décrit la manière dont un projet propose de provoquer un changement de comportement ou des résultats sanitaires en décrivant une série d'événements causaux, étape par étape. Les théories du changement sont normalement élaborées dans le cadre de la conception des programmes, mais elles sont également précieuses pour le suivi. Par exemple, dans le camp de réfugiés de Tongogara au Zimbabwe, RANAS a travaillé avec le HCR, World Vision et la DDC pour concevoir le suivi programmatique de sorte à refléter chaque niveau de leur théorie du changement. Pour évaluer la mise en œuvre de leurs interventions, ils ont mesuré le souvenir des interventions au sein de la population. Pour évaluer les extrants et les résultats, ils ont mené une enquête de suivi des changements dans les déterminants comportementaux et les pratiques autodéclarées de lavage des mains et de distanciation physique. En combinant ces indicateurs, ils ont pu déterminer si leur programme avait été mis en œuvre comme prévu et avait eu l'effet escompté. |
Utiliser plusieurs approches pour mesurer le comportement – Étant donné que l'accès aux communautés change fréquemment au cours de la pandémie, de nombreux acteurs ont constaté qu'il était utile de disposer de plusieurs indicateurs ou méthodes pour mesurer un même comportement. En Inde, la fondation Janseva Gramin Vikas Va Shikshan et Ranas ont utilisé une combinaison de questions pour comprendre le comportement d'utilisation des masques. Ils ont commencé par une question ouverte : “Imaginez que vous quittez la maison pour aller faire des courses ou rendre visite à quelqu'un. Que faites-vous ?” Au fur et à mesure que les participants répondaient, l'enquêteur vérifiait s'ils mentionnaient la mise en place du masque. Une autre question plus loin dans le questionnaire demandait :”Dans quelles situations portez-vous un masque ?” Les collecteurs de données posaient la question en évoquant des moments précis tels que le départ de la maison ou l'utilisation d'un moyen de transport public. La combinaison des deux questions a permis d'obtenir une mesure plus fiable du comportement et de comprendre le comportement tel qu'il est pratiqué dans les routines quotidiennes. Il peut également être utile de poser aux participants des questions normatives concernant leur opinion sur le comportement des autres membres de leur communauté. |
Mesurer l'acceptabilité, la pertinence et la durabilité des programmes – Ces facteurs souvent négligés dans les approches de suivi et d'évaluation des programmes sont relativement faciles à mesurer. De nombreux acteurs ont indiqué que, rétrospectivement, ils regrettaient de ne pas avoir inclus davantage d'indicateurs qualitatifs pour comprendre "pourquoi" et "comment" leur programme avait eu un impact. |
Initiatives conjointes de suivi – Plutôt que d'examiner l'impact d'un programme ou d'une organisation unique, il est judicieux de mettre en commun les ressources et d'examiner l'impact collectif des interventions pendant la pandémie. Dans de nombreuses régions du monde, les structures de coordination existantes ont contribué à faciliter des initiatives de suivi conjointes. Par exemple, le cluster National WASH en Palestine avait élaboré un système de classement des vulnérabilités pour aider les partenaires à identifier les besoins et les régions particulièrement vulnérables. Ils l'ont adapté pour recueillir les données relatives à la COVID-19 afin de suivre l'impact de la pandémie sur la vulnérabilité des différentes régions. Ailleurs dans le monde, en Indonésie par exemple, le gouvernement et les ONG partenaires disposant de peu de temps et de capacités ont fait appel à des instituts de recherche pour animer des sessions trimestrielles de recherche formative sur les comportements de prévention de la COVID-19. Le recours à un partenaire externe neutre a renforcé la confiance dans les résultats qui ont ensuite été utilisés par tous les acteurs de la lutte contre la pandémie. |
Cet article a été rédigé par Sian White, coordinatrice de l'équipe d'intervention du Hub d'Hygiène pour la COVID-19 et chercheuse à la London School of Hygiene and Tropical Medicine. De précieuses contributions ont été apportées par Max Perel-Slater (Emory University), Claire Collin (LSHTM), Sarah Bick (LSHTM), Astrid Hasund Thorseth (LSHTM), Jenny Lamb (LSHTM), Robert Dreibelbis (LSHTM), Max Friedrich (Ranas Ltd.), Aliocha Salagnac (Cluster mondial WASH /UNICEF), Lauren D’Mello-Guyett (LSHTM), Peter van Maanen (Programme commun OMS/UNICEF), Om Prasad Gautam (WaterAid), Ian Gavin (WaterAid), Brian Mac Domhnaill (UNICEF), Faith Adhiambo Okelo (IRC), Alexandra Karkouli (Cluster mondial WASH/UNICEF), Balwant Godara (Sanitation and Water for All), et Aarin Palomares (Global Handwashing Partnership/FHI 360).