Todas las colecciones
Resumen de aprendizajes: Fortalecer el monitoreo y la evaluación de los programas de prevención de la COVID-19
Resumen de aprendizajes: Fortalecer el monitoreo y la evaluación de los programas de prevención de la COVID-19
Sian White avatar
Escrito por Sian White
Actualizado hace más de una semana

Acerca de este resumen

En este documento, se resumen las lecciones aprendidas sobre monitoreo y evaluación (MyE) de los programas de prevención de la COVID-19. Aquí describimos los cambios que han tenido los enfoques de monitoreo y evaluación durante la pandemia y mencionamos a grandes rasgos 6 formas de reforzar el aprendizaje programático futuro. Las lecciones que compartimos en este resumen provienen del trabajo hecho por el Hub de Higiene para la COVID-19. Estas reflexiones surgieron de:

  • Cientos de conversaciones informales mantenidas con implementadores de programas en 65 países entre abril de 2020 y mayo de 2021.

  • Más de 50 iniciativas exhaustivas de asistencia técnica.

  • Más de 70 entrevistas con organizaciones de respuesta a la COVID-19, donantes y mecanismos de coordinación.

  • 10 debates con organizaciones humanitarias sobre desafíos comunes en temas de MyE, como parte de una colaboración con Global WASH Cluster (Grupo Sectorial Mundial de WASH).

Este resumen de aprendizajes se diseñó para complementar los recursos sobre MyE del Hub de Higiene para la COVID-19 y nuestra lista de recursos externos sobre este tema. Está pensado principalmente para las personas que trabajan en el sector de agua, saneamiento e higiene (WASH) y otras personas que han participado en programas de prevención de la COVID-19.

Patrones de monitoreo y evaluación durante la pandemia

En muchos países, se ha descripto al monitoreo y la evaluación como "víctimas" de la pandemia. La siguiente tabla resume los desafíos en materia de recolección de datos y aprendizaje, así como también los cambios que sufrieron a medida que avanzó la pandemia.

Desafíos en materia de MyE durante la pandemia de COVID-19

Fase aguda

Fase prolongada

  • Se priorizaron las acciones urgentes de respuesta a la pandemia por encima del monitoreo y la evaluación (p. ej.: solo el personal implementador tuvo acceso a los lugares de los proyectos).

  • Dificultades para adaptar los marcos actuales de MyE a la respuesta a la COVID-19, debido a tipos nuevos de comportamientos, entornos nuevos en los cuales ocurrían, canales de comunicación nuevos en uso y la naturaleza de la transmisión de la COVID-19.

  • La creencia entre los implementadores de programas de que la COVID-19 probablemente solo iba a requerir una respuesta de corto plazo. Por lo tanto, no se consideró que el monitoreo y la evaluación fueran una prioridad.

  • Falta de orientación con respecto a las medidas de seguridad a tener en cuenta durante la recolección de datos.

  • Preocupación con respecto a si la recolección de datos futura podría continuar si se impusieran restricciones.

  • La recolección remota de datos se vio obstaculizada por la falta de familiaridad con los métodos posibles, el acceso limitado a las tecnologías adecuadas y la ausencia de bases de datos de información de contacto de la población objetivo (p. ej.: números de teléfono).

  • El monitoreo y la evaluación se centraron en documentar actividades y alcance en lugar de medir la aceptabilidad, los productos/resultados y los efectos.

  • Se politizaron los datos relativos a la COVID-19, lo cual acotó qué información se podía recolectar y cómo se podía compartir y utilizar.

    En los proyectos de investigación operativa, costó trabajo conseguir la aprobación de los comités de ética de manera oportuna.

  • Con las diversas olas de la pandemia, usualmente se demoraron los enfoques de recolección de datos o hubo que adaptarlos en repetidas ocasiones.

  • La toma de decisiones en torno de reanudar la recolección presencial de datos no siempre fue sistemática y no siempre se basó en datos epidemiológicos.

  • El diseño de herramientas de encuesta no siempre produjo datos que fueran de utilidad para fundamentar los programas.

  • Fue difícil medir el impacto programático debido a la alta exposición a los programas sobre COVID-19 y a la dependencia de la autodeclaración de comportamientos y el intercambio de comentarios anecdóticos ad-hoc sobre los programas. La mayoría de los programas también careció de datos de referencia sobre los comportamientos, lo cual dificultó que se extrajeran conclusiones sobre los cambios que podrían haber ocurrido.

  • Empezó a haber fatiga con respecto al monitoreo y la evaluación en las poblaciones, lo cual redujo la predisposición a participar.

  • n algunas zonas, se trató con recelo a los recolectores de datos, puesto que a las poblaciones les preocupaba estar contribuyendo con la propagación de la COVID-19 o que revelar información a los equipos de MyE podría hacer que tuvieran que aislarse.

Los enfoques de MyE también se también se vieron afectados por dificultades más generales a las que se enfrentó el personal de respuesta al adaptarse a la forma de trabajo en la "nueva normalidad". Algunas de esas dificultades fueron los cambios en las dinámicas del personal y los cambios en los roles y las responsabilidades en lo relativo al trabajo remoto. El trabajo remoto tendió a incrementar la presión sobre el personal de primera línea, que se esforzaba por cumplir con las exigencias de responder rápidamente, al mismo tiempo que debía conectarse a reuniones por Internet y lidiar con el impacto que tenía la pandemia en su vida personal. Las futuras iniciativas de respuesta podrían beneficiarse si reevalúan la manera en que las organizaciones apoyan al personal de primera línea y proporcionan el "deber de cuidado".

Resulta comprensible que las organizaciones con sistemas deficientes de MyE o con menor capacidad antes de la COVID-19 estuvieran en una situación más desventajosa cuando llegó la pandemia, lo cual pone de manifiesto la necesidad de invertir en iniciativas de fortalecimiento de las capacidades de MyE para apoyar el monitoreo de rutina y desarrollar resiliencia contra brotes epidémicos futuros.

Áreas de aprendizaje para fortalecer el MyE

Las secciones subsiguientes de este documento se centran en seis áreas clave de aprendizaje e identifican desafíos comunes y ejemplos de práctica positiva. En este resumen, se hace hincapié en estos temas: la seguridad en la recolección presencial de datos; los enfoques eficaces y creativos de recolección remota de datos; la mejora del diseño de encuestas; la adaptación de procesos para la observación de medidas de prevención; el incremento del aprendizaje operativo de rutina; y la identificación de alternativas viables para medir el impacto programático. Se seleccionaron estos temas no porque fueran las únicas cuestiones a tener en cuenta al hacer MyE durante brotes epidémicos, sino porque son las principales áreas de aprendizaje surgidas de los debates con los profesionales.

Recolectar datos presencialmente de manera segura

Si bien la recolección remota de datos se transformó en algo más común durante la pandemia, la mayor parte del trabajo de MyE se hizo usando enfoques de recolección presencial de datos. En general, las decisiones en torno del uso de enfoques "estándar" presenciales se tomaron en base a hábitos en lugar de evaluaciones detalladas de los riesgos. Con el paso del tiempo, muchas organizaciones, como Action Contre la Faim, Solidarites International y Oxfam, elaboraron planes programáticos y de MyE por etapas en los que proyectaron de qué manera cambiarían sus interacciones con las comunidades en función de las directrices gubernamentales y la transmisión comunitaria. Otras organizaciones informaron que regresaron a la recolección presencial de datos porque descubrieron que era difícil construir a distancia un vínculo con los participantes o generar espacios virtuales en los que se pudieran intercambiar opiniones o pensar soluciones de manera conjunta.

Se llegó a un cierto consenso sobre las cuestiones a tener en cuenta para recolectar datos presencialmente de manera segura durante la pandemia. Estas cuestiones se resumen a continuación.

Consejos para recolectar datos de manera segura:

Recomendaciones generales

Otras recomendaciones para debates grupales

Alinear los procedimientos de recolección segura de datos con las directrices y normas de los gobiernos nacionales.

Hacer debates grupales en grupos pequeños, de no más de 6 personas.

Informar a los participantes sobre el proceso de recolección de datos, lo cual incluye las medidas de seguridad que se adoptarán.

Reunir a vecinos para reducir la mezcla de personas.

Evitar ingresar a los domicilios y, en cambio, buscar un lugar privado al exterior o una zona bien ventilada.

Hacer los debates grupales cerca de donde residen las personas, para reducir al mínimo la necesidad de viajar.

Mantener las interacciones con los participantes lo más breves posibles.

Instalar una estación de lavado de manos en el lugar donde se realizará el debate grupal o tener alcohol en gel a disposición, para que los participantes y el personal puedan higienizarse las manos antes y después de la sesión.

Proveer alcohol en gel al personal y a los participantes durante la recolección de datos.

Evitar la participación de personas mayores de 60 años o con enfermedades preexistentes. Para que participen estas personas, usar métodos individuales o remotos para recabar los datos.

Asegurarse que el personal y los participantes usen mascarilla durante la recolección de datos (proveer las mascarillas a los participantes si fuera necesario).

Asegurarse de que haya lugar suficiente para que los participantes mantengan el distanciamiento físico durante la sesión y marcar dicha distancia con el posicionamiento de las sillas.

Reducir la cantidad de objetos compartidos (p. ej.: bolígrafos) y limpiar las superficies de contacto frecuente.

Capacitar a recolectores de datos locales de la comunidad objetivo a fin de reducir la necesidad de que el personal de la ONG se desplace.

Alentar al personal de primera línea a vacunarse lo antes posible.

Imagen izquierda: Recolectores de datos de Y-PEER Sudan generaron espacios seguros y privados al aire libre para debates grupales e implementaron medidas para reducir al mínimo el riesgo de propagación de la COVID-19. Imagen derecha: El personal de Oxfam que trabaja en el sur de las Filipinas adoptó medidas de seguridad al realizar encuestas sobre los determinantes de los hábitos relativos al lavado de manos. Dichas medidas incluyeron la entrega de mascarillas y el distanciamiento físico.

Enfoques eficaces y creativos para recolectar datos de forma remota

Muchas organizaciones no estaban preparadas para pasar repentinamente a recolectar datos de manera remota, no solo en términos de la tecnología requerida, sino también en cuanto a la necesidad de adaptar los métodos a las nuevas modalidades. Se informó que la adaptación a los métodos de recolección remota de datos fue más fácil para algunos actores humanitarios que ya tenían forma de llegar a las poblaciones de manera remota debido a limitaciones de acceso preexistentes, relacionadas con situaciones de crisis. Por ejemplo: en Nigeria, el Comité Internacional de Rescate (IRC) pude usar sus líneas telefónicas y redes de contactos con grupos de interés de la comunidad para entender la situación cambiante. Muchos actores mencionaron tener experiencia en respuesta a brotes epidémicos (p. ej.: de cólera o ébola), pero que lo aprendido en relación al MyE no siempre era transferible a la pandemia actual, dado que no era común que hubiera restricciones a la circulación en brotes anteriores y, por lo tanto, recolectar datos presencialmente todavía era la principal forma de trabajar.

El cambio a la recolección remota de datos generó dificultades en la obtención de datos de calidad que podrían fundamentar el diseño de los programas. Muchas organizaciones informaron que sus procesos de monitoreo se simplificaron debido a la pandemia. En general, las organizaciones se centraron en recopilar indicadores numéricos para resumir el alcance de los programas, y en la autodeclaración de percepciones y hábitos. Sintieron la necesidad de hacer encuestas breves para mantener la atención durante las encuestas telefónicas o por SMS. Sin embargo, a veces estas reducciones hicieron que los datos no fueran lo suficientemente matizados para actuar en base a ellos. En los comienzos de la pandemia, muchas organizaciones intentaron usar encuestas con sistemas de respuesta de voz interactiva (con preguntas automatizadas pregrabadas y respuestas de opción múltiple ingresadas con el teclado numérico del teléfono) porque esto permitía subcontratar el servicio y recolectar datos a gran escala con pocos recursos humanos. Sin embargo, a menudo las organizaciones tuvieron una tasa alta de falta de respuesta, y las respuestas cerradas y cortas dejaban a los actores con más preguntas que respuestas en lo relativo a la toma de decisiones sobre los programas. Otros actores de la respuesta recurrieron a las redes sociales para realizar votaciones y promover las encuestas. Este método resultó ser eficaz para recabar gran cantidad de datos. No obstante, muchas veces estaba sesgado en términos de quiénes participaban y era difícil establecer un vínculo entre la población que respondía a la encuesta y la que vivía en las zonas seleccionadas.

Dado que la información y las respuestas a la pandemia estaban en constante cambio, muchas organizaciones trataron de establecer mecanismos de monitoreo que permitieran recolectar datos y compartirlos en el tiempo. Algunas lo hicieron incorporando enfoques de monitoreo en sus plataformas de comunicación a distancia. Un ejemplo de esto fue el "rastreador de acciones" que se incorporó en U Afya, una plataforma móvil pensada para construir conocimientos y generar motivación en torno a la prevención de la COVID-19 entre las madres como agentes del cambio de hábitos en Kenia. Otras organizaciones hicieron más hincapié en monitorear las percepciones relacionadas con la COVID-19 y en rastrear cómo cambiaban con el paso del tiempo. Las organizaciones informaron que, frecuentemente, los datos cualitativos eran más útiles para posibilitar la adaptación rápida de los programas e identificaron muchos enfoques creativos para hacerlo a distancia. A continuación, damos tres ejemplos novedosos de métodos cualitativos remotos.

En el caso de quienes no pudieron recolectar datos presencialmente, lo común fueron las encuestas o entrevistas telefónicas con las poblaciones. A continuación, identificamos algunas áreas para mejorar la recolección telefónica de datos:

Consejos para entrevistas o encuestas telefónicas

Anticiparse a los problemas de cobertura de red, cortes de suministro eléctrico, carga de batería de los celulares y crédito telefónico: este punto puede incluir extender los períodos de recolección de datos, darles crédito telefónico a los participantes, llamar a las personas en distintos días y horarios y notificar a las personas por SMS antes de hacer una llamada. El Grupo de Investigación sobre COVID-19 de Sudán, junto con el personal de recolección de datos de Y-PEER, descubrió que debían ser pacientes y tenaces para superar los desafíos que plantean las entrevistas telefónicas en Sudán. Estos dos grupos trabajaron con las redes existentes dentro de las comunidades para llegar a participantes potenciales y hacerles saber a las personas que estaban intentando ponerse en contacto. Adaptaron sus horarios de trabajo para poder hacer las entrevistas en horarios que les resultaran convenientes a los participantes (p. ej.: más tarde por la noche) y pasaron a usar plataformas de entrevistas que funcionaran mejor con una mala conexión a Internet. En Tanzania, la ONG Maji Safi comenzó enviando mensajes de texto a una gran cantidad de participantes potenciales para hacerles preguntas preliminares. Si la persona respondía varias veces, después se la llamaba para interactuar en una entrevista telefónica más larga. Si bien esto podría introducir un sesgo, implicaba que las personas a quienes llamaban estaban dispuestas a responder y participar.

Usar distintos tipos de preguntas: en general, la recolección telefónica de datos debe ser más breve que la recolección presencial porque, de lo contrario, es más difícil mantener la atención de los participantes. Mezclar distintos tipos de preguntas (p. ej.: comparativas, situacionales, normativas) y respuestas (p. ej.: abiertas, de opción múltiple o por escalas) puede ser una buena manera de mantener la atención durante todo el proceso. Reiterar las entrevistas con los mismos participantes puede ofrecer la oportunidad de escalonar un cuestionario largo en una serie de llamadas.

Tener en cuenta el acceso telefónico y la titularidad: en muchos países de ingresos bajos e intermedios, es posible que los miembros de la familia compartan un mismo teléfono. Asimismo, ser dueño de un teléfono es más común en hombres que en mujeres y es menos común en personas pobres, personas adultas mayores y personas con discapacidad. Esta situación puede influir no solo en quiénes participan de la recolección telefónica de datos, sino también en quién podría escuchar por casualidad las respuestas o influir en las respuestas dadas por una persona. Explicar los motivos por los cuales se recolectan datos y confirmar los horarios de llamada son cosas que pueden ayudar a superar esta problemática. El equipo de investigación mundial y soporte de datos de Innovations for Poverty Action (IPA) recomienda comparar los datos demográficos de las encuestas telefónicas con los datos demográficos de encuestas anteriores para entender de qué manera esto podría sesgar los datos.

Centrarse en desarrollar un vínculo con los participantes: sin la interacción cara a cara, puede ser difícil lograr una conexión con los participantes. En el Líbano, el personal de investigación de Oxfam halló que era posible construir una relación con los participantes durante las entrevistas telefónicas si los miembros del personal se tomaban el tiempo de presentarse a sí mismos y al proyecto minuciosamente; si se designaba personal femenino de recolección de datos para participantes mujeres y viceversa para los hombres; si se daba tiempo suficiente para escuchar las preocupaciones de los participantes (aunque se fueran de tema); y si se realizaban entrevistas reiteradas con el mismo grupo de participantes.

Los recolectores de datos también tienen responsabilidad de informar: dada la naturaleza inusitada de la COVID-19 y las directrices cambiantes asociadas, los recolectores de datos pueden cumplir una función importante en hacerles comentarios u observaciones a los participantes. En Zimbabue, el personal de investigación de Action Contre la Faim desarrolló un conjunto de mensajes sobre la COVID-19 para compartir con los participantes al final de las entrevistas telefónicas. Dichos mensajes se compartieron cuando los participantes expresaron puntos de vista que no coincidían con las directrices locales o para informar a estas personas sobre los servicios disponibles. Compartirlos al final de la entrevista evitaba sesgar las respuestas dadas por los participantes.

Imagen: En Oxfam, un asistente de investigación realiza entrevistas telefónicas con refugiados sirios en el Líbano.

A pesar de las dificultades de la recolección telefónica de datos, también hubo ventajas. Por ejemplo: a menudo, hizo que la recolección de datos fuera más eficiente, dado que se podían hacer más entrevistas por día en diversos entornos geográficos. Muchas de las organizaciones que intentaron recolectar datos de manera remota por primera vez durante la pandemia sintieron que el cambio fue positivo y quisieron continuar para fortalecer las capacidades de recolección remota de datos como parte de su estrategia de MyE a largo plazo.

Reforzar el diseño de las encuestas

Las encuestas continuaron siendo la forma predominante de recolección de datos durante la pandemia. Sin embargo, algo relativamente común fue que los actores de la respuesta no estuvieran seguros de cómo adaptar los programas en base a los datos generados. A continuación, identificamos algunas cosas que se pueden hacer para reforzar el diseño de las encuestas y facilitar una visión útil de los programas:

Usar indicadores validados y confiables: cuando sea posible, examine encuestas que hayan sido elaboradas y puestas a prueba por otros y use indicadores o preguntas similares. Aunque la COVID-19 es una enfermedad nueva, hay indicadores estándar para algunas medidas clave de prevención (p. ej.: el lavado de manos) y herramientas desarrolladas durante brotes epidémicos anteriores que se pueden adaptar con facilidad (p. ej.: medidas de riesgo percibido de brotes previos de ébola o SARS). Usar enfoques estandarizados puede incrementar la validez y la confiabilidad de las preguntas y posibilitar la comparación de los resultados. También hay oportunidad de estandarizar los indicadores a nivel nacional y mundial. Por ejemplo: el Grupo Sectorial de WASH de Colombia estandarizó indicadores básicos y los informes entre los socios. Así se hizo más fácil que todos los socios compartieran mensualmente datos de sus departamentos y que el grupo sectorial analizara datos para fundamentar los procesos de toma de decisiones. El Grupo Sectorial de WASH mundial ha elaborado una guía sectorial de WASH sobre COVID-19 para una visión general de las necesidades humanitarias que acompañe el desarrollo de dichos indicadores sectoriales básicos. El proyecto RCCE Collaborative Service también está trabajando con una variedad de socios para estandarizar los indicadores en torno de la comunicación de riesgos y la vinculación comunitaria.

Definir el propósito de cada pregunta y cómo se usarán los datos: para cada pregunta de la encuesta, es útil definir qué es lo que está midiendo y preguntarse "¿por qué importa esta pregunta?" y "¿cómo usaré esta información para mejorar mi programa?". Hacer esto le permitirá dar prioridad a las preguntas que tienen mayor probabilidad de ser útiles para la adaptación de los programas. En Siria, Save the Children estaba elaborando una encuesta para usarla con niños en las escuelas y centros temporarios de aprendizaje. La organización quería que la encuesta fuera transferible y que respondiera a una serie de contextos locales diferentes. Se hizo una lista de posibles preguntas y, para cada una de ellas, se detalló el tipo de pregunta, el enfoque conductual, si medía conocimientos, actitudes o prácticas y la fuente de la pregunta. Este proceso permitió que el personal de cada región seleccionara las preguntas que fueran más relevantes para su programa.

Incluir preguntas diseñadas para medir cambios: a fin de facilitar la adopción de las medidas de prevención de la COVID-19, es importante entender qué cosas han cambiado en las circunstancias de las personas (p. ej.: los determinantes que influyen en sus hábitos) o cómo cambiaron sus hábitos en un período definido. Por lo tanto, es importante diseñar preguntas para centrarse en este aspecto del cambio. Por ejemplo: WaterAid llevó a cabo una evaluación rápida de los hábitos de higiene en 8 países, que incluyó indicadores relacionados con la exposición a los programas, los canales de comunicación preferidos, la autodeclaración de hábitos y los determinantes de dichos hábitos. WaterAid se dio cuenta de que, para medir el cambio, era importante ser precisos durante la recolección de datos. La organización halló que era útil diferencial entre momentos críticos "normales" para la higiene de manos y "momentos nuevos" promocionados durante la pandemia (p. ej.: lavarse las manos con jabón antes de entrar o salir de casa, después de toser/estornudar, después de tocar superficies de contacto frecuente y antes/después de cuidar de alguien que tuviera síntomas de COVID-19). Esta diferencia le permitió a WaterAid entender cómo se podían integrar las actividades de prevención de la COVID-19 en el diseño de los programas de higiene existentes y cómo adaptar los programas a medida que continuaba la pandemia. Preguntarles a las personas cuándo cambiaron de hábitos y por qué también puede ser fundamental para tomar decisiones con respecto a los programas.

Validar la comprensión de las preguntas en la lengua local: resulta complejo explicar muchos aspectos relativos a la epidemiología y la prevención y percepción de las enfermedades. Antes de comenzar a usar una encuesta, es importante dedicar tiempo a conseguir la traducción correcta de los términos en la lengua local. Hacer una prueba piloto con algunas personas suele permitir la identificación de preguntas que se malinterpretan. Por ejemplo: una ONG de Uganda desarrolló inicialmente una encuesta en inglés, pero luego se tradujo a dos lenguas locales para mejorar la comprensión. Se trabajó con hablantes nativos para dar con términos locales apropiados para algunos de los conceptos epidemiológicos o conceptos específicos de la COVID-19 Hacer una entrevista cognitiva puede ser una forma fácil de verificar si los encuestados comprenden las preguntas tal y como lo pretende el investigador. Para aplicar este método, seleccione la(s) palabra(s) clave(s) de cada pregunta y pídale al encuestado que explique el significado de la palabra. Si la explicación dada coincide con el significado planteado por el investigador, hay indicios de que se entiende bien la palabra clave. Para poner a prueba la comprensión de la pregunta en su totalidad, se le puede pedir al encuestado que responda la pregunta y que, luego, explique los pensamientos que subyacen a su respuesta. En este método, se identifican en efecto los malentendidos.

Recabar datos sociodemográficos: con frecuencia, la presión por reducir la longitud de las encuestas puede ocasionar que los actores recorten preguntan relacionadas con factores sociodemográficos. Sin embargo, la información sobre género, edad, ubicación, habilidades, formación, condición económica y otros factores puede ser fundamental para traducir observaciones en acciones programáticas dirigidas. Las preguntas relativas a la condición económica y las convicciones religiosas pueden ser delicadas para algunas personas o en ciertos países. Usar preguntas validadas con anterioridad, hacer pruebas piloto de las encuestas y tomarse el tiempo de construir un vínculo puede ayudar a mitigar estos problemas. Recolectar información sociodemográfica y analizarla también permite identificar barreras de equidad en la recolección de datos y el diseño de futuros programas (p. ej.: menos participantes mujeres, representación limitada de las personas con discapacidad, etc.). Es posible que superar estas barreras de la recolección de datos exija un muestreo estratificado o intencional y considerar el acceso telefónico o a las redes sociales.

Incluir preguntas de respuesta abierta y complementar las encuestas con otras herramientas: uno de los desafíos de las encuestas es que solo pueden generar datos sobre preguntas específicas que se formulan y, en general, se les pide a los usuarios que elijan una opción de respuesta dada por anticipado. Lo anterior implica que los hallazgos a veces pueden pasar por alto otros desafíos sobre los cuales no se formularon preguntas. Incluir algunas preguntas de respuesta abierta puede ayudar a superar esta dificultad y generar información sobre los motivos por los cuales las personas creen en algo o se comportan de una determinada manera. Sin embargo, las preguntas de respuesta abierta deben seleccionarse y priorizarse cuidadosamente, dado que cada respuesta implicará un análisis que insumirá más tiempo. Incluir preguntas de respuesta abierta en una submuestra más reducida de participantes podría hacer que este proceso sea más viable. Si no, los hallazgos provenientes de los datos de las encuestas se pueden complementar con otros métodos de recolección de datos. Por ejemplo: a continuación de los datos de las cuentas, podría haber un período útil y breve de recolección de datos cualitativos para explorar y validar algunos de los patrones identificados. Usar múltiples métodos puede también abordar las limitaciones y los sesgos de cada método.

Elaborar un plan de análisis de datos: a menudo, el análisis de datos se hace a posteriori como algo no previsto. Un plan de análisis de datos debería detallar exactamente qué se hace con los datos provenientes de cada pregunta y debería tener en cuenta los plazos para el análisis y la capacidad del personal. Si se planea observar el efecto combinado que tienen diversas variables sobre un sobre un resultado particular, todo esto se debe planificar desde el inicio. Si se estandarizan las herramientas de realización de encuestas entre países, también se pueden estandarizar los planes de análisis, lo cual permite mayor eficacia. Asimismo, es importante planificar con antelación cómo se podrían difundir los hallazgos y cómo se usarán las observaciones para fundamentar el diseño de los programas, lo cual podría incluir informar a otros grupos de interés en una fase temprana sobre la recolección de datos planificada y dar suficiente tiempo y presupuesto en los programas para hacer cambios iterativos.

Adaptar procesos para observar los comportamientos preventivos

En general, se considera a la observación como una medida más confiable para entender el comportamiento, si la comparamos con la autodeclaración de datos. Esto es debido a que, al comunicarse frecuentemente mensajes sobre medidas de prevención de la COVID-19, las personas suelen exagerar cuando informan qué medidas adoptan porque desean que se las perciba como alguien que hace "lo correcto". En la fase temprana de la pandemia, a menudo se evitó la observación debido a que había preocupación por la seguridad. Sin embargo, con el paso del tiempo, hemos visto adaptaciones eficaces y seguras de los métodos observacionales. Entre las adaptaciones más comunes, se encuentran: la adaptación de los métodos para llevar a cabo la observación en lugares públicos, También cada vez más organizaciones han estado usando controles puntuales y listas de verificación observacionales. Estos elementos proveen una evaluación rápida del entorno físico para indicar si es conducente a la puesta en práctica de las medidas de prevención. Por ejemplo: en Indonesia y Mozambique, SNV trabajó con Upward Spiral para elaborar una lista de verificación que se podría usar para evaluar las medidas de prevención de la COVID-19 en mercados, centros de transporte y centros de salud. La lista de verificación les permitió a los gerentes participar activamente en la prevención de la COVID-19 en estos lugares mediante el cálculo de un puntaje de seguridad relativo a la COVID-19 y la recepción de recomendaciones sobre cuestiones específicas que podrían hacer para mejorar el puntaje. Se ofrecieron premios para incentivar los cambios. Estas listas de verificación son relativamente rápidas de realizar, lo cual permite monitorear la misma información a lo largo del tiempo. Por ejemplo: WaterAid elaboró una lista de verificación estandarizada para monitorear la funcionalidad y la accesibilidad de las instalaciones de lavado de manos que colocaron en lugares públicos en 8 países y planea continuar usando esta lista periódicamente. A continuación, identificamos algunas cosas que se pueden hacer para reforzar los métodos observacionales:

Imagen izquierda: Mapa de lugares públicos (en naranja) en el noroeste de Siria donde UDER ha realizado observaciones del uso de mascarillas. Imagen derecha: Observador documenta el uso de mascarillas a medida que las personas ingresan a un mercado.

Consejos para reforzar los métodos observacionales:

Invertir tiempo en el desarrollo de las capacidades del personal: la observación es una habilidad nueva para muchas personas y requiere formación en el aula además de práctica aplicada en entornos reales. En Etiopía, la República Democrática del Congo y Bangladés, Oxfam formó a su personal tanto en la observación como en controles puntuales para monitorear el uso de los puestos de lavado de manos de Oxfam en los campos de desplazados. La organización descubrió que era útil crear situaciones simuladas para capacitar a las personas en el aula y luego darle al personal de cada país tiempo para practicar con las herramientas antes de compartir comentarios y reflexiones. Asimismo, se puede reforzar la calidad de las observaciones haciendo que los supervisores lleven a cabo controles aleatorios de los observadores y facilitando las revisiones en equipo de los datos recabados cada día. Este proceso también puede ayudar a superar cualquier barrera contextual que no se haya previsto.

Dar orientación sobre cómo clasificar las observaciones: en general, se les pide a los observadores que clasifiquen si una persona pone en práctica un comportamiento en un momento determinado y, potencialmente, algunos detalles sobre cómo lo hace. Para facilitar esta clasificación, es importante que estén bien definidas las categorías. Por ejemplo: en el noroeste de Siria, UDER hizo una encuesta sobre el uso de mascarillas y la complementó con observaciones en lugares públicos. Para ayudar con la clasificación, la organización incluyó imágenes al capacitar al personal a fin de explicar cuál era el uso "correcto" de la mascarilla y las distintas formas de "uso incorrecto". Tras una prueba piloto en el contexto local, se sumó otra categoría para el uso del niqab/shemagh (coberturas culturales del rostro), puesto que en el caso de las personas que usan estas prendas no suele ser posible identificar si tienen puesta una mascarilla debajo.

Registrar la cantidad correcta de detalles: como con todos los métodos de recolección de datos, es importante recabar solo aquellos que serán útiles para los programas. Para eso, es necesario limitar la recolección de datos a las variables clave y tener en cuenta el nivel de detalle que será necesario para tomar decisiones. Kenya NBCC proveyó más de 5000 instalaciones para el lavado de manos en entornos públicos de toda Kenia. La evaluación llevada a cabo por esta organización incluía comprobar la presencia de agua y jabón en las instalaciones. Al principio, se registraron medidas detalladas sobre la cantidad de agua que había en las unidades de lavado de manos (un cuarto, por la mitad, lleno, etc.), pero luego se dieron cuenta de que era posible simplificar este proceso y registrar solamente si había agua o no. Se dieron cuenta de que esta categorización binaria bastaba para indicar si las instalaciones eran funcionales o no.

Acordar una forma de medir el denominador de los resultados: los datos de las observaciones se pueden usar de diversas maneras, pero normalmente se emplean para calcular la proporción de personas que ponen en práctica un comportamiento determinado en un momento clave o en un entorno concreto. Al inicio de la recolección de datos, es importante identificar cómo se calculará el denominador y hacer una prueba previa. En el caso de los entornos públicos, esto puede ser dificultoso y podría afectar qué lugares se eligen para la observación. En Indonesia, UNICEF y el gobierno nacional desarrollaron un sistema de monitoreo basado en la observación en tiempo real para evaluar el lavado de manos, el distanciamiento físico y el uso de mascarillas. Utilizaron una red de voluntarios para hacer observaciones rápidas en todo el país e ingresar los datos en una plantilla estandarizada. UNICEF decidió centrar sus observaciones en los lugares en los que había un punto de ingreso claro, ya que esto permitía captar la cantidad que entraban. El organismo capacitó a sus voluntarios, muchos de los cuales formaban parte del Grupo de Trabajo Nacional de COVID-19, para que documentaran las medidas de prevención adoptadas por las diez primeras personas que vieran entrar en esos lugares. Esto hizo que el enfoque fuera rápido, viable y fácil de medir. Los voluntarios también recibieron crédito telefónico para apoyar e incentivar su trabajo.

Imagen: En las instalaciones de lavado de manos distribuidas por NBCC, se hicieron controles puntuales rutinarios para evaluar el mantenimiento y la funcionalidad de las estaciones a lo largo del tiempo.

Aumentar el aprendizaje operativo rutinario

Muchos actores de la respuesta mencionaron que, además del uso de métodos formales de MyE, hallaron que el intercambio informal de información ayudó a adaptar sus programas rápidamente. El aprendizaje operativo informal tuvo particular importancia en las primeras fases de la pandemia, cuando era menos viable recopilar gran cantidad de datos y la situación cambiaba con rapidez. Diseñar los informes programáticos o las reuniones periódicas de modo tal que faciliten el aprendizaje programático es un enfoque que será fundamental para establecer sistemas de MyE más sólidos para el futuro. A continuación, presentamos cuatro ideas sencillas para reforzar el aprendizaje operativo:

Usar todos los datos disponibles: en la fase inicial de la pandemia, muchos actores pasaron por alto el potencial de emplear los datos existentes para moldear la primera fase de sus programas, lo cual podría haber incluido el uso de evaluaciones previas de hábitos relevantes (p. ej.: el lavado de manos), experiencias relacionadas con otros brotes de enfermedades (p. ej.: cólera o ébola) o la disponibilidad de infraestructura y servicios relevantes (p. ej.: servicios de agua). En Zambia, GRID3 trabajó junto con el gobierno nacional para crear el Centro de Datos de Zambia, que utilizó datos existentes (p. ej.: datos de las encuestas demográficas de salud y datos gubernamentales) y los puso a disposición mediante aplicaciones de mapeo y tableros en línea que les permitieron a los usuarios visualizar los grupos en riesgo (p. ej.: las personas con acceso limitado al agua para lavarse las manos, las personas con acceso limitado a la atención médica y las zonas con alta densidad de población). Con el paso del tiempo, se amplió el Centro para captar nuevos datos y eso permitió visualizar las percepciones y los hábitos, gracias a las encuestas enviadas por las organizaciones que realizaban las campañas de vinculación comunitaria sobre la COVID-19. También se incluyeron los casos de COVID-19 a nivel distrital y provincial, la ubicación de los centros de vacunación y de realización de pruebas de detección, y el seguimiento de las dosis de vacunas aplicadas. Este portal centralizado de intercambio de conocimientos les permitió a los actores locales coordinar medidas oportunas en cada fase de la respuesta. Los Grupos Sectoriales Humanitarios de WASH también han redactado consejos sobre cómo llevar a cabo las revisiones de datos secundarios con el fin de apoyar a los socios que desean usar las bases de datos disponibles para moldear su trabajo de respuesta a la COVID-19.

Reunirse frecuentemente con el personal de primera línea para reflexionar sobre el diseño de los programas y plasmar las conclusiones en los informes: en circunstancias normales, a veces los programas se modifican como resultado de los intercambios informales que ocurren en el día a día en las oficinas de las organizaciones. Dado que muchos empleados estaban trabajando a distancia, era fácil que se pierdan oportunidades de aprendizaje informal. Oxfam, Action Contre la Faim y sus socios han estado usando el Rastreador de Percepciones Comunitarias en 14 países. Este instrumento alienta al personal a emplear habilidades de escucha activa y a documentar de forma sistemática las percepciones que les comparten durante las actividades corrientes del programa. La organización se dio cuenta de que el proceso se reforzaba considerablemente con la celebración de reuniones semanales entre el personal del programa. Esto les permitió traducir las percepciones que surgían de las comunidades en formas consensuadas de mejorar los programas. También se avanzó hacia la implementación de plantillas de informes estandarizados que guiaban al personal en el proceso de resumir la información de modo que resonara con otros actores y maximizara el aprendizaje.

Crear diálogos abiertos con los grupos de interés: muchos actores han indicado que los mecanismos más valiosos para el aprendizaje programático continuo han sido las redes informales formadas con los principales grupos de interés de la comunidad. Estas redes pueden facilitar el intercambio bidireccional de información e incrementar la aceptabilidad de otros enfoques de recolección de datos. Por ejemplo: en Kenia, al principio el Comité Internacional de Rescate se enfrentó a la reticencia de las comunidades a participar en la recolección de datos en contextos de desplazamiento. La organización trabajó con otros socios de respuesta para celebrar reuniones conjuntas frecuentes con los líderes de la comunidad, a fin de que entendieran mejor los fundamentos por los cuales se realizaba la recolección de datos. Siempre que fue posible, los socios trataron de armonizar los procedimientos o utilizar procedimientos conjuntos de recopilación de datos, para que el monitoreo fuera menos pesado para la comunidad. Una vez establecidos estos foros de comunicación, en la comunidad aumentó la aceptación del MyE y los grupos de interés de la comunidad pudieron compartir sus opiniones para mejorar los programas. Dado que la recolección de datos en persona fue un desafío durante toda la pandemia, muchas organizaciones también han dedicado tiempo a capacitar a los miembros de la comunidad en materia de recolección de datos, lo cual demostró ser particularmente provechoso para monitorear el funcionamiento de las instalaciones de lavado de manos y garantizar la presencia de agua y jabón, ya que estos mismos grupos de interés de la comunidad a menudo pueden tomar medidas directas para abordar los desafíos.

Compartir los resultados de manera creativa: El intercambio de aprendizajes operativos dentro de las organizaciones y entre ellas debe ser oportuno para así influir en el diseño de los programas, pero también debe estar bien descrito y formateado. Lograr estas cosas es difícil en una crisis de avance rápido. Un problema habitual con la difusión es que los recolectores de datos no describen con claridad cómo se recabaron los datos y cuál era la intención subyacente de la metodología. Sin esta información, es frecuente que se puedan malinterpretar los resultados. Al elaborar los documentos de difusión, a veces las organizaciones se esfuerzan por establecer vínculos entre los patrones que surgen de sus datos y el conjunto de acciones que recomiendan. Por último, a menudo los resultados son extensos o se presentan de una manera que a los usuarios finales les resulta difícil de digerir o descifrar. En Bazar de Cox (Bangladés), ha habido un esfuerzo continuo para elaborar informes rápidos sobre la recolección de datos cualitativos de las poblaciones. Para que los resultados sean más atractivos, los socios trabajaron con un artista gráfico para ilustrar algunas de las experiencias que conocieron. Como el producto final era visualmente más atractivo que los tipos estándar de información que se compartían, ayudó a que los hallazgos captaran más atención entre los grupos de interés que podían actuar en función de los hallazgos. Utilizar las redes existentes, como los grupos de coordinación de comunicación de riesgos y vinculación comunitaria o los grupos sectoriales de WASH, puede ser una manera fácil de compartir las percepciones con quienes pueden emplear los resultados.

Identificar alternativas viables para medir el impacto

Muchos de los actores de la respuesta a la COVID-19 se enfrentaron a desafíos en lo que respecta a evaluar la eficacia de sus programas. Hay varios factores que hicieron que medir el impacto fuera más complejo durante la pandemia. Algunos ejemplos:

  • Múltiples factores que afectaban la propagación de la COVID-19: algunos actores consideraron monitorear los casos de COVID-19, las tasas de positividad o la mortalidad como una posible medición de los resultados. Sin embargo, hay diversas limitaciones con estas mediciones y múltiples factores que podrían influir en la propagación en cualquier momento. Por lo tanto, no se consideró como un indicador viable del impacto programático. No obstante, en algunos países, donde la realización de pruebas de detección era limitada, el trabajo de monitoreo de las ONG y de las comunidades en sí ha sido una fuente útil de información sobre la transmisión en tiempo real y la mortalidad, y permitió a los actores de la respuesta adaptar los programas acorde a ello.

  • Escala y diversidad de la respuesta: a veces, los actores del sector de ayuda humanitaria y desarrollo están trabajando en un lugar donde ya hay algunas otras intervenciones que intentan obtener los mismos efectos en la salud pública. Esta situación hace que sea más fácil atribuirle al programa los cambios en el comportamiento o las percepciones. Sin embargo, la pandemia de COVID-19 desencadenó respuestas a una escala inédita y en todos los entornos las poblaciones estuvieron expuestas a los programas de diversas iniciativas gubernamentales, no gubernamentales y comunitarias. Por eso, es probable que los cambios observados sean atribuibles al impacto combinado de todos estos programas de respuesta, en lugar de a uno solo.

  • Aumento del uso de los canales remotos de comunicación: muchos actores estaban usando canales de comunicación con los que estaban menos familiarizados, lo cual incluye las redes sociales, digitales y los medios masivos. Si bien algunos actores encontraron formas de monitorear el alcance de sus mensajes (p. ej.: mediante herramientas analíticas de redes sociales o de monitoreo de medios), fue mucho más difícil medir el impacto que tuvieron los mensajes en la forma de pensar y comportarse de las personas.

  • Reducción de la frecuencia de recolección de datos y reducción de la variedad de tipos de métodos empleados: muchas organizaciones informaron que dependían de la autodeclaración de datos sobre hábitos. Si bien reconocían las limitaciones de estos enfoques, consideraban que los métodos alternativos no eran viables o eran inseguros en su contexto de trabajo. Otras organizaciones mencionaron que la menor interacción con las poblaciones implicó que la recolección de datos solo ocurría en algunos momentos exclusivos y eso dificultaba entender el cambio de los hábitos en el tiempo. Se consideró que esto revestía particular importancia durante la pandemia, dado que el comportamiento de las personas parecía cambiar con frecuencia en respuesta a los cambios en los datos científicos y las directrices.

Imagen: Una trabajadora de campo de World Vision hace una entrevista cuantitativa presencial en un campo de refugiados de Zimbabue.

A continuación, compartimos algunas ideas para reforzar la evaluación de los programas de COVID-19:

Usar una teoría del cambio y desarrollar indicadores para monitorear cada etapa de los mecanismos de cambio hipotetizados: una teoría del cambio describe de qué forma un proyecto propone generar un cambio de hábitos o de efectos en la salud mediante el delineado de una serie paso a paso de eventos causales. Las teorías de cambio se suelen elaborar como parte de los procesos de diseño de programas, pero son valiosas para el monitoreo también. Por ejemplo: en el campo de refugiados Tongogara, en Zimbabwe, RANAS trabajó con ACNUR, World Vision y la Agencia Suiza para el Desarrollo y la Cooperación con el propósito de diseñar su monitoreo programático para reflejar cada nivel de su teoría del cambio. Para evaluar la ejecución de su intervención, midieron en la población el recuerdo de las intervenciones. Para evaluar productos/resultados y efectos, llevaron a cabo una encuesta a fin de monitorear los cambios en los determinantes que influyen en los hábitos y los cambios en las prácticas autodeclaradas de lavado de manos y las prácticas autodeclaradas de distanciamiento físico. Combinando estos indicadores, pudieron entender si el programa se implementó según lo previsto y tuvo el efecto buscado.

Usar más de un enfoque para medir el comportamiento: dado que el acceso a las comunidades puede cambiar frecuentemente durante la pandemia, a muchos actores les ha resultado útil tener múltiples indicadores o métodos para medir un mismo comportamiento. En la India, la Fundación Janseva Gramin Vikas Va Shikshan y RANAS usaron una mezcla de preguntas para entender el uso de las mascarillas. Comenzaron haciendo una pregunta de respuesta abierta: “Imagine que está saliendo de su casa para ir de compras o visitar a alguien. ¿Qué hace en ese momento?". A medida que los participantes respondían, el encuestador escuchaba y tomaba nota de si mencionaban ponerse una mascarilla. Más adelante preguntaban: “¿En qué situaciones usa una mascarilla?”. Los recolectores de datos indagaban en base a momentos específicos, como salir de casa o usar transporte público. Combinar ambas respuestas les dio una medición más confiable del comportamiento y permitió entender qué ocurría en la práctica diaria. También puede ser útil hacerles a los participantes preguntas normativas sobre su visión del comportamiento de otras personas de la comunidad.

Medir la aceptabilidad, la relevancia y la sostenibilidad de los programas: se suelen pasar por alto estos factores en los enfoques programáticos de MyE y son comparativamente fáciles de medir. Muchos actores mencionaron que, en retrospectiva, desearían haber incluido más indicadores cualitativos para entender el motivo y la forma en la que el programa estaba logrando su impacto.

Iniciativas de monitoreo conjunto: en lugar de ver el impacto de un programa o una organización, tiene sentido aunar recursos y ver el impacto colectivo de las iniciativas de respuesta durante la pandemia. En muchas regiones del mundo, las estructuras de coordinación han ayudado a facilitar las iniciativas de monitoreo conjunto. Por ejemplo: el Grupo Sectorial de WASH de Palestina desarrolló un sistema de calificación de la vulnerabilidad con el fin de ayudar a los socios a identificar las necesidades y las regiones particularmente vulnerables. Se adaptó este sistema para captar datos sobre la COVID-19 para poder monitorear de qué manera la pandemia afectaba la vulnerabilidad de las distintas regiones. En otras partes del mundo, como en Indonesia, socios gubernamentales y de ONG con capacidades y tiempo limitados se contactaron con instituciones de investigación para facilitar rondas trimestrales de investigación formativa sobre medidas de prevención de la COVID-19. Usar un socio externo neutral favoreció que se confiara en los hallazgos, que fueron usados posteriormente por todos los actores de la respuesta.


Documento redactado por Sian White, quien es líder de la respuesta a la pandemia del Hub de Higiene para la COVID-19 y becaria de investigación de la London School of Hygiene and Tropical Medicine. Las siguientes personas realizaron un valioso aporte: Max Perel-Slater (Emory University), Claire Collin (LSHTM), Sarah Bick (LSHTM), Astrid Hasund Thorseth (LSHTM), Jenny Lamb (LSHTM), Robert Dreibelbis (LSHTM), Max Friedrich (Ranas Ltd.), Aliocha Salagnac (Global WASH Cluster/UNICEF), Lauren D’Mello-Guyett (LSHTM), Peter van Maanen (Joint Monitoring Programme/UNICEF), Om Prasad Gautam (WaterAid), Ian Gavin (WaterAid), Brian Mac Domhnaill (UNICEF), Faith Adhiambo Okelo (IRC), Alexandra Karkouli (Global WASH Cluster/UNICEF), Balwant Godara (Sanitation and Water for All) y Aarin Palomares (Global Handwashing Partnership/FHI 360).

¿Ha quedado contestada tu pregunta?