Este recurso abarca los principios de seguimiento y evaluación (S&E) de datos y las formas prácticas de aplicarlos a la higiene durante la respuesta a una crisis sanitaria. También se brindan algunos principios generales para entender si un proyecto está teniendo un impacto relevante en los comportamientos y procesos preventivos.

El S&E permite analizar el desempeño de un proyecto. El seguimiento y la evaluación se conciben como un proceso único que utiliza datos recopilados de forma continua y en momentos distintos. Los datos de seguimiento y evaluación apoyan el aprendizaje y la rendición de cuentas de todas las partes interesadas, incluidos grupos financieros, beneficiarios, ejecutores y responsables políticos.

El seguimiento es un proceso que consiste en la continua recopilación de datos a lo largo del ciclo de vida de un proyecto. Implica la compilación, el análisis, la comunicación y el uso de la información referente al progreso del proyecto. Los sistemas y procedimientos de seguimiento deben proporcionar los mecanismos adecuados para proporcionar a las personas indicadas la información precisa en el momento oportuno, ayudándoles así a tomar decisiones documentadas sobre el progreso del proyecto. Los datos de seguimiento deben poner de manifiesto los puntos fuertes y débiles en la implementación del proyecto y permitir que se resuelvan los problemas, se mejore el rendimiento, se aprovechen los éxitos y que los proyectos se adapten a las circunstancias cambiantes. A menudo, los datos de seguimiento rutinario alimentan las evaluaciones de procesos que se describen más adelante.

La evaluación se refiere al análisis sistemático que determina si un proyecto está logrando las metas y objetivos estipulados durante la etapa de diseño y/o en qué medida el programa ha producido los resultados y el impacto previstos entre la población objetivo, así como efectos o impactos no previstos. Consulte este recurso para obtener definiciones detalladas de cada uno de estos conceptos. Las evaluaciones suelen llevarse a cabo al inicio, a la mitad y al final de un proyecto. La evaluación se diferencia del seguimiento y las revisiones periódicas según las siguientes características:

Una de las herramientas más útiles para desarrollar un plan de SyE es elaborar una teoría que defina dónde reside la posibilidad de éxito para tu proyecto y cuál puede ser el impacto asociado. A esta teoría, a menudo se la denomina "teoría del cambio". Desarrollar una teoría del cambio permitirá establecer unos procesos de seguimiento y evaluación adecuados.

Una teoría del cambio describe de qué forma un proyecto propone generar un cambio de hábitos o de efectos en la salud mediante el delineado, paso a paso, de una serie de eventos causales. Al desarrollar una teoría del cambio, es útil utilizar un enfoque de "mapeo regresivo", que comienza con el resultado deseado y luego retrocede, identificando las acciones y objetivos a corto y medio plazo necesarios para lograrlo. Una teoría del cambio se basa en suposiciones sobre lo que debe ocurrir e incorpora una comprensión de cómo el contexto puede apoyar o dificultar el éxito de la intervención.

Existen muchos términos diferentes para describir los distintos componentes de una teoría del cambio. Las organizaciones pueden utilizar diferentes estructuras para comprender la naturaleza causal de una teoría del cambio, incluidos los marcos lógicos y las vías de impacto.

En este recurso utilizamos los siguientes términos y definiciones:

La utilización de aportes/insumos y la ejecución de las actividades estipuladas en el proyecto generan una cadena de eventos en la que los productos resultan en efectos conductuales e impactos en la salud. Si no vemos el cambio que esperábamos lograr con el proyecto, estamos ante un "fallo teórico" (nuestra teoría del cambio estaba equivocada) o bien ante un "error de ejecución " (no se ejecutó el proyecto de la forma correcta). La evaluación del proceso ayuda a determinar si ha habido un error de ejecución mientras que el seguimiento y la evaluación de la teoría del cambio pueden ayudar a determinar si se trata de un fracaso teórico.

Ejemplo práctico de teoría del cambio aplicada a un proyecto de cambio de comportamiento en materia de lavado de manos para COVID-19

Aquí incluimos un ejemplo de teoría del cambio simplificada para el lavado de manos con jabón para el control de COVID-19, aunque el ejemplo podría aplicarse a otras enfermedades infecciosas con modos de transmisión similares. La teoría del cambio real para cualquier proyecto individual puede ser más específica y debe incluir indicadores que sean más mensurables.

Una teoría del cambio bien articulada puede servir de base para las actividades de seguimiento y evaluación. El seguimiento es un proceso continuo y debe centrarse principalmente en indicadores relacionados con las actividades y los resultados. También puede incluir la evaluación rutinaria de los resultados del proyecto. La evaluación se centra principalmente en las últimas etapas de la teoría del cambio, valorando la consecución de resultados e impactos. Los componentes cubiertos por las evaluaciones dependerán del tipo de evaluación que se realice.

Existen varios tipos de evaluaciones que pueden utilizarse en el desarrollo, en la ejecución y en la evaluación de intervenciones de salud pública:

Evaluación de procesos: Documentan cómo se ejecuta un proyecto y qué se ha logrado realmente en comparación con los planes predefinidos. Las evaluaciones de procesos suelen valorar lo siguiente:

Evaluación de la adecuación: Estas evaluaciones miden en qué medida un programa o proyecto ha alcanzado objetivos predefinidos entre la población destinataria.

Estos objetivos pueden ser conductuales(por ejemplo: porcentaje de la población que se lava las manos en momentos clave), de acceso o de salud.

En una evaluación de adecuación, el éxito se mide en función de unos objetivos predefinidos que se fijan al inicio de las actividades del proyecto. Dado que las evaluaciones de adecuación no comparan los proyectos con un grupo de control, no pueden determinar qué habría ocurrido si el proyecto no se hubiera implementado (un aspecto importante para determinar la causalidad). Como tales, las evaluaciones de adecuación no indican directamente si el proyecto produjo los cambios medidos en la población destinataria. Sin embargo, si una evaluación de adecuación analiza indicadores directamente relacionados con las actividades y los resultados del proyecto y no hay otros proyectos en curso en esa zona, podemos concluir que los cambios son probablemente resultado del proyecto.

Evaluación de impacto: Es el patrón de referencia en materia de salud pública. Las evaluaciones de impacto (que incluyen ensayos clínicos aleatorizados o estudios cuasiexperimentales) determinan si una intervención, proyecto o programa tuvo, a nivel estadístico, un impacto en los indicadores de interés clave (por ejemplo, la salud). Estas evaluaciones suelen incluir la medición de resultados a medio y largo plazo y examinan la relación causa-efecto para determinar si los cambios de comportamiento o salud pueden atribuirse a la intervención. Las evaluaciones de impacto requieren un grupo de control, un conjunto de unidades (por ejemplo, hogares, comunidades, escuelas) que no reciba la intervención. Este tipo de evaluaciones pueden ser costosas y complicadas. El uso de evaluaciones de impacto puede no ser factible o aconsejable en determinados contextos.

Para más información sobre las evaluaciones de adecuación e impacto (verosimilitud y probabilidad), se recomienda la lectura de este artículo que explica claramente no sólo qué medir en este tipo de evaluación, si no también qué se puede afirmar o demostrar mediante cada tipo de evaluación.

El enfoque dominante del SyE incluirá probablemente seguimiento y evaluaciones de procesos o evaluaciones de adecuación. Durante los brotes epidémicos, es menos común que se usen evaluaciones de impacto ya que, generalmente, son más costosas (requieren más personal externo y controles más estrictos con respecto a cómo se recolectan los datos), agregan desafíos éticos (por ejemplo, el uso de grupos de control) y requieren una medición de resultados de salud o conductuales (datos que probablemente sean difíciles de recolectar con calidad durante un brote). Para obtener más información sobre por qué las medidas sanitarias no se utilizan ampliamente durante los brotes, consulte este articulo. En su lugar, recomendamos que los responsables de la ejecución de los proyectos den prioridad a la evaluación del progreso de las intervenciones con respecto a objetivos predeterminados de comportamiento y acceso relacionados con los resultados del proyecto.

Dada la magnitud de algunos brotes, es posible que en su zona haya muchas organizaciones que recopilen datos de seguimiento y evaluación. Para evitar la duplicación y la fatiga en la recopilación de datos entre sus poblaciones, los procesos de seguimiento y evaluación deben ser coordinados con las distintas organizaciones que trabajen en una misma zona.

Obsérvese que, aunque en esta sección se utiliza el COVID-19 como ejemplo, los principios pueden aplicarse a otras enfermedades similares. No se recomienda hacer un seguimiento de la incidencia de los casos de COVID-19 ni de la mortalidad como parte de las evaluaciones programáticas de impacto. Las razones para ello se describen a continuación.

Durante los brotes de enfermedades, las pruebas de diagnóstico no se suelen realizar de forma sistemática, lo que nos lleva a no tener un conocimiento conciso sobre el número total de personas, igual que nos ocurrió con el COVID-19. Como las pruebas no se realizan de la misma manera en todos los países, resulta difícil comparar las tasas de letalidad de las distintas poblaciones a escala regional y mundial. Además de los problemas para definir el número de casos, también hay diferencias en la forma de definir las muertes por COVID-19 y los problemas de muertes ocultas (personas que mueren por COVID-19 y nunca se someten a las pruebas). Con frecuencia, esto supone un problema durante los brotes de cólera y ébola, en los que se producen casos y muertes tanto en los centros sanitarios como en la comunidad, dificultando la comprensión del número total real de casos y muertes. En consecuencia, hay que tener cuidado al interpretar el número de casos y las tasas de letalidad durante los brotes de enfermedades, especialmente cuando se trata de compararlos entre países.

Dada la duración y gravedad sin precedentes de la pandemia, mejoró notablemente la capacidad de diagnóstico, vigilancia y notificación, las medidas de tratamiento y la adopción de medidas preventivas. En marzo de 2020, la tasa de mortalidad infantil oscilaba entre el 0,22% en Alemania, el 6,81% en Italia y el 3,74% a escala mundial. Mientras tanto, un año después del primer caso confirmado de COVID-19, la CFR varió del 2,86% en Alemania al 3,17% en Italia y al 2,29% a nivel mundial. Tres años después del inicio de la pandemia, todavía se registran tasas de incidencia del 1,19%, el 1,89% y el 1,91% en India, Brasil e Irán, respectivamente.

Al diseñar indicadores para facilitar la comprensión del impacto sanitario, un reto común es atribuir cualquier variación en la incidencia de casos y mortalidad a cualquier programa específico. Esto es difícil porque:

Por lo tanto, es recomendable medir el impacto del programa a través de una teoría de cambio para comprobar si el programa alentó los cambios deseados que podrían reducir la transmisión de la COVID-19, los casos y las muertes producto de la enfermedad. También es importante que las expectativas sobre qué puede o no puede conseguir el proyecto se valoren desde un principio. Así, evitaremos que alguien espere obtener datos sobre el impacto sanitario y, además, entienda por qué estos datos no son concluyentes.

A veces, los resultados de los procesos de seguimiento y evaluación pueden ser decepcionantes o no tan positivos como la organización esperaba. A menudo es tentador no compartir estos resultados con los demás de la misma manera que se comparten los resultados positivos. Sin embargo, en el sector WASH existe un renovado interés por aprender constructivamente de los fracasos. El Acuerdo de Nakuru anima a los profesionales de WASH a:

Recursos generales de seguimiento y evaluación:

Autores: Matt Freeman

Revisores: Peter Winch, Katie Greenland, Karine Le Roch

Artículo actualizado: 01.03.2023