Una de las herramientas más útiles para desarrollar un plan de MyE es elaborar una teoría con respecto a de qué forma es probable que el proyecto pueda conseguir sus productos/resultados y los efectos e impactos asociados. A esta teoría se la suele llamar "teoría del cambio". Desarrollar una teoría del cambio permitirá establecer procesos adecuados de monitoreo y evaluación.
¿Qué es una teoría del cambio?
Una teoría del cambio describe de qué forma un proyecto propone generar un cambio de hábitos o de efectos en la salud mediante el delineado de una serie paso a paso de eventos causales. Al desarrollar una teoría del cambio, es útil usar un enfoque de "mapeo regresivo" que comienza por el efecto deseado y luego retrocede hasta identificar las acciones a corto y mediano plazo y los objetivos necesarios para lograrlo. Una teoría del cambio se basa en supuestos con respecto a qué debe ocurrir e incorpora una noción de cómo el contexto podría apoyar u obstaculizar el éxito de la intervención.
Fuente: Matthew Freeman
Hay muchos términos distintos usados para describir los diversos componentes de una teoría del cambio. Es posible que las organizaciones usen distintas estructuras para entender la naturaleza causal de una teoría del cambio, entre ellas los marcos lógicos y las cadenas de impactos.
En este recurso, usamos los siguientes términos y definiciones:
Aportes/Insumos: Las materias primas que necesita el proyecto (p. ej.: dinero, materiales, conocimiento técnico, capacitación, relaciones y personal) para llevar a cabo las actividades y lograr los productos/resultados y objetivos.
Actividades: El proceso o las medidas tomadas que transformarán los aportes/insumos y los recursos en los productos/resultados deseados.
Productos/Resultados: Los resultados directos de las actividades de los proyectos. Todos los productos/resultados son las cosas que se pueden lograr durante el plazo de subvención y están vinculados con los objetivos y las metas.
Efectos: Afirmaciones específicas sobre los beneficios que un proyecto o una intervención están diseñados para ofrecer. Deberían apoyar la meta y ser medibles, estar sujetos a un plazo determinado y ser específicos a un proyecto. Muchos proyectos tienen más de un objetivo.
Impacto: El desafío a largo plazo y gran escala con el cual contribuirá a abordar el programa.
La utilización de aportes/insumos y la ejecución de las actividades del proyecto generan una cadena de eventos en la que los productos/resultados provocan efectos conductuales e impactos en la salud. Si no vemos el cambio que esperábamos lograr con un proyecto, estamos ante una "falla de la teoría" (nuestra teoría del cambio estaba equivocada) o bien ante una "falla en la implementación" (no se ejecutó el proyecto de la forma correcta). La evaluación de procesos ayuda a determinar si hay una falla en la implementación. El monitoreo y la evaluación, junto con la teoría del cambio, pueden ayudar a determinar si hay una falla de la teoría.
Ejemplo práctico de una teoría del cambio aplicada a un proyecto de cambio de hábitos de lavado de manos
Aquí incluimos un ejemplo de una teoría de cambio simplificada para el lavado de manos con jabón a fin de controlar la COVID-19. La teoría de cambio real para un proyecto individual podría ser más específica y debería incluir indicadores que sean más medibles.
Fuente: Matt Freeman
Monitoreo y evaluación y teoría del cambio
Una teoría del cambio bien articulada se puede usar para dar forma a las actividades de monitoreo y evaluación. El monitoreo es un proceso continuo y debería centrarse principalmente en los indicadores relacionados con las actividades y los productos/resultados. Es posible que también incluya un análisis rutinario de los efectos del proyecto. La evaluación se centra principalmente en las etapas avanzadas de la teoría del cambio y analiza la consecución de los efectos y los impactos. Los componentes abordados por las evaluaciones dependerán del tipo de evaluación que se realiza.
Hay distintos tipos de evaluaciones que se pueden usar en el desarrollo, la ejecución y el análisis de las intervenciones en el contexto de la COVID-19. Se definen a continuación:
Evaluaciones de procesos: Documentan cómo se implementa un proyecto y qué se hace en comparación con los planes preestablecidos. Las evaluaciones de procesos suelen analizar los siguientes puntos.
Fidelidad y calidad: Hasta qué punto el proyecto se implementó según lo planificado (p. ej.: si se siguieron todos los pasos detallados en la propuesta inicial o el manual del proyecto).
Completitud: Se refiere a la cantidad de actividades del proyecto ejecutadas según lo planificado. En los proyectos de higiene, este punto podría incluir la cantidad de kits de higiene distribuidos, la cantidad de hogares visitados o la cantidad de avisos publicitarios transmitidos por radio. A veces también se la denomina "dosis administrada".
Exposición: Describe hasta qué punto y con qué frecuencia el público objetivo participa activamente en las actividades del proyecto. En los proyectos de higiene, este punto podría incluir el uso continuo de los kits de higiene, la asistencia a sesiones de capacitación o visitas domiciliarias y la cantidad de personas que reciben mensajes por los medios de comunicación. A veces también se la denomina "dosis recibida". La exposición difiere de la completitud porque se centra en la participación real. Por ejemplo, en el caso de la completitud, quizás se documente que se transmitieron mensajes radiales 50 veces, pero cuando se analiza la exposición, tal vez se halle que la población objetivo no oyó esos mensajes dado que la radioemisora elegida no era muy escuchada.
Aceptabilidad y satisfacción: Describe hasta qué punto los participantes y los miembros de la comunidad sintieron que el proyecto abordó problemas relevantes para ellos y hasta qué punto se implementó de una manera que les pareció aceptable y adecuada.
Inclusividad: Describe hasta qué punto el proyecto llegó a todas las personas que esperaba llegar, incluidos los grupos vulnerables. Para leer más información sobre cómo hacer que los proyectos sean inclusivos, consulte estos recursos.
Aquí hay definiciones más detalladas e información sobre cada uno de estos términos de evaluación de procesos. En este sitio web también hay varios recursos sobre evaluación de procesos.
Evaluación de idoneidad: Estas evaluaciones miden hasta qué punto un programa o proyecto ha cumplido con las metas preestablecidas en la población destinataria. Estas metas podrían ser metas conductuales (p. ej.: el porcentaje de la población que se lava las manos en momentos clave), metas de acceso o metas de salud. En una evaluación de idoneidad, el éxito se mide en función de metas preestablecidas que se fijan al comienzo de las actividades del proyecto. Dado que las evaluaciones de idoneidad no comparan los proyectos con un grupo de control, no pueden determinar qué habría pasado si el proyecto no se hubiese implementado (una parte importante para determinar causalidad). Como tales, las evaluaciones de idoneidad no indican directamente si el proyecto produjo los cambios medidos en la población destinataria. Sin embargo, la evaluación de idoneidad analiza indicadores relacionados directamente con las actividades y los productos/resultados del proyecto y si no hay otros proyectos en curso en la zona, se puede concluir que es probable que el proyecto haya producido esos cambios.
Evaluación del impacto: Son el patrón de referencia en materia de salud pública. Las evaluaciones de impacto (que incluyen ensayos clínicos aleatorizados o estudios cuasiexperimentales) determinan si una intervención, proyecto o programa tuvieron estadísticamente un impacto en los indicadores de interés clave (p. ej.: la salud). Estas evaluaciones suelen incluir la medición de efectos a mediano y largo plazo y analizan la relación causa-efecto para entender si los cambios en los hábitos o en la salud son atribuibles a la intervención. Las evaluaciones exigen que haya un grupo de control, es decir: un conjunto de unidades (p. ej.: familias, comunidades, escuelas) que no reciban la intervención. Estos tipos de evaluación pueden ser costosos y complicados. Usar evaluaciones de impacto quizás no sea viable ni recomendable en el contexto de la COVID-19.
Para ver más información sobre las evaluaciones de idoneidad y de impacto (verosimilitud y probabilidad), recomendamos leer este artículo que explica con claridad qué medir en este tipo de evaluación y qué se puede afirmar o demostrar con cada tipo de evaluación.
Fuente: Matt Freeman
¿Desea leer más información sobre los principios generales de monitoreo y evaluación para proyectos de higiene relacionados con la COVID-19?
Notas sobre revisión académica
Redactado por: Matt Freeman, Sian White, Fiona Majorin
Revisado por: Peter Winch, Katie Greenland, Karine Le Roch
Última actualización: 02/07/2020