جميع المجموعات
تقرير موجز عن المبادئ العامة لرصد وتقييم مشاريع الوقاية من الأمراض المعدية
تقرير موجز عن المبادئ العامة لرصد وتقييم مشاريع الوقاية من الأمراض المعدية
Matthew Freeman avatar
بقلم: Matthew Freeman
تم إجراء هذا التحديث منذ أكثر من أسبوع

ما الفرق بين المراقبة والتقييم؟

يغطي هذا المورد مبادئ المراقبة والتقييم (M&E) والطرق العملية لتطبيقها على النظافة أثناء استجابات الأمراض المعدية. كما نقدم بعض المبادئ العامة لكيفية فهم ما إذا كان لمشروعك تأثير على السلوكيات الوقائية ذات الصلة.

تسمح المراقبة والتقييم بتقييم أداء المشروع. ينبغي النظر إلى المراقبة والتقييم على أنها عملية واحدة، باستخدام البيانات التي تُجمع على أساس مستمر وفي نقاط زمنية مختلفة. تدعم بيانات المراقبة والتقييم التعلم والمساءلة لجميع أصحاب المصلحة، بما في ذلك الممولين والمستفيدين والمنفذين وصانعي السياسات.

تُعدّ المراقبة عملية مستمرة لجمع البيانات طوال دورة حياة المشروع. وهي تنطوي على جمع المعلومات وتحليلها وإيصالها واستخدامها حول تقدّم المشروع. يجب أن توفر أنظمة وإجراءات المراقبة الآليات اللازمة لتوفير المعلومات الصحيحة للأشخاص المناسبين في الوقت المناسب، لمساعدتهم على اتخاذ قرارات مستنيرة بشأن تقدم المشروع. وينبغي أن تسلط بيانات الرصد الضوء على مواطن القوة والضعف في تنفيذ المشاريع، وأن تتيح حل المشاكل، وتحسين الأداء، والبناء على النجاح، وتكييف المشاريع مع الظروف المتغيرة. غالبًا ما تغذي بيانات المراقبة الروتينية تقييمات العمليات كما هو موضح أدناه.

يشير التقييم إلى التقييم المنهجي لما إذا كان المشروع يحقق أهدافه وغاياته المعلنة على النحو المحدد في مرحلة التصميم و/أو إلى أي مدى أسفر البرنامج عن النتائج المتوقعة والتأثير بين السكان المستهدفين وإذا نتج عن ذلك أي نتائج أو تأثيرات غير متوقعة. يُرجى الاطلاع على هذا المورد للحصول على تعريفات مفصلة لكل منها. وغالبا ما تجرى التقييمات في خط الأساس، وفي منتصف المدة، وفي خط النهاية. يمكن تمييز التقييم عن المراقبة والمراجعة المنتظمة بالخصائص التالية:

  • النطاق: عادة ما تُصمّم التقييمات للإجابة على الأسئلة المركزة حول ما إذا كانت نتائج المشروع وآثاره قد تحققت، وكيف تم تحقيق هذه الآثار، وإذا تم اختيار الأهداف والاستراتيجيات المناسبة، وما إذا تم تقديم التدخل كما هو مصمم.

  • التوقيت: تكون التقييمات أقل تواترًا وأكثر شيوعًا في أوقات محددة خلال دورة المشروع.

  • الموظفون المعنيون: غالبًا ما يقوم موظفون خارجيون أو مستقلون بإجراء التقييمات لتوفير قدر أكبر من الموضوعية. وذلك لأنه إذا أجرى موظفو المشروع التقييم، فقد تكون النتائج متحيزة.

  • مستخدمو النتائج: يمكن استخدام التقييمات من قبل المخططين وواضعي السياسات المعنيين بقضايا السياسة الاستراتيجية والبرمجة، بدلًا من المديرين المسؤولين عن تنفيذ المشاريع فقط.

ما هي "نظرية التغيير" وكيف تفرض مراقبة البرنامج وتقييمه؟

إن إحدى أكثر الأدوات المفيدة لتطوير خطة المراقبة والتقييم هي تطوير نظرية حول كيفية احتمال أن يكون مشروعك قادرًا على تحقيق مخرجاته والنتائج والآثار المرتبطة به. وهذه التي تُسمى في كثير من الأحيان "نظرية التغيير". سيتيح لك تطوير نظرية التغيير بإنشاء عمليات المراقبة والتقييم المناسبة.

ما هي نظرية التغيير؟

تصف نظرية التغيير كيف يقترح مشروعك إحداث تغيير في السلوك أو النتائج الصحية من خلال تحديد سلسلة خطوات محددة من الأحداث السببية. عند تطوير نظرية التغيير، من المفيد استخدام نهج "رسم الخرائط إلى الوراء "، والذي يبدأ بالنتيجة المرجوة ثم يعمل إلى الوراء، وتحديد الإجراءات والأهداف قصيرة ومتوسطة الأجل المطلوبة لتحقيق ذلك. تعتمد نظرية التغيير على افتراضات حول ما يجب أن يحدث وتتضمن فهمًا لكيفية دعم السياق أو إعاقته لنجاح التدخل.

المصدر: ماثيو فريمان

هناك العديد من المصطلحات المختلفة المستخدمة لوصف المكونات المختلفة لنظرية التغيير. قد تستخدم المنظمات هياكل مختلفة لفهم الطبيعة السببية لنظرية التغيير، بما في ذلك الأطر المنطقية ومسارات التأثير.

نستخدم المصطلحات والتعاريف التالية في هذا المورد:

  • المدخلات: المواد الخام المطلوبة (مثل المال والمواد والخبرة الفنية والتدريب والعلاقات والموظفين) من قبل مشروعك من أجل تقديم الأنشطة وتحقيق المخرجات والأهداف

  • الأنشطة: العملية أو الإجراءات المتخذة التي ستحول المدخلات والموارد إلى المخرجات المرجوة.

  • المخرجات: النتائج المباشرة لأنشطة المشروع. جميع المخرجات هي أشياء يمكن تحقيقها خلال فترة المنحة وترتبط بالأهداف والغايات.

  • النتائج: بيانات محددة للفوائد التي تم تصميم المشروع أو التدخل لتحقيقها. وينبغي أن تدعم هذه الأهداف وأن تكون قابلة للقياس ومحددة زمنيًا ومحددة بمشروع معين. للعديد من المشاريع أكثر من هدف واحد.

  • التأثير: التحدي طويل المدى والواسع النطاق الذي سيسهم برنامجك في معالجته.

المصدر: ماثيو فريمان

يؤدي استخدام المدخلات وتنفيذ أنشطة المشروع إلى سلسلة من الأحداث حيث تؤدي المخرجات إلى نتائج سلوكية وآثار صحية. إذا لم نر التغيير الذي توقعناه من المشروع، فهذا يعني وجود إما "فشل نظري" (كانت نظريتنا للتغيير خاطئة) أو "فشل التنفيذ" (لم نقم بتسليم المشروع بشكل صحيح). يساعد تقييم العملية في تحديد ما إذا كان هناك فشل في التنفيذ. قد تساعد المراقبة والتقييم على طول نظرية التغيير في تحديد ما إذا كان هناك فشل في النظرية.

مثال عملي لنظرية التغيير المطبقة على مشروع تغيير سلوك غسل اليدين لكوفيد-19

نضيف هنا مثالًا لنظرية التغيير المبسطة لغسل اليدين بالصابون للسيطرة على كوفيد-19، على الرغم من أنه يمكن تطبيق المثال على الأمراض المعدية الأخرى التي لها طرق انتقال مماثلة. قد تكون نظرية التغيير الفعلية لأي مشروع فردي أكثر تحديدًا ويجب أن تتضمن مؤشرات أكثر قابلية للقياس.

المصدر: ماثيو فريمان

المتابعة والتقييم ونظرية التغيير.

يمكن استخدام نظرية التغيير المفصلة جيدًا لإبلاغ أنشطة المراقبة والتقييم. والرصد عملية مستمرة وينبغي أن تركز في المقام الأول على المؤشرات المتصلة بالأنشطة والنواتج. وقد يشمل ذلك التقييم الروتيني لنتائج المشروع. يركز التقييم في المقام الأول على المراحل اللاحقة من نظرية التغيير، وتقييم تحقيق النتائج والآثار. وستتوقف العناصر التي تغطيها التقييمات على نوع التقييم الجاري.

هناك عدة أنواع من التقييمات التي يمكن استخدامها في تطوير تدخلات الصحة العامة وتنفيذها وتقييمها. وفيما يلي تعريفها:

تقييم العملية: توثق هذه الوثائق كيفية تنفيذ المشروع وما تم تسليمه بالفعل مقارنة بالخطط المحددة مسبقًا. غالبًا ما تقيّم تقييمات العملية ما يلي:

  • الإخلاص والجودة – مدى تنفيذ المشروع كما هو مخطط له (على سبيل المثال، هل تم تنفيذ جميع الخطوات الموضحة في الاقتراح الأولي أو دليل المشروع).

  • الاكتمال - يشير هذا إلى عدد أنشطة المشروع التي تم تسليمها كما هو مخطط لها. بالنسبة لمشاريع النظافة، قد يشمل ذلك عدد مجموعات النظافة التي تم توزيعها، أو عدد الأسر التي تمت زيارتها، أو عدد الإعلانات الإذاعية التي تم بثها. ويسمى هذا أيضًا في بعض الأحيان "الجرعة التي يتم تسليمها".

  • التعرض - يصف هذا مدى وتواتر مشاركة السكان المستهدفين بنشاط في أنشطة المشروع. بالنسبة لمشاريع النظافة، قد يشمل ذلك استخدام مجموعات النظافة والاستمرار في استخدامها، وحضور الدورات التدريبية أو الزيارات المنزلية، وعدد الأشخاص الذين يسمعون رسائل إعلامية. ويسمى هذا أيضًا في بعض الأحيان "الجرعة التي يتم تلقيها". يختلف التعرّض عن الاكتمال، لأنه يركز على المشاركة الحقيقية. على سبيل المثال، من أجل الاكتمال، يمكنك توثيق أن رسائل الراديو قد تم بثها 50 مرة، ولكن عند تقييم التعرض، قد تجد أن السكان المستهدفين لم يسمعوا هذه الرسائل، حيث لم يتم الاستماع إلى المحطة الإذاعية المختارة على نطاق واسع.

  • القبول والرضا - يصف هذا مدى شعور المشاركين وأفراد المجتمع بأن المشروع تناول القضايا ذات الصلة بهم وتم تسليمه بطريقة مقبولة ومناسبة لهم.

  • الشمولية - يشير هذا إلى مدى وصول مشروعك إلى جميع الأشخاص الذين كان يهدف إلى الوصول إليهم، بما في ذلك المجموعات التي قد تكون عرضة للتمييز والاستبعاد و/أو الأشخاص الذين يعتبرون ضعفاء سريريًا. لمزيد من المعلومات حول جعل المشاريع شاملة، راجع هذه الموارد.

  • يمكن الاطلاع على مزيد من التعاريف والمعلومات التفصيلية حول كل من مصطلحات تقييم العملية هذه هنا. ستجد على هذا الموقع الإلكتروني سوف تجد أيضا مجموعة من الموارد الأخرى على تقييمات العملية.

تقييم الكفاية: تقيس هذه التقييمات مدى تحقيق برنامج أو مشروع لأهداف محددة مسبقًا بين السكان المستهدفين.

يمكن أن تكون هذه الأهداف سلوكية (على سبيل المثال: النسبة المئوية للسكان الذين يمارسون غسل اليدين في الأوقات الرئيسية) أو أهداف الوصول أو الأهداف الصحية.

في تقييم الكفاية، يقاس النجاح مقابل الأهداف المحددة مسبقًا والتي يتم تحديدها في بداية أنشطة المشروع. ولأن تقييمات الكفاية لا تقارن المشاريع بمجموعة مراقبة، فإن تقييم الكفاية لا يمكن أن يحدد ما كان سيحدث لو لم يتم تنفيذ المشروع (وهو جزء مهم من تحديد العلاقة السببية). وعلى هذا النحو، لا تشير تقييمات الملاءمة بشكل مباشر إلى ما إذا كان المشروع قد تسبب في التغييرات المقاسة في السكان المستهدفين. ومع ذلك، إذا كان تقييم الكفاية يقيس المؤشرات المتعلقة مباشرة بأنشطة المشروع ونواتجه ولم تكن هناك مشاريع أخرى جارية في هذا المجال، فيمكننا أن نستنتج أن التغييرات من المحتمل أن تكون نتيجة للمشروع.

تقييم الأثر: يُحدد "المعيار الذهبي" في الصحة العامة، وتقييمات الأثر (التي تشمل التجارب العشوائية أو الدراسات شبه التجريبية) ما إذا كان التدخل أو المشروع أو البرنامج قد أثر إحصائيًا على مؤشر رئيسي للاهتمام (مثل الصحة). غالبًا ما يتضمن ذلك قياس النتائج المتوسطة إلى الطويلة الأجل وسيفحص السبب والنتيجة لفهم ما إذا كانت التغييرات في السلوك أو الصحة يمكن أن تعزى إلى تدخلك. تتطلب تقييمات الأثر مجموعة تحكم، مجموعة من الوحدات (على سبيل المثال، الأسر والمجتمعات والمدارس) التي لم تتلق التدخل. ويمكن أن تكون هذه الأنواع من التقييمات مكلفة ومعقدة. قد لا يكون استخدام تقييمات الأثر ممكنًا أو مستصوبًا في سياقات معينة.

لمزيد من المعلومات حول تقييمات الكفاية والتأثير (المعقولية والاحتمال)، نوصي بقراءة this article توضح هذه المقالة بوضوح ليس فقط ما يجب قياسه لهذا النوع من التقييم، ولكن أيضًا ما يمكن المطالبة به أو إثباته من خلال كل نوع من أنواع التقييم.

المصدر: ماثيو فريمان

ما هي أنواع التقييمات التي تعمل بشكل أفضل لمشاريع النظافة؟

وفي سياق تفشي الأمراض، تشمل النُهُج المهيمنة على عمليات الرصد والتقييم عادة عمليات الرصد والتجهيز أو تقييمات الكفاية. أثناء تفشي المرض، يكون استخدام تقييمات الأثر أقل شيوعًا. وذلك لأن تقييمات الأثر عادة ما تكون أكثر تكلفة (تشمل الموظفين الخارجيين وضوابط أكثر صرامة على كيفية جمع البيانات)، وتقدم تحديات أخلاقية (مثل استخدام مجموعات التحكم)، وتتطلب مقياسًا للنتائج السلوكية أو الصحية (من المحتمل أن يكون من الصعب جمعها بجودة أثناء تفشي المرض). لمزيد من المعلومات حول سبب عدم استخدام التدابير الصحية على نطاق واسع أثناء تفشي المرض، راجع هذا المورد. بدلًا من ذلك، نوصي بأن يعطي منفذو المشروع الأولوية لتقييم تقدم التدخلات مقابل أهداف السلوك والوصول المحددة مسبقًا والمتعلقة بنتائج المشروع.

نظرًا لحجم بعض حالات التفشي، قد يكون هناك العديد من المنظمات في منطقتك تجمع بيانات الرصد والتقييم. لتجنب الازدواجية وإرهاق جمع البيانات بين سكانك، حاول تنسيق عمليات المراقبة والتقييم مع المنظمات الأخرى العاملة في نفس المنطقة.

هل يجب علينا تتبع الحالات ومعدلات الوفيات لفهم ما إذا كان هناك تأثير على برامجنا؟ - مثال على كوفيد -19

لاحظ أنه في حين يستخدم هذا القسم كوفيد-19 كمثال، يمكن تطبيق المبادئ على أمراض أخرى مماثلة. لا يوصى بتتبع حالات كوفيد-19 والوفيات كجزء من تقييمات الأثر البرنامجي. ويرد أدناه وصف لأسباب ذلك.

قيود البيانات المتعلقة بحالات كوفيد-19 والوفيات:

  • حالات كوفيد-19

    يمكن أن تكون حالات كوفيد -19 إما مشتبه بها أو محتملة أو مؤكدة من خلال اختبار معملي. معظم الأعداد الوطنية أو العالمية لحالات كوفيد-19 هي حالات مؤكدة. ومع ذلك، يختلف مدى الاختبار عبر البلدان (على سبيل المثال، 0.1 اختبار لكل ألف شخص في إندونيسيا إلى أكثر من 100 اختبار لكل ألف شخص في أيسلندا)، وأحيانًا تكون البيانات المتعلقة بالاختبار غير متوفرة أو غير مكتملة. بصرف النظر عن الاختلافات في استراتيجيات وبروتوكولات الاختبار، هناك عوامل أخرى قد تؤثر على عدد الحالات بما في ذلك الكشف والتعاريف والإبلاغ وأوقات التأخير وتختلف هذه العوامل أيضًا بين البلدان. في العديد من البلدان، يقتصر الاختبار على أولئك الذين يعانون من الأعراض، لكن الأدلة تشير إلى أن الأشخاص يمكن أن يكونوا ناقلات بدون أعراض ويمكن أن تنقل كوفيد -19.

  • معدل الوفيات بسبب كوفيد-19

    هناك عدد من مقاييس معدل الوفيات المختلفة. عندما يتعلق الأمر بكوفيد -19، غالبًا ما نشير إلى معدلات حالات الوفيات، وهذا يُعرّف بأنه نسبة الأشخاص الذين يعانون من حالة (حالات) معينة والذين يموتون بسبب هذه الحالة. من أجل قياس معدل وفيات الحالات، من الضروري معرفة العدد الإجمالي لحالات كوفيد-19 وعدد الوفيات بسبب كوفيد-19 بين تلك الحالات.

أثناء تفشي الأمراض، غالبًا ما لا يتم إجراء الاختبارات التشخيصية بشكل منهجي، مما يؤدي إلى عدم فهمنا جيدًا للعدد الإجمالي للأشخاص، كما شهدنا مع كوفيد-19. وبما أن الاختبار لا يتم بنفس الطريقة عبر البلدان، فإنه يجعل من الصعب مقارنة معدلات الوفيات بين مختلف السكان على الصعيدين الإقليمي والعالمي. بالإضافة إلى القضايا المتعلقة بتحديد عدد الحالات، هناك أيضًا اختلافات في كيفية تعريف الوفيات التي تنطوي على كوفيد -19 وقضايا الوفيات الخفية (الأشخاص الذين يموتون من كوفيد -19 الذين لم يتم اختبارهم أبدًا). وكثيرا ما يكون هذا تحديا أثناء تفشي الكوليرا والإيبولا، حيث توجد حالات ووفيات في المرافق الصحية والمجتمعات المحلية، مما يجعل من الصعب فهم العدد الإجمالي الفعلي للحالات والوفيات. نتيجة لذلك، يجب توخي الحذر عند تفسير أعداد الحالات ومعدلات وفيات الحالات أثناء تفشي الأمراض، خاصة عند محاولة مقارنتها عبر البلدان.

نظرًا للمدة غير المسبوقة للوباء وشدته، تحسنت القدرة على التشخيص والمراقبة والإبلاغ وتدابير العلاج واستيعاب التدابير الوقائية. في 14 مارس 2020، تراوح CFR من 0.22% في ألمانيا إلى 6.81% في إيطاليا و3.74% على مستوى العالم. وفي الوقت نفسه، بعد عام من أول حالة مؤكدة لكوفيد -19، تراوح معدل الوفيات الإجمالي من 2.86% في ألمانيا إلى 3.17% في إيطاليا إلى 2.29% على مستوى العالم. بعد ثلاث سنوات من بدء الوباء، لا يزال لدينا سجلات CFR بنسبة 1.19% و1.89% و1.91% تم الإبلاغ عنها في الهند والبرازيل وإيران على التوالي.

عند تصميم تدابير لفهم التأثير الصحي لبرنامجك، فإن التحدي المشترك هو عزو أي تغييرات في حدوث الحالات والوفيات إلى أي برنامج محدد. هذا أمر صعب بسبب:

  • في المناطق التي تعاني من تفشي كوفيد -19، هناك إجراءات متعددة يتم اتخاذها. ويشمل ذلك الإجراءات التي تتخذها الحكومات والشركات والمنظمات غير الحكومية والأفراد أو المجتمعات. من المحتمل أن تحدث أي تغييرات في الاتجاه الوبائي نتيجة لمزيج من هذه الإجراءات.

  • لن يكون للإجراءات الوقائية على مستوى المجتمع تأثير مباشر على معدلات الوفيات بسبب فيروس كورونا (كوفيد-19). وترتبط معدلات الوفيات ارتباطًا وثيقًا بقدرة مرافق الرعاية الصحية على إدارة الحالات الشديدة ونسبة السكان الذين يعانون من الضعف الشديد (على سبيل المثال بسبب الظروف الطبية الحالية أو العمر أو التعرض للإقصاء والتمييز).

لذلك من المستحسن قياس التأثير البرنامجي عبر نظرية التغيير لمعرفة ما إذا كان البرنامج قد حقق العواقب المقصودة على طول المسار الذي يمكن أن يؤدي إلى انخفاض في انتقال كوفيد -19 والحالات والوفيات الناتجة. من المهم أيضًا إدارة التوقعات حول ما سيحققه تقييم البرنامج وما لن يحققه منذ البداية حتى لا يتوقع أحد بيانات التأثير الصحي ويفهم سبب عدم فائدة ذلك.

ماذا لو أظهرت عمليات المراقبة والتقييم أن مشروع مؤسستي لم يعمل كما هو متوقع؟

في بعض الأحيان قد تكون نتائج عمليات المراقبة والتقييم مخيبة للآمال أو ليست إيجابية كما توقعت مؤسستك. غالبًا ما يكون من المغري عدم مشاركة هذه النتائج مع الآخرين بنفس الطريقة التي قد تشارك بها النتائج الإيجابية. ومع ذلك، هناك اهتمام متجدد داخل قطاع المياه والصرف الصحي والنظافة الصحية بالتعلم بشكل بناء من الإخفاقات. يشجع اتفاق ناكورو ممارسي المياه والصرف الصحي والنظافة الصحية على

:

  • تعزيز ثقافة المشاركة والتعلم التي تسمح للناس بالتحدث بصراحة عندما تسوء الأمور.

  • أكون شفافًا بشدة وتحمل نفسي المسؤولية عن تفكيري وتواصلي وأفعالي.

  • بناء المرونة في طلبات التمويل للسماح بالتكيف.

  • تصميم المراقبة والتقييم على المدى الطويل الذي يسمح بتقييم الاستدامة.

  • التصميم في الاستدامة من خلال النظر في دورة الحياة بأكملها.

  • السعي بنشاط للحصول على تعليقات من جميع أصحاب المصلحة، ولا سيما المستخدمين النهائيين.

  • إدراك أن الأمور تسوء، ومشاركة هذه التجارب عن طيب خاطر، بما في ذلك معلومات حول العوامل المساهمة والحلول الممكنة، بطريقة مثمرة.

  • فحص الأدلة المتاحة بشكل نقدي، مع الاعتراف بأنه لا يتم إنشاء جميع الأدلة على قدم المساواة.

  • الكتابة والتحدث بلغة واضحة، خاصة عند مناقشة ما حدث من خطأ.

  • أثناء تفشي المرض، قد تكون المنظمات أقل عرضة للمناقشة والإبلاغ عن الإخفاقات البرنامجية - الكبيرة أو الصغيرة - لأنها ترى أن المخاطر أعلى. ومع ذلك، فإن المشاركة الفعالة للتحديات والإخفاقات قد تعني أن هذه الأخطاء لا تتكرر من قبل الآخرين وأن القطاع بأكمله يستفيد وقادر على تحسين الاستجابة للفاشية.

ما هي الموارد الأخرى المتوافرة عن الرصد والتقييم؟

الموارد العامة للمراقبة والتقييم:

دورة تدريبية عبر الإنترنت بالمراقبة والتقييم:

موارد المراقبة والتقييم الخاصة بكوفيد-19:

ملاحظات المحررين

المؤلف: مات فريمان

المراجعون: بيتر وينش، كاتي جرينلاند، كارين لو روش

آخر تحديث

: 28.5.2020

هل أجاب هذا عن سؤالك؟