4.3 Concevoir un plan S&E

← previous next →
download_this_chapter

Récapitulatif

Le financement basé sur les prévisions (FBP) est un concept relativement nouveau qui a la capacité de réduire les impacts de catastrophe en renforçant le recours à la science pour prendre des décisions éclairées. Le FBP n’en est qu’à ses débuts : le suivi, l’évaluation et les apprentissages sont donc indispensables pour mesurer l’efficacité de l’approche et procéder aux ajustements nécessaires.

La collecte d’éléments probants et l’adaptation du système chaque fois que c’est nécessaire revêtent une telle importance au cours de ces premières étapes que chaque activation d’un protocole d’action précoce doit être mise à profit pour réunir des données à cet effet et documenter les apprentissages.

Chaque PAP doit donc inclure un protocole S&E pour 1) évaluer l’impact des actions précoces et de l’événement extrême après chaque activation et 2) s’assurer que toutes les procédures ont été appliquées comme prévu et obtenir les preuves que les actions précoces ont été mises en œuvre. Ce système S&E doit par ailleurs être conforme au système PSER de la SN. Si le PAP est doté d’un plan S&E bien pensé et bien conçu, la collecte de données au moment de l’activation en sera grandement facilitée (voir chapitre Activer, assurer le suivi, évaluer concernant les démarches à entreprendre après une activation). Un PAP soumis au Mécanisme du DREF pour l’ABP doit quant à lui s’accompagner d’un plan S&E valide qui détaille le suivi de l’activation et l’évaluation de l’impact.

Le S&E vous permet de mesurer, de gérer et d’enregistrer vos progrès par rapport à vos plans ainsi que les résultats obtenus. Pour pouvoir tirer des enseignements d’un projet de FBP, il faut absolument répondre à la question « À quel niveau et comment pouvons-nous faire mieux ? », cette réponse permettra aussi de prouver la redevabilité et les résultats.

En fin de compte, le S&E nous permet de prouver aux communautés au service desquelles nous nous mettons ainsi qu’aux organisations qui nous financent que le FBP fait une différence.

Ce chapitre donne des explications sur la marche à suivre pour surveiller les activations d’un PAP et collecter des éléments probants sur la réalisation (ou la non-réalisation) de ces objectifs. Questions clés auxquelles répond le présent chapitre :

  • Comment mettre en place un plan S&E ?
  • Quel type d’éléments probants voulons-nous obtenir ?
  • Comment mesurer au mieux l’impact pour le FBP ?
  • Quels sont les outils disponibles ?
  • Comment consigner les apprentissages FBP pour améliorer nos services ?

Bien que les éléments des systèmes S&E pour le FBP varient d’un pays et d’un contexte à l’autre, les étapes ci-dessous destinées à vous guider tout au long du développement du plan S&E pour votre PAP ne changent pas.

Le S&E commence dès les premiers pas dans la préparation du projet et du programme, elle utilise différents outils pour mesurer, surveiller et évaluer les avancées du début à la fin. Des éléments de la structure S&E et de la sélection des actions précoces sont intégrés dans les précédents chapitres de ce Manuel (voir chapitre Sélectionner les actions précoces et Préparer votre Société nationale au FBP), mais vous trouverez ci-dessous un aperçu des étapes nécessaires à la conception d’un plan S&E pour votre PAP.

Étape 1 : définir des méthodes pour le suivi des activations du PAP

Le projet ou programme qui a été mis sur pied dans un pays spécifique pour instaurer le système de FBP doit être doté de son propre plan de suivi, conforme au cadre logique du projet. Dès que le système est en place, il faut un plan de suivi pour l’implémentation du PAP. Ce plan doit couvrir la période qui commence au moment où la prévision atteint le niveau d’impact identifié à l’avance, ce qui déclenche le PAP, et s’achève à la fin de l’activation. Ce suivi enregistre les performances des acteur·rice·s chargé·e·s de l’implémentation par rapport à leurs rôles et responsabilités. La collecte des données pour le suivi des résultats de l’implémentation du PAP servira plus tard à une analyse destinée à vérifier si la SN a pu agir aussi précocement que prévu et avec l’efficacité espérée. L’objectif est de s’assurer que les pratiques, comportements et méthodes pour l’implémentation du PAP sont étudié·e·s afin d’identifier les manquements, les contraintes ou les obstacles à régler ainsi que les problèmes de conception à résoudre pour l’activation suivante.

Organisez un suivi du PAP pour définir avec clarté les éléments de l’activation qui doivent être surveillés ainsi que la personne chargée de cette mission ; vous pouvez imprimer le formulaire et le distribuer au personnel de la SN et aux volontaires déployé·e·s sur le terrain, puis les transférer au point focal S&E en vue de leur compilation.

Vous pouvez utiliser le modèle de formulaire de suivi du PAP ou le formulaire de suivi en ligne du PAP (avec des exemples) en l’adaptant à votre PAP.

Remarque

Vous devez créer un compte KoBoToolbox pour avoir accès au formulaire, le copier et l’adapter. Ces comptes sont gratuits pour les organisations humanitaires (usage illimité).

Étape 2 : définir les méthodes pour évaluer l’impact de l’activation du PAP

Le but ultime consiste à déterminer si les actions précoces qui ont été implémentées ont permis d’atteindre les objectifs

de réduction des risques (et d’efficacité de l’intervention) qui avaient été prévus (soit une atténuation de l’impact priorisé) et la manière dont ces objectifs ont été réalisés. Les actions ont-elles fait une différence en termes de vies et de moyens de subsistance des personnes à risque ? Dans quelle mesure ? Les personnes appartenant aux communautés bénéficiaires du FBP ressentent-elles moins d’impacts négatifs sur leur vie, leur santé ou leurs biens que les personnes qui n’ont pas reçu cette aide ? Les impacts sont mesurés au moyen d’indicateurs clés relatifs à la santé, au bien-être, aux biens matériels et à la capacité productive.

  • Structurez le chapitre relatif à l’évaluation de l’impact dans le plan S&E de votre PAP comme suit :
  • Définissez des indicateurs (voir exemples dans le Tableau 2).
  • Définissez votre approche contrefactuelle.
  • Sélectionnez les sources de données, outils de collecte des données. Développez/modifiez ces outils.
  • Spécifiez si l’évaluation de l’impact (et/ou l’analyse coût-bénéfice) sera effectuée par la SN, par la FICR ou par les deux conjointement, ou encore dans le cadre d’un contrat externe (avec une université, un·e consultant·e etc.).
  • Évaluez les impacts au niveau des ménages/communautés.
  • Vérifiez si le FBP a permis d’améliorer les résultats sur le plan humanitaire. La méthode de mesure de vos impacts variera en fonction de vos interventions.

Astuce

N’oubliez pas que la collecte des données relatives aux impacts qui permettent d’évaluer la réussite de vos interventions FBP dépendra du type de l’intervention. Des actions précoces pour les abris sont observables directement après une catastrophe, tandis que pour d’autres actions précoces, par exemple une distribution de tablettes pour purifier l’eau en vue de prévenir une épidémie de choléra, il faut parfois plusieurs semaines avant de constater un effet.

Les documents suivants peuvent vous aider à planifier votre évaluation des impacts.

Le choix des indicateurs dépend du type de l’aléa, des impacts à prévenir ou à atténuer et des actions précoces à entreprendre.

Les indicateurs destinés à mesurer l’impact des actions précoces concernent généralement les catégories suivantes :

Santé et bien-être

  • Mortalité
    • « Le nombre de personnes décédées des suites de la catastrophe a-t-il été ramené à zéro/réduit grâce à l’assistance FBP ? »
  • Morbidité
    • « Le nombre de personnes tombées malades pendant/après la catastrophe a-t-il été réduit grâce à l’assistance FBP ? »
  • Stress / anxiété
    • « Les personnes se sont-elles senties moins stressées et mieux à même de gérer les impacts de la catastrophe grâce à l’assistance FBP ? »

Abris et maisons

  • Structures de logement des ménages
    • « Le nombre de personnes qui ont subi des dégâts au niveau des toits et des murs de leurs maisons a-t-il baissé grâce à l’assistance précoce dans le cadre du FBP ? »
  • Abris communautaires
    • « Les abris communautaires contre les cyclones ont-ils résisté aux impacts de la catastrophe et protégé les membres de la communauté comme prévu ? »

Biens

  • Biens personnels
    • « Le nombre de personnes dont les biens précieux ont subi des dégâts graves a-t-il baissé grâce à l’assistance précoce dans le cadre du FBP ? »
  • Avoirs productifs (bétail, vergers, abris, etc.)
    • « Les personnes ont-elles subi moins de pertes au niveau du bétail (décès, blessures, etc.) grâce à l’assistance précoce basée sur les prévisions ? »

Facteurs ayant un impact sur la santé, le bien-être, les moyens de subsistance et autres

  • Approvisionnement en nourriture et en eau
    • « Les personnes qui ont bénéficié d’une assistance FBP sous forme de transferts monétaires avant la catastrophe ont-elles moins souffert d’insécurité alimentaire pendant la catastrophe ? »
  • Contraintes liées au travail
    • « Les actions basées sur les prévisions ont-elles contribué à réduire le temps pendant lequel les personnes n’ont pas pu travailler en raison des impacts de la catastrophe ? »
  • Infrastructures publiques (routes, cliniques, écoles, etc.)
    • « Les centres de santé communautaire étaient-ils mieux à même de fournir des soins médicaux aux personnes vulnérables grâce à l’assistance FBP ? »

De nombreuses autres mesures sont possibles en fonction de la théorie du changement, du cadre logique et du plan S&E du programme/projet.

Approche contrefactuelle

« Lors de la catastrophe, les ménages qui ont bénéficié de l’assistance FBP ont-ils subi moins d’impacts que les ménages qui n’ont pas reçu ce type d’aide précoce ? »

Comment pouvons-nous affirmer avec certitude que c’est l’assistance FBP qui a produits les résultats positifs, notamment une réduction des souffrances et des impacts de la catastrophe, plutôt que d’autres interventions ou des facteurs externes ?

Le recours à des éléments contrefactuels constitue désormais une approche courante et largement acceptée de l’inférence causale dans la recherche en sciences sociales.

Dans le contexte du FBP, un élément contrefactuel est utilisé pour répondre à une question comme celle-ci : « Que serait-il arrivé si la communauté n’avait pas bénéficié d’une assistance dans le cadre d’actions basées sur les prévisions ? » Pour estimer l’impact du FBP, il faut comparer les résultats contrefactuels (ce qui se serait passé en l’absence du FBP) aux résultats observés dans le cadre de l’intervention (ce qui s’est passé avec l’assistance FBP).

Toute la difficulté vient du fait que les éléments contrefactuels ne peuvent pas être observés directement.

Il faut fonctionner par approximation en les comparant à un groupe de comparaison qui se rapproche le plus possible des conditions de l’élément contrefactuel.

Dans la pratique, les équipes FBP essayeront généralement d’utiliser l’un des deux types de comparaisons (ou les) pour évaluer l’élément contrefactuel :

Données sur les impacts de catastrophes passées de même nature sur des communautés/zones comparables.

+ Opportunités

Les données historiques coûtent parfois moins cher, car elles ont été collectées par d’autres personnes par le passé. Des personnes ont vécu cette catastrophe passée, des données historiques peuvent donc fournir un point de référence commun susceptible de renforcer la crédibilité de l’analyse. (Consultez les analyses de risques effectuées au début du développement du PAP au cas où des informations seraient intéressantes.)

– Difficultés

La comparabilité des données historiques soulève souvent des problèmes à plusieurs niveaux : la catastrophe passée doit être comparable à celle qui a déclenché les actions de FBP en termes de magnitude et de timing ; ses impacts sur les populations vulnérables et exposées doivent aussi être similaires. Les données sur la catastrophe et ses impacts doivent être disponibles pour les mêmes unités d’analyse et le même degré de désagrégation que ceux utilisés dans l’évaluation de la catastrophe actuelle (qui déclenche le FBP) et de ses impacts et dans l’analyse des effets du FBP.

Exemple

Si l’un des indicateurs primaires pour mesurer la réussite des actions basées sur les prévisions correspond à la réduction de la proportion de personnes qui souffrent de maladies diarrhéiques pendant/après une catastrophe, les données historiques doivent citer des informations sur l’incidence de la diarrhée au sein du groupe de population vulnérable qui a été touché pendant/après cette catastrophe passée. Des données concernant uniquement la catastrophe proprement dite ou les dégâts subis par les infrastructures et les maisons ne suffisent pas. Les données historiques doivent porter sur la zone géographique dans laquelle le PAP a été implémenté.

Données sur les impacts au sein des communautés ou des ménages de comparaison qui ont été touché·e·s par la même catastrophe (celle qui a déclenché les actions basées sur les prévisions) et qui sont comparable sur tous les autres aspects, à l’exception du fait qu’ils·elles n’ont pas bénéficié d’une assistance dans le cadre d’actions basées sur les prévisions avant la catastrophe.

+ Opportunités

La probabilité d’obtenir une comparabilité des données augmente avec le prélèvement d’un échantillon aléatoire au sein de la population des communautés vulnérables et impactées. La majorité des interventions de FBP disposent d’un financement limité et donc d’une couverture restreinte, il est dès lors possible de trouver des communautés de comparaison qui ont été touchées par une catastrophe mais n’ont pas bénéficié d’une assistance dans le cadre d’actions basées sur les prévisions.

– Difficultés

Le cadre d’échantillonnage doit être conçu et implémenté avec soin pour éviter d’introduire des biais dans les données. La collecte de données primaires revient généralement plus cher que l’utilisation d’ensembles de données historiques secondaires. De même, la collecte de données dans des communautés de comparaison peut susciter certaines attentes chez les interlocuteur·rice·s qui risquent de croire qu’ils·elles vont recevoir de l’aide, car après une catastrophe, une Société nationale procède souvent à des évaluations pour planifier une intervention.

L’utilisation d’un élément contrefactuel n’est pas obligatoire mais elle est recommandée au vu du stade atteint par les projets de FBP et de leur financement. À défaut, l’analyse ne peut pas démontrer de manière convaincante une relation de cause à effet entre l’intervention et les résultats.

C’est peu probable dans le cas du FBP, mais il y a des situations dans lesquelles des approches non expérimentales (sans groupe de comparaison) sont la seule forme de recherche possible. Par exemple, quand un programme/projet est implémenté partout et que chaque personne vulnérable et exposée est couverte, il n’y a plus de groupes de comparaison isolés. Malheureusement, les programmes de FBP sont très éloignés de ce scénario (compte tenu de leur faible financement). Par conséquent, nous recommandons fortement d’effectuer des évaluations expérimentales ou quasi-expérimentales avec des groupes de comparaison pour évaluer l’impact des projets/programmes de FBP.

Missions et outils S&E

Analyser la disponibilité de sources de données secondaires fiables

  • IFRC M&E Guide (Guide de la FICR pour analyser la disponibilité de données secondaires, chapitre 2.2.2, p. 33)

Identifier un groupe de comparaison

Étape 3 : définir les responsabilités et les échéances
  • Identifiez des collaborateur·rice·s potentiel·le·s, des universités, des consultant·e·s, etc., pour la collecte de données.
  • Préparez du matériel de formation pour les volontaires/recenseur·euse·s (sur la collecte de données, l’animation de groupes de discussion, etc.), chaque fois que c’est possible et pertinent. À cette étape, tenez compte des plans qui font partie des programmes/de la stratégie PSER de la Société nationale.

© CRC

Étape 4 : résumer le plan S&E dans le PAP

Citez dans un plan S&E les indicateurs qui seront utilisés pour mesurer l’impact d’une action précoce, le mode et le calendrier de collecte des données ainsi que les personnes chargées de collecter ces données, de les analyser, d’en faire rapport et de les publier en fonction des impacts priorisés et des actions précoces sélectionnées, de la capacité S&E de la Société nationale et des buts du système de FBP en suivant les étapes qui précèdent.

Basez-vous sur votre plan S&E pour développer des outils de collecte de données (formulaires de suivi, questionnaires, listes de contrôle, etc.) et instaurez un processus pour la collecte de données.

Missions et outils S&E

Plan S&E pour le FBP

Théorie du changement (pour chaque action), extrait du PAP (Tableau 1)

Domaines prioritaires (secteur) Risque Action Résultats Objectifs à court terme Objectifs à long terme Capacités disponibles pour implémenter une action
Santé X % de la population dans les zones cibles victime d’une épidémie de maladies diarréhiques pendant/ après une inondation. Distribution de bidons de chlore aux ménages Population d’une zone inondable qui a du chlore pour purifier l’eau afin de garantir un accès à de l’eau salubre pendant/après une inondation Réduction de la proportion de la population d’une zone cible victime de de maladies diarréhiques Une population en bonne santé peut aller à l’école et au travail plus régulièrement car l’impact des catastrophes est réduit Fournisseur·euse·s locaux·ales de tablettes de purification de l’eau | Réseau de plus de X volontaires par branche

Les 7 domaines prioritaires de la FICR sont les suivants : RRC, abris, moyens de subsistance et besoins de base, santé, EAH, protection, genre et inclusion, et migration.

Plan S&E (tableau 2)

Téléchargez ici un exemple hypothétique de plan S&E (en anglais).

Étape 5 : Consolider les plans S&E de plusieurs PAP dans un plan directeur S&E

Si une Société nationale prépare plus d’un PAP, nous recommandons de compiler l’ensemble des actions précoces (dès que vous avez sélectionné celles qui feront partie de chaque PAP) et de leurs indicateurs respectifs provenant des différents PAP dans un même plan directeur S&E et d’en vérifier la cohérence. Cette démarche permet en outre de repérer les synergies et d’éviter les doublons dans la collecte de données.

Le ou les plans S&E doivent être mis à jour après chaque activation de manière à y intégrer les enseignements tirés, mais aussi après toute modification des actions précoces.

Étape 6 : adapter/revoir le formulaire de suivi des PAP
  • Assurez-vous que les volontaires et le personnel connaissent leurs rôles et responsabilités dans le processus de suivi qui doit être effectué pendant l’implémentation du PAP.
  • Utilisez le formulaire de suivi des PAP pour le PAP qui a été déclenché afin de contrôler son implémentation.

Outil : EAP monitoring form (modèle de formulaire de suivi des PAP)

Boîte à outils