4.3 Diseñe el Plan de M&E

← previous next →
download_this_chapter

Sumario

El Financiamiento basado en pronósticos (FbF) es un concepto relativamente nuevo, con potencial para reducir los impactos de desastres mediante un mayor uso de la ciencia disponible para fundamentar la toma de decisiones. Dado que el FbF se encuentra en sus primeras etapas de implementación, el monitoreo, la evaluación y el aprendizaje son cruciales para medir la eficacia del enfoque y ajustarlo cuando sea necesario.

Puesto que desarrollar evidencia y ajustar el sistema donde sea necesario es tan importante en estas primeras etapas del FbF, cada activación de un Protocolo de Acción Temprana debe usarse para recolectar datos a tal efecto y documentar los aprendizajes.

Por lo tanto, cada PAT debe incluir un protocolo de M&E para 1) evaluar el impacto de las acciones tempranas y el evento extremo después de cada activación; y 2) garantizar que se hayan llevado a cabo todos los procedimientos según lo planeado y se genere evidencia de que se tomaron las acciones tempranas. Este sistema de M&E debe armonizarse con el sistema de PMER existente de la SN. Contar con un plan de M&E bueno y bien pensado para el PAT facilitará enormemente la recolección de datos al momento de la activación (consulte el Capítulo Active, Monitoree, Evalúe para ver los pasos a tomarse después de la activación). Para los PAT presentados a la FbA parte del DREF, se requiere que exista un plan de M&E que detalle cómo se monitoreará la activación y cómo se evaluará el impacto.

El M&E le permite medir, gestionar y llevar un control de los avances en relación a los planes y hacia la consecución de los resultados deseados. Responder: «¿dónde y cómo podemos hacerlo mejor?» es un prerrequisito para el aprendizaje de un proyecto de FbF, además de ser indispensable para demostrar rendición de cuentas y los resultados.

En definitiva, el M&E nos permite mostrarles a las comunidades para las que trabajamos y a las organizaciones que nos financian cómo el FbF está marcando la diferencia.

Este capítulo describe cómo monitorear las activaciones del PAT y proporcionar evidencia de si se están alcanzando estos objetivos. Este capítulo aborda las siguientes preguntas clave:

  • ¿Cómo establecer un plan de M&E?
  • ¿Qué tipo de evidencia buscamos?
  • ¿Cuál es la mejor manera de medir el impacto del FbF?
  • ¿Qué herramientas hay disponibles?
  • ¿Cuál es la mejor manera de capturar los aprendizajes de FbF para mejorar la prestación?

Si bien los componentes de los sistemas de M&E de FbF varían de un país a otro y de un contexto a otro, los siguientes pasos, que guían el desarrollo del plan de M&E para su PAT, seguirán siendo los mismos.

El M&E comienza desde el inicio del desarrollo del proyecto y del programa, empleando varias herramientas para medir, monitorear y evaluar los avances en todo momento. Los componentes del establecimiento del M&E y de la selección de las acciones tempranas pueden encontrarse integrados a lo largo de los capítulos anteriores de este Manual (consulte los capítulos Seleccione las Acciones Tempranas y Prepare su Sociedad Nacional para el FbF. Sin embargo, se puede encontrar una descripción general de los pasos necesarios para desarrollar el plan de M&E de su PAT a continuación.

Paso 1: Defina cómo se monitorearán las activaciones del PAT

El proyecto o programa que se ha establecido en un país determinado para instalar el sistema de FbF debe tener su propio plan de monitoreo, en línea con el marco lógico del proyecto. Una vez establecido el sistema, también se necesitará un plan de monitoreo para la implementación del PAT. Este plan debe abarcar desde el momento en que el pronóstico alcanza el nivel de impacto preidentificado y el PAT es activado, hasta el momento en que finaliza la activación. El monitoreo lleva un control del desempeño de los actores implementadores en relación a sus funciones y responsabilidades acordadas y planificadas. Es importante recolectar los datos de monitoreo relacionados con el desempeño de la implementación del PAT para luego analizar si la SN logró actuar tan temprano como estaba previsto y con la eficiencia esperada. El objetivo es garantizar que se analicen las prácticas, los comportamientos y las maneras de implementar el PAT, para poder identificar las deficiencias, las limitaciones o las trabas que deben eliminarse e identificar los problemas de diseño que deben abordarse antes de la próxima activación.

Desarrolle un monitoreo del PAT para definir claramente qué elementos de la activación serán monitoreados y por quién. Usted puede imprimir el formulario y distribuirlo al personal de la SN y a los voluntarios que están desplegados en el campo y luego devolverlos al punto focal de M&E para su consolidación.

Usted puede utilizar la plantilla de Formulario de monitoreo de PAT o el Formulario en línea de monitoreo de PAT, que contiene ejemplos, y adaptarlo a su PAT.

Nota:

Usted necesita crear una cuenta de KoBo Toolbox para poder acceder, copiar y adaptar este formulario. Las cuentas son gratuitas y de uso ilimitado para las organizaciones humanitarias.

Paso 2: Defina cómo evaluar el impacto de la activación del PAT

El objetivo final es determinar si las acciones tempranas implementadas ayudaron a lograr las metas esperadas de reducción de riesgo (y de respuesta eficaz) que se planificaron (es decir, si redujeron el impacto priorizado) y cómo se lograron esas metas. Las acciones, ¿marcaron una diferencia en la vida y en los medios de vida de las personas en riesgo? ¿En qué medida? Las personas de las comunidades asistidas por el FbF, ¿experimentan menos impactos adversos en sus vidas, su salud o sus bienes que las personas que no recibieron asistencia mediante el FbF? Los impactos se medirán en indicadores clave relacionados con la salud, el bienestar, los activos físicos y la capacidad productiva.

Desarrolle la sección de evaluación de impacto del plan de M&E de su PAT de la siguiente manera:

  • Defina los indicadores (consulte los ejemplos en la Tabla 2).
  • Defina su enfoque contrafactual.
  • Elija sus fuentes de datos y herramientas de recolección de datos. Desarrolle/modifique las herramientas de recolección de datos.
  • Defina si la evaluación de impacto (y/o análisis de costo-beneficio) será realizada por la SN, por la FICR o de manera conjunta, o mediante un contrato externo (p. ej., institución académica, consultor, etc.).

Evalúe los impactos a nivel de hogar/comunidad.

Investigue si el FbF ha contribuido a mejorar los resultados humanitarios. Cómo mide sus impactos variará según sus intervenciones.

Consejo:

Tenga en cuenta que la recolección de datos de impacto sobre el éxito de sus intervenciones de FbF dependerá del tipo de intervención. Por ejemplo, las acciones tempranas para el sector alojamiento son directa e inmediatamente observables después de un desastre, mientras que puede tardar semanas en poderse observar el efecto total de acciones tempranas como la distribución de tabletas de purificación de agua para prevenir un brote de cólera.

Los siguientes materiales pueden ayudarle a planificar su evaluación de impacto.

La elección de los indicadores depende del tipo de amenaza, los impactos que se deben prevenirse o mitigarse y las acciones tempranas a tomar.
Los indicadores para medir el impacto de las acciones tempranas a menudo se toman de las siguientes categorías:

Salud y bienestar

  • Mortalidad
    • “¿Murieron menos personas, o ninguna, a causa del desastre gracias a la asistencia de FbF?”
  • Morbilidad
    • “¿Se enfermaron menos personas durante o después del desastre gracias a la asistencia de FbF?”
  • Estrés/ansiedad
    • “¿Se sintió la gente menos estresada y más capaz de afrontar los impactos del desastre gracias a la asistencia de FbF?”

Alojamiento y vivienda

  • Estructuras de vivienda familiar
    • “¿Fueron menos las personas que experimentaron daños graves a los techos y paredes de sus viviendas gracias a la asistencia temprana que recibieron mediante el FbF?”
  • Refugios comunales
    • «¿Lograron los refugios comunales contra ciclones resistir los impactos del desastre y proteger a los miembros de la comunidad según lo planeado?

Activos

  • Activos personales
    • “¿Fueron menos las personas cuyas posesiones valiosas sufrieron daños graves gracias a la asistencia temprana que recibieron mediante el FbF?”
  • Activos productivos (p. ej., huertos, galpones, etc.)
    • “¿Experimentaron las personas menos lesiones y muerte de ganado porque recibieron asistencia temprana basada en pronósticos?”

Factores que afectan la salud, el bienestar, los medios de vida y otros

  • Suministro de alimentos/agua
    • “¿Sufrieron menos inseguridad alimentaria durante el desastre las personas que recibieron asistencia en efectivo del FbF antes del desastre?”
  • Limitaciones laborales
    • «¿Ayudaron las acciones basadas en pronósticos a reducir el tiempo que las personas no pudieron trabajar debido a los impactos del desastre?»
  • Infraestructura pública (p. ej., carreteras, clínicas, escuelas, etc.)
    • «¿Fueron los centros de salud comunitarios más capaces de brindar atención médica a las personas vulnerables afectadas gracias a la asistencia de FbF?»
  • Existen muchas medidas posibles además de estas, dependiendo de la teoría de cambio del programa/proyecto, del marco lógico y del plan de M&E.

Enfoque contrafactual

Por ejemplo, «¿experimentaron menos impactos de desastre los hogares que recibieron asistencia mediante el FbF que los hogares que no recibieron este tipo de ayuda temprana?»

¿Cómo podemos decir con certeza que fue la asistencia de FbF la que condujo al logro de resultados positivos, tales como la reducción del sufrimiento y de los impactos del desastre, y no otras intervenciones o factores externos?

En las investigaciones en el ámbito de las ciencias sociales, el uso de contrafactuales se ha convertido en un enfoque aceptado y ampliamente utilizado para la inferencia causal.

En el contexto de FbF se emplea un contrafactual para responder una pregunta como: «¿Qué hubiera pasado si la comunidad no hubiera recibido asistencia por medio de acciones basadas en pronósticos?». El impacto del FbF se estima comparando los resultados contrafactuales (lo que habría sucedido sin FbF) con los observados en el marco de la intervención (lo que sucedió con la asistencia de FbF).

El desafío es que los contrafactuales no se pueden observar directamente.

Deben estimarse haciendo referencia a un grupo de comparación que se asemeje lo más posible a las condiciones del contrafactual.

En la práctica, los equipos de FbF usualmente tratarán de utilizar uno de dos tipos de comparaciones (o ambos) para estimar el contrafactual:

Los datos históricos de impacto de comunidades/zonas iguales o comparables que han sido afectadas por un desastre comparable en el pasado.

+ Oportunidades:

Los datos históricos pueden ser más baratos de obtener porque ya fueron recolectados por otra persona tiempo atrás. Dado que las personas experimentaron el desastre pasado, los datos históricos también proporcionan un punto de referencia común que puede aportar credibilidad adicional al análisis (revise el análisis de riesgo realizado al comienzo del desarrollo del PAT por si la información es pertinente).

– Desafíos:

Muchas veces la comparabilidad de los datos históricos es problemática a varios niveles: el desastre pasado debe ser comparable en magnitud y en momento de ocurrencia al desastre que activó las acciones de FbF, y tienen que haber sido similares sus impactos en la población vulnerable y expuesta. Deben existir datos sobre el desastre pasado y sus impactos para las mismas unidades de análisis, y al mismo nivel de desagregación, que se están utilizando para evaluar el desastre actual (que activó el FbF) y sus impactos y para analizar los efectos del FbF.

Ejemplo:

Si uno de los principales indicadores para medir el éxito de las acciones basadas en pronósticos es la reducción en la proporción de personas que padecen enfermedades diarreicas durante o después de un desastre, los datos históricos deben contener información sobre la incidencia de diarrea entre el grupo de población vulnerable y afectada durante/después del desastre pasado. No bastará tener datos solo sobre el desastre en sí o sobre los daños a la infraestructura y las viviendas. Debe haber datos históricos disponibles para la misma zona geográfica en la que se llevó a cabo la implementación del PAT.

Datos de impacto de comunidades u hogares de comparación que han sido afectados por el mismo desastre (que activó las acciones basadas en pronósticos) y que son comparables en todos los aspectos, excepto que no recibieron asistencia por medio de acciones basadas en pronósticos antes del desastre.

+ Oportunidades:

Es más probable lograr la comparabilidad de los datos si se extrae una muestra aleatoria de la población de las comunidades afectadas y vulnerables. Dada la cantidad limitada de fondos y por ende la limitada

cobertura de la mayoría de las intervenciones de FbF, es bastante probable encontrar comunidades de comparación que se vieron afectadas por un desastre pero que no recibieron asistencia por medio de acciones basadas en pronósticos.

– Desafíos:                                                                                                          

El marco muestral debe diseñarse e implementarse con cuidado para evitar introducir sesgos en los datos. La recolección de datos primarios suele ser más cara que trabajar con conjuntos de datos históricos secundarios. Además, recolectar datos en las comunidades de comparación puede generar expectativas entre los entrevistados de que recibirán asistencia, ya que las evaluaciones que una Sociedad Nacional realiza después de un desastre suelen usarse para planificar una respuesta.

No es necesario utilizar un contrafactual, pero sí se recomienda dada la etapa actual y el financiamiento de los proyectos de FbF. Si no se usa, el análisis no puede mostrar de manera convincente una relación causal entre la intervención y los resultados.

Es poco probable, en el caso del FbF, que se den situaciones donde el único diseño de investigación factible sean los enfoques no experimentales (sin un grupo de comparación). Por ejemplo, cuando un programa/proyecto se implementa de forma universal y se logra llegar a todas las personas expuestas y vulnerables, ya no existen grupos de comparación aislados. Desafortunadamente, los programas de FbF, con su cantidad limitada de financiamiento, están lejos de encontrarse en esa situación. Por lo tanto, se recomienda encarecidamente el uso de diseños de evaluación experimentales o cuasiexperimentales con grupos de comparación para evaluar el impacto de los proyectos/programas de FbF.

Tareas y Herramientas de M&E

Revise la disponibilidad de fuentes confiables de datos secundarios

Identifique un grupo de comparación

Paso 3: Defina las responsabilidades y los plazos
  • Identifique posibles colaboradores, universidades, consultores, etc. para la recolección de datos.
  • Desarrolle con antelación los materiales de capacitación para voluntarios/encuestadores (p. ej., en recolección de datos, realización de discusiones de grupos focales, etc.), cuando sea posible y pertinente. En este paso, considere planes ya existentes en el marco de los planes/las estrategias PMER de la Sociedad Nacional.

© GRC

Paso 4: Resuma en el plan de M&E del PAT

Basándose en los impactos priorizados y las acciones tempranas seleccionadas, en la capacidad de M&E de la Sociedad Nacional y en los objetivos del sistema de FbF, y siguiendo los pasos anteriores, resuma en un plan de M&E qué indicadores se utilizarán para medir el impacto de la acción temprana, cómo y cuándo se recolectarán los datos requeridos y quién los recolectará, analizará, reportará y difundirá.

Basándose en su plan de M&E, desarrolle las herramientas de recolección de datos (formularios de monitoreo, cuestionarios, listas de verificación, etc.) y establezca los procesos para la recolección de datos.

Tareas y Herramientas de M&E

Plan de M&E de FbF

Teoría de Cambio (por acción) del PAT (Tabla 1)

Áreas de enfoque (sector) Riesgo Acción Productos Resultados a corto plazo Resultados a largo plazo Capacidades disponibles para implementar la acción
Salud X% de la población en las zonas objetivo afectadas por un brote de enfermedad diarreica durante / después de la inundación. Distribuir contenedores de cloro a nivel de HH. La población en la zona propensa a inundaciones equipada con cloro para la purificación del agua, para garantizar acceso a agua limpia durante / después de la inundación. Se reduce la proporción de la población en la zona objetivo que padece enfermedades diarreicas. Una población sana puede asistir a la escuela y trabajar con mayor regularidad debido a la reducción del impacto del desastre. Proveedores locales de tabletas de tratamiento de agua | Red de voluntarios con más de X voluntarios por filial.

Las siete áreas de interés de la FICR son: RRD, Alojamiento, Medios de Vida y Necesidades Básicas, Salud, WASH, Protección, Género e Inclusión, Migración.

Plan de M&E (Tabla 2)

Puede descargar un ejemplo hipotético de un Plan de M&E aquí.

Paso 5: Consolide planes de M&E de diferentes PAT en un plan maestro de M&E

Si una Sociedad Nacional está desarrollando más de un PAT, una vez seleccionadas las acciones tempranas que formarán parte de cada PAT, se recomienda consolidar todas las acciones tempranas y los indicadores respectivos de los diferentes PAT en un plan maestro de M&E, que deberá revisarse para verificar su consistencia. Esto también ayuda a detectar las sinergias y a garantizar que no exista duplicación en la recolección de datos.

El/Los plan(es) de M&E debe(n) actualizarse después de cada activación, para integrar nuevos aprendizajes, y cada vez que se hagan cambios a las acciones tempranas.

Paso 6: Adapte/revise el formulario de monitoreo del PAT
  • Asegúrese de que los voluntarios y el personal conozcan sus funciones y responsabilidades en el desempeño del proceso de monitoreo que se llevará a cabo durante la implementación del PAT.
  • Utilice el Formulario de monitoreo de PAT para monitorear la implementación del PAT activado.

Herramienta: Plantilla de Formulario de monitoreo de PAT.

Caja de Herramientas