Monitoreo, evaluación y aprendizaje
Introducción
El componente de monitoreo, evaluación y aprendizaje (ME&L, en inglés) de Plan ASAC desarrolla estrategias y herramientas para dar seguimiento a los avances de la implementación, evaluar el impacto, así como facilitar el aprendizaje iterativo para mejorar la planificación e implementación de la ASAC. El ME&L de Plan ASAC proporciona procesos y productos que promueven la consecución y documentación de los objetivos del programa y la gestión adaptativa de la implementación. Este componente está dirigido a quienes elaboran y gestionan los programas y proyectos.
La ASAC incorpora los resultados de esfuerzos individuales que persiguen el mismo conjunto de objetivos de lograr un sistema alimentario más productivo, resiliente y de bajas emisiones. Aunque ciertamente la escala y el alcance de las actividades difieren, todas pueden contribuir con los objetivos de la ASAC. Las premisas sobre las que se fundamenta el ME&L de Plan ASAC es que la ASAC es un gradiente y no un punto en el extremo y que la ASAC es específica para un determinado contexto (lugar y tiempo). Es posible que la triple ganancia en productividad, resiliencia y mitigación no se pueda alcanzar o priorizar en todos los lugares, esto quiere decir que los estándares de desempeño y aprendizaje tienen que ser específicos para un objetivo social y específicos para un lugar y tiempo. Esta precondición de objetivos claros por lo general será documentada durante el Paso 1 de Plan ASAC («análisis de la situación») y definida en el Paso 2 («focalización y priorización»).
Los resultados se miden utilizando indicadores y parámetros de manera tal, que en ello se consideren al menos dos principios clave:
- Debe haber un conjunto mínimo de indicadores de alto nivel a los que se les dé seguimiento a lo largo de todos los programas y facilitar así la medición y la comparación. Una mayor resolución e indicadores que sean más específicos pueden ser importantes para proyectos específicos. Es importante destacar que muchos grupos trabajaron de manera global (p. ej. el Banco Mundial y CCAFS) para definir ese conjunto de indicadores de alto nivel, lanzado en abril de 2016.
- Los indicadores deben ser «SMART» [abreviatura en inglés de]: simples, medibles, aceptables, relevantes y delimitados en el tiempo, que permitan dar seguimiento al desempeño y cambio de condiciones.
El enfoque de ME&L de Plan ASAC sigue un simple proceso de tres pasos para ayudar a determinar qué tipo de parámetros, indicadores y estrategias de monitoreo se adaptan mejor a un contexto dado. El árbol de decisiones de la Figura 1 ayuda a determinar las categorías de indicadores ASAC pertinentes. Con frecuencia, la implementación de la ASAC a lo largo de todo el ciclo de vida del programa requerirá de las siguientes tres categorías (casos de uso) de indicadores:
Figura 1. Un árbol de decisiones sencillo para determinar qué caso de uso seleccionar. Por lo general, será necesario seleccionar y usar indicadores de cada grupo a lo largo de todo el ciclo de vida del proyecto. Cada uso se describe más adelante. A partir de una extensa base de datos de indicadores, y en colaboración con Alimentar el Futuro de USAID, CCAFS ha desarrollado una nueva herramienta para planificar proyectos de ASAC e indicadores (ver la CSA Programming and Indicator Tool, [en inglés]).
Casos de uso de los indicadores de Plan ASAC para el ciclo de vida de un proyecto:
- Indicadores de preparación
- Indicadores de proceso
- Indicadores de avance/impacto
Indicadores de preparación: El primer caso de uso es determinar el grado de preparación para una intervención de ASAC. La preparación es importante porque, para ser exitosa, la ASAC requiere de muchas estructuras de soporte y a veces la intervención necesita un fortalecimiento preliminar de las capacidades para acondicionar, ya sea la ubicación o el grupo meta. Es necesario que los indicadores de preparación tengan una estrecha relación con el tipo de intervención diseñada (ver estudio de caso 3). Por ejemplo, si un proyecto pretende escalar la agrosilvicultura en el occidente de Kenia, será importante tener conocimiento de elementos como el estado del sistema de extensión, red de viveros, tenencia de la tierra, etc. La información que se necesita puede ser significativamente diferente de aquella que se necesitaría para una intervención que diseñe un sistema de alerta temprana o un esquema de seguros.
Indicadores de proceso: Plan ASAC propone procesos inclusivos, transparentes y diligentes para facilitar el seguimiento, aprendizaje y manejo adaptativo en la implementación del proyecto. Los indicadores orientados al proceso permiten que los programas sean evaluados respecto al cumplimiento de los objetivos planteados y de ASAC. Ciertos indicadores de ME&L permiten adquirir una mayor perspectiva de los procesos de implementación, como la diversidad y composición de género del equipo, número y calidad de interacciones con las comunidades, la puntualidad en la entrega de los reportes, etc. Aunque muchas veces la importancia de esos indicadores se pasa por alto, Plan ASAC plantea que no se pueden menospreciar, pues su observación genera procesos justos, equitativos y transparentes.
Indicadores de avance/impacto: Una característica clave y distintiva del ME&L para ASAC es la necesidad de comprender el impacto en cada uno de los tres objetivos. Se pueden usar indicadores de aportes y resultados para medir el avance o impacto. Por lo general, los indicadores de aportes parten de supuestos sobre las relaciones entre las actividades que producen un resultado. Por ejemplo, que la adopción de una agricultura de conservación aumenta la resiliencia a sequías durante el período estacional, o bien, que el uso de fertilizantes nitrogenados afecta las emisiones de óxido nitroso. Aunque las relaciones entre aportes y resultados tienen trazabilidad, en muchos casos no se encuentran bien documentadas o no son específicas por sitio y de esa manera, es difícil, si no imposible, determinar la magnitud del cambio. Como alternativa, se pueden medir indicadores directos de los resultados de interés (ver estudios de caso 1 y 2). También es cierto que múltiples indicadores pueden describir cada pilar. Por ejemplo, la productividad se puede ilustrar mediante cambios en el rendimiento, calorías o ingreso (ver Medición de la Productividad más adelante) o se puede caracterizar la mitigación por el secuestro de carbono o emisiones de gases de efecto invernadero por unidad de producto (ver Medición de la Mitigación más adelante). Los indicadores de resiliencia presentan mayor dificultad y habitualmente se recurre tanto a indicadores indirectos como de proceso (ver Medición de la Adaptación y la Resiliencia más adelante). La diversidad de indicadores para productividad y mitigación y la variabilidad de opiniones y opciones para resiliencia reafirma la necesidad de seleccionar los indicadores con los usuarios finales en un proceso participativo para que reflejen sus objetivos (ver Cajas de Herramientas para más referencias).
Recursos clave
Gujit I, Woodhill J. 2002. Managing for impact in rural development. Rome, Italy: IFAD.
Gestión eficaz para obtener resultados en desarrollo rural.
https://www.ifad.org/documents/10180/17b47fcb-bd1e-4a09-acb0-0c659e0e2def
Esta guía fue escrita para ayudar a los administradores de proyecto y personal encargado del ME&L a mejorar la calidad del monitoreo de los proyectos financiados por el FIDA. La Guía se enfoca en cómo el monitoreo y la evaluación puede respaldar a la administración de proyectos y hacer que las partes interesadas participen en actividades para dar a conocer los avances del proyecto, aprendan tanto de los logros como de los problemas y lleguen a acuerdos sobre cómo mejorar la estrategia y las operaciones.
Las funciones principales del ME&L son: asegurar una reflexión crítica orientada hacia la mejora, aprender a maximizar el impacto de los proyectos de desarrollo rural y demostrar que el impacto es tangible. La Guía pretende mejorar el ME&L en los proyectos financiados por el FIDA, pues un estudio encontró que la mayoría de estos cuentan con relativamente poco ME&L. La Guía brinda sugerencias sobre cómo establecer e implementar un sistema de ME&L, además de antecedentes de respaldo.
World Bank. 2004. Monitoring and evaluation (M&E): Some tools, methods & approaches. Washington, DC: World Bank.
Seguimiento y Evaluación (SyE): instrumentos, métodos y enfoques.
http://www.worldbank.org/oed/ecd/tools/
Los funcionarios públicos, los responsables de programas de desarrollo y la sociedad civil son cada vez más conscientes del valor del seguimiento y la evaluación de las actividades para el desarrollo. SyE ofrece un medio más adecuado para aprender de la experiencia anterior, mejorar la prestación de servicios, planificar y asignar los recursos y demostrar los resultados, como corresponde a su obligación de rendir cuentas a las principales partes interesadas. No obstante, muchas veces hay cierta confusión sobre lo que representa el SyE. Este folleto presenta una muestra de los instrumentos, métodos y enfoques del SyE, entre ellos varios métodos de recopilación de datos, marcos analíticos y tipos de evaluación y examen. Cada uno cuenta con un resumen que contiene lo siguiente: su finalidad y utilización; ventajas e inconvenientes; costos, conocimientos y tiempo necesarios, y algunas referencias importantes.
UNFCCC. 2010. Synthesis report on efforts undertaken to monitor and evaluate the implementation of adaptation projects, policies and programmes and the costs and effectiveness of completed projects, policies and programmes, and views on lessons learned, good practices, gaps and needs. Subsidiary Body for Scientific and Technological Advice 32nd session. Bonn, 31 May to 9 June 2010. Bonn, Germany: UNFCCC.
Informe de síntesis sobre las actividades emprendidas para supervisar y evaluar la ejecución de proyectos, políticas y programas de adaptación y los costos y la eficacia de los proyectos, las políticas y los programas terminados, y opiniones sobre las lecciones aprendidas, las buenas prácticas, las carencias y las necesidades.
http://unfccc.int/resource/docs/2010/sbsta/eng/05.pdf
Este documento resume la información de las comunicaciones de las Partes y las organizaciones y otras fuentes pertinentes sobre las actividades emprendidas para supervisar y evaluar la ejecución de las medidas de adaptación, incluidos los proyectos, las políticas y los programas. Se resumen las actividades realizadas en esta esfera y se informa sobre la preparación y la utilización de indicadores de la adaptación. Se ofrece también un resumen de las lecciones aprendidas, las buenas prácticas, las carencias y las necesidades, y el documento concluye con las cuestiones que se deben seguir examinando.
Lamhauge N, Lanzi ER, Agrawala S. 2012. Monitoring and evaluation for adaptation: Lessons from development co-operation agencies. OECD Environment Working Paper No. 38. Paris, France: OECD Publishing.
Monitoreo y evaluación de la adaptación: lecciones de organismos de cooperación para el desarrollo.
http:// dx.doi.org/10.1787/5kg20mj6c2bw-en
En el contexto de un financiamiento para la adaptación al cambio climático a mayor escala, es más importante que nunca garantizar la eficacia, equidad y eficiencia de las intervenciones para la adaptación. Contar con un sistema sólido de monitoreo y evaluación (M&E) es esencial para garantizar que se alcancen los beneficios esperados de las intervenciones y para ayudar a mejorar el diseño de operaciones futuras. Este documento presenta la primera evaluación empírica de los marcos de M&E empleados por organismos de cooperación para el desarrollo para dar seguimiento a proyectos y programas con componentes específicos de adaptación o relacionados con ella. Se han analizado 106 documentos de proyectos de seis organismos bilaterales de desarrollo. Sobre esa base, se han identificado características de M&E de adaptación y se comparten lecciones aprendidas de la selección y uso de indicadores de adaptación.
Colomb V, Bernoux M, Bockel L, Chotte J-L, Martin S, Martin-Phipps C, Mousset J, Tinlot M, Touchemoulin O. 2012. Review of GHG calculators in agriculture and forestry sectors: A guideline for appropriate choice and use of landscape based tools. Rome, Italy: Food and Agriculture Organization of the United Nations.
Evaluación de calculadoras de GEI en los sectores agropecuario y forestal: guía para la elección y uso adecuado de herramientas basadas en paisajes.
http://www.fao.org/fileadmin/templates/ex_act/pdf/ADEME/Review_existingGHGtool_VF_UK4.pdf
Hoy en día, se reconoce al cambio climático y sus consecuencias como unos de los mayores desafíos del siglo. Las actividades realizadas en tierra, sobre todo agropecuarias y forestales, pueden ser fuentes y sumideros de gases de efecto invernadero (GEI). En la mayoría de países, las emisiones de GEI derivadas de ellas representan una porción significativa del total de emisiones, alrededor del 30 % a nivel mundial. Para alcanzar metas globales o nacionales de reducción, así como superar retos en seguridad alimentaria, es necesario que el sector agropecuario y el forestal evolucionen. En paralelo al trabajo y avance en temas metodológicos del IPCC, recientemente se han desarrollado muchas herramientas de GEI para evaluar prácticas agropecuarias y forestales. Denef et al. (2012) clasifican esas herramientas como: calculadoras, protocolos, directrices y modelos. La presente revisión se centra en las calculadoras, es decir, herramientas automatizadas basadas, ya sea en internet, Excel u otro software, desarrolladas para cuantificar emisiones o reducciones de emisiones de GEI de actividades agropecuarias y forestales. El trabajo analiza dichas calculadoras trabajando a nivel de paisaje o finca e incluyendo varios tipos de producción: agrícola, pecuaria y forestal. Se identificaron 18 calculadoras de importancia, entre ellas EX-ACT,ClimAgri, Cool Farm Tool, Holos, USAID FCC y ALU.
Metodologías y herramientas
En esta sección se describirá una selección de metodologías, herramientas y casos que orientan y ejemplifican un proceso completo o facilitan componentes específicos del proceso.
CCAFS ha creado una base de datos de más de 378 indicadores relacionados con ASAC, recopilados de varios organismos internacionales de desarrollo (FAO, DFID, GIZ, FIDA-ASAP, Banco Mundial, USAID), para desarrollar una herramienta de acceso público a Planificación e Indicadores de CSA y así contribuir a responder a la necesidad tanto de buenos instrumentos para la planificación como de mejores parámetros de medición para dar seguimiento a los resultados e impactos. La herramienta propone un marco compartido para que los programas agropecuarios: i) examinen hasta qué punto las intervenciones en curso o planificadas abarcan cada pilar de ASAC, ii) comparen el alcance e intencionalidad de ASAC entre los distintos planteamientos de proyectos para que en el futuro la planificación sea más sostenible y adaptada al clima y iii) respalden la definición y selección de un conjunto adecuado de indicadores para medir y dar seguimiento a los resultados asociados con ASAC.
Indicadores de preparación
Indicadores de avance
Referencias
-
1
Wollenberg E, Zurek M, De Pinto A. 2015. Climate readiness indicators for agriculture. CCAFS Info Note. Copenhagen, Denmark: CGIAR Research Program on Climate Change, Agriculture and Food Security (CCAFS).
https://cgspace.cgiar.org/bitstream/handle/10568/68685/CCAFS%20info%20note%20readiness%20indicators%20Oct%202015%20final%20A4%20%281%29.pdf?sequence=11&isAllowed=y Indicadores de preparación climática en agricultura. Cada país cuenta con diferentes capacidades institucionales, técnicas y financieras para prepararse para el cambio climático en la agricultura y equilibrar los objetivos de seguridad alimentaria, adaptación y mitigación. Los indicadores de preparación climática brindan a los países una orientación y posibilitan el monitoreo el avance. Las evaluaciones de preparación pueden permitir que los donantes, inversionistas y tomadores de decisión nacionales determinen dónde se son necesarias las inversiones o donde tienen más probabilidades de éxito. Se proporcionan ejemplos de indicadores de preparación para cinco áreas de trabajo: 1. Gobernanza y participación de actores. 2. Servicios de información y conocimiento. 3. Estrategias de agricultura sostenible adaptada al clima y marcos de implementación. 4. Habilidades nacionales y subnacionales. 5. Sistemas de información nacional y contabilidad. -
2
IFAD. 2012a. Adaptation for Smallholder Agriculture Programme (“ASAP”) Programme Description. Rome, Italy: International Fund for Agricultural Development.
http://www.ifad.org/climate/asap/note.pdf Programa de Adaptación para Pequeños Agricultores (ASAP) Descripción del Programa. El ASAP constituye un nuevo punto de entrada en el FIDA para canalizar el financiamiento climático destinado a pequeños agricultores. Los fondos del ASAP van a cofinanciar proyectos valiéndose de criterios claros de selección y aplicando un marco de resultados que contiene 10 indicadores específicos y medibles de progreso. Un componente importante del ASAP será un programa de gestión del conocimiento que desarrollará y compartirá lecciones y herramientas de adaptación climática en todos los programas del FIDA y con socios externos clave. Basado en un riguroso sistema de evaluación y monitoreo, se espera que demuestre al Fondo Verde para el Clima y otras iniciativas el valor de invertir el financiamiento climático en pequeños productores. Las comunidades colaboradoras identifican las necesidades que determinan las áreas de inversión.