¿Acaso no hay evaluaciones de impacto? Monitoreo y evaluación en torno a la evolución de las actividades de WASH

Si tuviera £1 por cada vez que alguien ha planteado la cuestión de la evaluación del impacto y su idoneidad para las organizaciones no gubernamentales internacionales, probablemente podría financiar una.

El análisis del impacto adecuado requiere un “contraste de los resultados que se habrían obtenido en ausencia de la intervención”. Así que, como gerente de programas de monitoreo y evaluación, este es el enigma al que me enfrento. Queremos conocer los resultados, las consecuencias y los cambios en las vidas a las que contribuimos; pero, como organización no gubernamental, la vaga evaluación del impacto del modelo de excelencia y los rigores científicos y costos de los ensayos de control aleatorizados, están simplemente fuera de nuestro alcance. 

Pero realmente la pregunta es: ¿este es el tipo de actividad en el que organizaciones como WaterAid deberían centrar nuestro tiempo y recursos limitados? ¿O deberíamos hacer lo que mejor hacemos, es decir, tratar de obtener acceso universal para las personas más vulnerables y marginadas a los servicios de WASH sostenibles?

Tenemos que ser pragmáticos 

Sin embargo, deberíamos hacer más “evaluaciones del mundo real”. Jim Rugh, mentor de evaluación, solía decir: “Piensa siempre como un evaluador; deberíamos preguntarnos continuamente si estamos haciendo lo correcto, probando nuestras suposiciones y qué estamos logrando, pero ser pragmáticos sobre las limitaciones de tiempo y recursos”. De ahí la importancia de realizar evaluaciones diseñadas para ajustarse al propósito, con pruebas y análisis claros. 

También está la cuestión de la rendición de cuentas: ¿qué queremos decir con esto y de dónde viene la evidencia para asegurarnos a nosotros y a los demás que realmente estamos logrando un cambio positivo para nuestras comunidades más marginadas? 

Medir y evidenciar el cambio es una responsabilidad y parte de una cartera de trabajo que implica a varios equipos de WaterAid UK. La pertinencia y la eficacia de nuestro trabajo en los programas nacionales es en lo que se centran nuestras Evaluaciones de programas por países (CPE). El propósito del trabajo global que realizamos en el centro solo existe para apoyar los lugares dónde se produce el trabajo real, a nivel nacional. En este caso, nuestro papel central dentro de WaterAid UK es desarrollar buenos procesos, sistemas y herramientas para apoyar las buenas prácticas de evaluación, y garantizar que se realice el intercambio de conocimientos y el aprendizaje de sur a sur entre nuestros programas por países. Actualmente estamos rediseñando nuestros procedimientos básicos mínimos con respecto a los procesos de evaluación.

Tener la capacidad de evaluación adecuada 

Como sabe toda persona de monitoreo y evaluación, la evaluación ha sido señalada tradicionalmente como la prima pobre del monitoreo, y no es raro que organizaciones como la nuestra carezcan de las habilidades y la experiencia necesarias para desarrollar marcos de evaluación y diseños de estudio sólidos. No se trata realmente de independencia y credibilidad; sin duda, la recopilación, el análisis y la interpretación de los hallazgos de una evaluación deben guiarse de forma independiente (desde una perspectiva objetiva y de rendición de cuentas). 

Sin embargo, desde la perspectiva del aprendizaje y la apropiación, está claro que necesitamos apropiarnos y estar satisfechos con la validez de los hallazgos, las conclusiones y las recomendaciones para llevarlos hacia una práctica significativa y mejorada. 

Mantener la independencia y el uso de los criterios de evaluación OCDE-CAD

Para abordar esto, nuestras CPE, que se llevarán a cabo hacia el final de la estrategia de cada programa de país, utilizan los criterios de efectividad, relevancia, sostenibilidad, eficiencia e impacto del CAD de la OCDE, y son llevados a cabo por un equipo mixto de personal interno y consultores independientes. La clave aquí es que el análisis final, las recomendaciones y las conclusiones estén a cargo del consultor, lo cual parece funcionar. Pero es el especialista técnico o de políticas de WaterAid y los miembros del equipo de programas regionales y nacionales que ofrecen una programación, políticas e información contextual valiosas, y garantizan la apropiación y la compra en la medida de lo posible. El acto de participar en la evaluación en sí misma genera confianza y capacidad en el personal para ser más evaluativo. 

¿Cómo afectan los cambios a la evaluación de la Estrategia Global de WaterAid?

En WaterAid, en general estamos entrando en un periodo emocionante, pero de cambio. A medida que centramos más nuestros esfuerzos en lograr un impacto a mayor escala en el acceso a WASH, trabajaremos cada vez más en el campo del fortalecimiento del sector WASH, la integración con la salud y la educación, el trabajo de políticas e incidencia política y el derecho humano a WASH. 

Aunque creemos que estos cambios proporcionarán el potencial para tener un impacto mucho mayor a medida que se llegue a más personas, se mantengan los servicios y se aprovechen más recursos para WASH, etc., estamos trabajando más lejos desde la primera línea, donde la atribución se vuelve difícil y, cada vez más, nuestras preguntas de evaluación giran en torno a “¿Cuáles fueron nuestras contribuciones al cambio de políticas o al fortalecimiento del sector? ¿Qué resultados se han logrado para las comunidades más marginadas? ¿Cuál es el valor añadido en nuestro trabajo en las coaliciones para lograr el acceso universal? ¿Cuáles son las pruebas de esto?”

Complicado 

Es bueno que estamos invirtiendo en varias iniciativas nuevas para medir nuestra contribución al cambio de políticas, empezando por nuestro trabajo de incidencia política mundial, por ejemplo, el trabajo de evaluación de la campaña Comienzo saludable después de 2015. Un nuevo enfoque para el monitoreo y la evaluación de las iniciativas de políticas e incidencia política dará lugar a una mejor comprensión de los métodos, las herramientas y los indicadores que rastrean y miden nuestro impacto en las políticas, nuestro trabajo basado en los derechos humanos y la eficacia de nuestro compromiso con las coaliciones, entre otras cosas. 

Así que creo que para nosotros, en este momento, el enfoque “sin evaluaciones de impacto” es sensato. Por ahora, al menos...

Para obtener más información sobre la evaluación en WaterAid, póngase en contacto con [email protected] o visite la nueva sección Monitoreo y rendición de cuentas >