O quê? Sem avaliações de impacto? Monitorização e avaliação das atividades de WASH em evolução

Se eu tivesse 1 libras por cada vez que alguém levantou a questão da avaliação do impacto e da sua adequação ou não para as ONG internacionais, provavelmente conseguiria financiar uma.

A análise adequada do impacto requer um “contrafactual de quais resultados teriam sido na ausência da intervenção”. Então, como gerente de programa em monitorização e avaliação, esse é o enigma que enfrento. Queremos saber sobre os resultados, os resultados e as mudanças nas vidas para as quais contribuímos; mas, como uma ONG, a evasiva avaliação de impacto padrão-ouro e os rigores científicos e custos de ensaios de controlo randomizados, estão simplesmente além do nosso alcance.

Mas realmente a questão é – este é o tipo de atividade em que organizações como a WaterAid deveriam focar nosso tempo e recursos limitados? Ou devemos fazer o que fazemos melhor, ou seja, tentar obter acesso universal para as pessoas mais vulneráveis e marginalizadas a serviços WASH sustentáveis?

Precisamos ser pragmáticos

No entanto, deveríamos estar fazendo mais 'avaliação do mundo real'. Um mentor meu de avaliação, Jim Rugh, costumava dizer: “Sempre pense como um avaliador – devemos questionar continuamente se estamos fazendo a coisa certa, testando nossas suposições e o que estamos alcançando, mas seja pragmático quanto às restrições de tempo e recursos”. Daí a importância de se fazer avaliações que sejam adequadas ao propósito, com evidências e análises claras.

Há também a questão da responsabilidade: o que queremos dizer com isso e de onde vêm as evidências para garantir a nós mesmos e aos outros que estamos realmente alcançando mudanças positivas para nossas comunidades mais marginalizadas?

Medir e evidenciar a mudança é uma responsabilidade e faz parte de um portefólio de trabalho que atravessa várias equipas no WaterAid UK. A relevância e a eficácia do trabalho do nosso programa de país é o foco das nossas Avaliações do Programa de País (CPEs). O objectivo do trabalho global que desenvolvemos no centro só é apoiar os casos em que o verdadeiro trabalho acontece, a nível nacional. Neste caso, o nosso papel central no WaterAid UK é desenvolver bons processos, sistemas e ferramentas para apoiar boas práticas na avaliação, e garantir que haja intercâmbio de conhecimentos e aprendizagem Sul-Sul entre os nossos Programas por País. Estamos atualmente a redesenhar os nossos procedimentos básicos mínimos no que diz respeito aos processos de avaliação

Ter a capacidade certa de avaliação

Como toda pessoa de monitorização e avaliação sabe, a avaliação tem sido tradicionalmente marcada como o primo pobre da monitorização, e não é incomum que organizações como a nossa não tenham habilidades e experiência para desenvolver estruturas de avaliação robustas e projetos de estudo. Não é realmente uma questão de independência e credibilidade — sem dúvida a coleta, análise e interpretação dos achados de uma avaliação precisam ser conduzidos de forma independente (de uma perspetiva de responsabilidade e objetiva).

Do ponto de vista da aprendizagem e propriedade, no entanto, é claro que precisamos reconhecer e estar satisfeitos com a validade das descobertas, conclusões e recomendações, a fim de levá-las adiante para uma prática significativa e aprimorada.

Manter a independência e o uso dos critérios de avaliação da OCDE-DAC

Para resolver isso, nossos CPEs – que serão conduzidos no final da estratégia de cada Programa de País – usam os critérios da OCDE-DAC de eficácia, relevância, sustentabilidade, eficiência e impacto, e são realizados por uma equipe mista de funcionários internos e independentes. consultores. A chave aqui é que a análise final, recomendações e conclusões ficam com o consultor, o que parece funcionar. Mas é o especialista técnico ou político da WaterAid e os membros da equipa do programa regional e nacional que oferecem valiosas informações sobre programação, política e contexto, e asseguram a apropriação e adesão tanto quanto possível. O próprio ato de estar envolvido na avaliação em si cria confiança e capacidade da equipe para ser mais avaliativa.

Como as mudanças na Estratégia Global da WaterAid afetam a avaliação?

Na WaterAid, no geral, estamos entrando em um período empolgante, mas de mudança. À medida que concentramos mais nossos esforços em alcançar um impacto de maior escala no acesso a WASH, trabalharemos cada vez mais no campo do fortalecimento do setor WASH, integração com saúde e educação, trabalho de políticas e advocacia e o direito humano a WASH.

Embora acreditemos que essas mudanças irão proporcionar um impacto muito maior, à medida que mais pessoas estão sendo alcançadas, os serviços serão sustentados e maiores recursos para WASH alavancados etc. , nossas perguntas avaliativas giram em torno de 'Quais foram nossas contribuições para a mudança de políticas ou fortalecimento do setor? Que resultados foram alcançados para as comunidades mais marginalizadas? Qual é o nosso valor agregado em nosso trabalho em coalizões para alcançar o acesso universal? Qual é a evidência para isto?'

Complicado.

Ainda bem que estamos investindo em várias novas iniciativas para medir nossa contribuição para a mudança de políticas, começando com nosso trabalho de defesa global - por exemplo, o trabalho de avaliação Healthy Start Campaign pós-2015. Uma nova abordagem para a monitorização e avaliação de políticas e iniciativas de defesa resultará em uma melhor compreensão dos métodos, ferramentas e indicadores que rastreiam e medem nosso impacto político, nosso trabalho baseado em direitos humanos e a eficácia de nosso engajamento com coligações, entre outras coisas.

Portanto, acho que para nós, neste momento, 'sem avaliações de impacto' é uma abordagem sensata. Por enquanto, pelo menos…

Para obter mais informações sobre avaliação no WaterAid, entre em contacto com lizatong@wateraid .org ou visite a nova secção monitorização e Responsabilidade>