O quê? Sem avaliações de impacto? Monitorização e avaliação das atividades de WASH em evolução

5 min ler
Miniatura
Image: © WaterAid/Andrew McConnell

A expansão da secção Monitorização e Responsabilidade do nosso website de políticas, práticas e advocacia reflete a evolução de como a WaterAid monitoriza o seu trabalho. À medida que as nossas prioridades se alteram para incluir mais advocacia, fortalecimento sectorial, direitos humanos e integração sectorial, também o nosso trabalho de avaliação deve ser ajustado e adaptado. Mas devemos olhar para a avaliação total do impacto pergunta Liza Tong, Gestora do Programa para Responsabilidade e Efetividade da WaterAid UK.

Se eu tivesse £1 por cada vez que alguém levantou a questão da avaliação de impacto e sua adequação ou não para ONGs internacionais, eu provavelmente seria capaz de financiar uma.

A análise adequada do impacto requer um “contrafactual de quais resultados teriam sido na ausência da intervenção”. Então, como gerente de programa em monitorização e avaliação, esse é o enigma que enfrento. Queremos saber sobre os resultados, os resultados e as mudanças nas vidas para as quais contribuímos; mas, como uma ONG, a evasiva avaliação de impacto padrão-ouro e os rigores científicos e custos de ensaios de controlo randomizados, estão simplesmente além do nosso alcance.

Mas realmente a questão é – este é o tipo de atividade em que organizações como a WaterAid deveriam focar nosso tempo e recursos limitados? Ou devemos fazer o que fazemos melhor, ou seja, tentar obter acesso universal para as pessoas mais vulneráveis e marginalizadas a serviços WASH sustentáveis? 

Precisamos ser pragmáticos 

No entanto, deveríamos estar a fazer mais “avaliação do mundo real”. Um mentor de avaliação meu Jim Rugh costumava dizer “Sempre pense como um avaliador - devemos questionar continuamente se estamos fazendo a coisa certa, testando nossas suposições e o que estamos alcançando, mas seja pragmático sobre restrições de tempo e recursos”. Daí a importância de fazer avaliações que sejam projetadas para serem adequadas ao propósito, com evidências e análises claras. 

Há também a questão da responsabilidade: o que queremos dizer com isso e de onde vêm as evidências para garantir a nós mesmos e aos outros que estamos realmente alcançando mudanças positivas para nossas comunidades mais marginalizadas? 

Medir e evidenciar mudanças é uma responsabilidade, e parte de um portfólio de trabalho que atravessa várias equipes na WaterAid UK. A relevância e eficácia do nosso trabalho de programa de país é o foco de nossas Avaliações de Programas de País (CPEs). O objetivo do trabalho global que fazemos no centro existe apenas para apoiar onde o trabalho real acontece, a nível nacional. Neste caso, nosso papel central na WaterAid UK é desenvolver bons processos, sistemas e ferramentas para apoiar boas práticas na avaliação, e garantir que o intercâmbio de conhecimento e a aprendizagem Sul-Sul entre nossos Programas de País aconteçam. No momento, estamos redesenhando nossos procedimentos básicos mínimos em relação aos processos de avaliação

Ter a capacidade certa de avaliação 

Como toda pessoa de monitorização e avaliação sabe, a avaliação tem sido tradicionalmente marcada como o primo pobre da monitorização, e não é incomum que organizações como a nossa não tenham habilidades e experiência para desenvolver estruturas de avaliação robustas e projetos de estudo. Não é realmente uma questão de independência e credibilidade — sem dúvida a coleta, análise e interpretação dos achados de uma avaliação precisam ser conduzidos de forma independente (de uma perspetiva de responsabilidade e objetiva).

Do ponto de vista da aprendizagem e propriedade, no entanto, é claro que precisamos reconhecer e estar satisfeitos com a validade das descobertas, conclusões e recomendações, a fim de levá-las adiante para uma prática significativa e aprimorada. 

Manter a independência e a utilização dos critérios de avaliação do CAD da OCDE 

Para resolver isso, nossos CPEs - que serão conduzidos no final da estratégia de cada Programa de País - usam os critérios de eficácia, relevância, sustentabilidade, eficiência e impacto do CAD da OCDE, e são realizados por uma equipe mista de funcionários internos e consultores independentes. A chave aqui é que a análise final, recomendações e conclusões recaem com o consultor, que parece funcionar. Mas é o especialista técnico ou político da WaterAid e os membros da equipe do programa regional e nacional que oferecem uma programação valiosa, informações políticas e contextuais, e garantir a propriedade e a compra o mais longe possível. O próprio ato de se envolver na avaliação em si aumenta a confiança e a capacidade do pessoal para ser mais avaliativo. 

Como as mudanças na Estratégia Global da WaterAid afetam a avaliação?

Na WaterAid, no geral, estamos entrando em um período emocionante, mas um de mudança. À medida que focamos mais de nossos esforços em alcançar um impacto em maior escala no acesso WASH, estaremos cada vez mais trabalhando no campo do fortalecimento do setor WASH, integração com saúde e educação, política e trabalho de defesa, e o direito humano ao WASH. 

Embora acreditemos que essas mudanças fornecerão o potencial para um impacto muito maior, à medida que mais pessoas estão sendo alcançadas, os serviços serão sustentados e maiores recursos para WASH alavancados, etc., estamos efetivamente trabalhando mais longe da linha de frente - a atribuição se torna difícil, e, cada vez mais, nossa avaliação as perguntas centram-se em torno de “Quais foram as nossas contribuições para a mudança de políticas ou para o fortalecimento Que resultados foram alcançados para as comunidades mais marginalizadas? Qual é o nosso valor agregado em nosso trabalho em coligações para alcançar o acesso universal? Qual é a evidência para isto?' 

Complicado. 

Ainda bem que estamos investindo em várias novas iniciativas para medir nossa contribuição para a mudança de políticas, começando com nosso trabalho de defesa global - por exemplo, o trabalho de avaliação Healthy Start Campaign pós-2015. Uma nova abordagem para a monitorização e avaliação de políticas e iniciativas de defesa resultará em uma melhor compreensão dos métodos, ferramentas e indicadores que rastreiam e medem nosso impacto político, nosso trabalho baseado em direitos humanos e a eficácia de nosso engajamento com coligações, entre outras coisas.

Portanto, acho que para nós, neste momento, 'sem avaliações de impacto' é uma abordagem sensata. Por enquanto, pelo menos…

Para obter mais informações sobre avaliação no WaterAid, entre em contacto com lizatong@wateraid .org ou visite a nova secção monitorização e Responsabilidade>