Suivi et évaluation des activités WASH en évolution

Si je recevais 1 £ à chaque fois que quelqu'un soulève la question de l'évaluation d'impact et de sa pertinence ou non pour les ONG internationales, je serais probablement en mesure d'en financer une.

L'analyse adéquate de l'impact implique une évaluation « contre-factuelle de ce qu'auraient été les résultats en l'absence de l'intervention ». Donc en tant que responsable de programme dans le domaine du suivi et de l'évaluation, c'est le dilemme auquel je suis confronté. Nous voulons connaître les résultats, les effets et les changements de vie auxquels nous contribuons, mais, en tant qu'ONG, l'inaccessible évaluation d'impact de référence, ainsi que la rigueur scientifique et les coûts des essais de contrôle aléatoires, sont tout simplement hors de notre portée. 

Mais la question qui se pose vraiment est la suivante : est-ce sur ce genre d'activités que des organisations comme WaterAid devraient concentrer leur temps et leurs ressources limitées ? Ou devrions-nous plutôt faire ce que nous faisons le mieux, c'est-à-dire essayer de parvenir à l'accès universel à des services WASH durables pour les personnes les plus vulnérables et marginalisées ? 

Nous devons être pragmatiques 

Toutefois, nous devrions réaliser davantage d'« évaluations dans le monde réel ». L'un de mes mentors en matière d'évaluation, Jim Rugh, avait l'habitude de dire : « Pensez toujours comme un évaluateur : nous devrions continuellement nous demander si nous faisons ce qu'il faut, tester nos hypothèses et ce que nous réalisons, mais soyez pragmatiques quant aux contraintes de temps et de ressources ». D'où l'importance de réaliser des évaluations conçues pour être adaptées à l'objectif, avec des preuves et des analyses claires. 

Il y a également la question de la redevabilité : qu'entendons-nous par là, et d'où viennent les preuves qui nous permettent de nous assurer, à nous et aux autres, que nous réalisons réellement des changements positifs pour nos communautés les plus marginalisées ? 

Mesurer et prouver le changement est une responsabilité, et fait partie des tâches qui incombent à plusieurs équipes de WaterAid UK. La pertinence et l'efficacité de notre travail pour les programmes nationaux sont au centre de nos évaluations des programmes pays. L'objectif du travail global que nous effectuons au centre n'existe que pour soutenir l'endroit où le véritable travail se fait, au niveau du pays. En l'occurrence, notre rôle central au sein de WaterAid UK est de développer de bons processus, systèmes et outils pour soutenir les bonnes pratiques en matière d'évaluation, et de veiller à ce que l'échange de connaissances et l'apprentissage Sud-Sud entre nos programmes nationaux aient lieu. Nous sommes en train de revoir nos principales procédures minimales en ce qui concerne les processus d'évaluation.

Avoir de bonnes capacités d'évaluation 

Comme toute personne chargée du suivi et de l'évaluation le sait, l'évaluation est traditionnellement considérée comme le parent pauvre du suivi, et il n'est pas rare que des organisations comme la nôtre manquent de compétences et d'expérience pour développer des cadres d'évaluation et des plans d'étude solides. Il ne s'agit pas vraiment d'une question d'indépendance et de crédibilité : il ne fait aucun doute que la collecte, l'analyse et l'interprétation des résultats d'une évaluation doivent être menées de manière indépendante (du point de vue de la redevabilité et de l'objectivité). 

Du point de vue de l'apprentissage et de l'appropriation, cependant, il est clair que nous devons nous approprier et être satisfaits de la validité des résultats, des conclusions et des recommandations afin de les mettre en pratique de manière significative et améliorée. 

Conserver l'indépendance et utilisation des critères d'évaluation de l'OCDE-CAD 

Pour y remédier, nos évaluations des programmes pays, qui seront menées vers la fin de la stratégie de chaque programme national, utilisent les critères d'efficacité, de pertinence, de pérennité, d'efficience et d'impact de l'OCDE-CAD, et sont réalisées par une équipe mixte, composée de personnel interne et de consultants indépendants. La clé ici est que l'analyse, les recommandations et les conclusions finales reviennent au consultant, ce qui semble fonctionner. Mais c'est le spécialiste technique ou politique de WaterAid et les membres de l'équipe chargée des programmes régionaux et nationaux qui offrent des perspectives précieuses en matière de programmation, de politiques et de contexte, et assurent l'appropriation et l'adhésion dans la mesure du possible. Le fait même d'être impliqué dans le processus d'évaluation renforce la confiance et la capacité du personnel à être plus évaluatif. 

Comment les changements dans la stratégie globale de WaterAid affectent-ils l'évaluation ?

Chez WaterAid, nous entrons globalement dans une période passionnante, mais une période de changement. Alors que nous concentrons davantage nos efforts sur l'obtention d'un impact à plus grande échelle en matière d'accès à l'eau, à l'assainissement et à l'hygiène, nous travaillerons de plus en plus dans le domaine du renforcement du secteur WASH, de l'intégration à la santé et l'éducation, des politiques et du plaidoyer, et des droits de l'homme d'accès à l'eau, à l'assainissement et à l'hygiène. 

Bien que nous soyons convaincus que ces changements offrent la possibilité d'un impact beaucoup plus important, étant donné que davantage de personnes sont touchées, que les services seront maintenus et que des ressources plus importantes seront mobilisées pour le programme WASH, etc., nous travaillons effectivement plus loin de la ligne de front : l'attribution devient difficile et, de plus en plus, nos questions d'évaluation se concentrent sur les points suivants : « Quelles ont été nos contributions au changement de politiques ou au renforcement du secteur ? Quels résultats ont été obtenus pour les communautés les plus marginalisées ? Quelle est notre valeur ajoutée dans notre travail au sein des coalitions pour parvenir à l'accès universel ? Quelles sont les preuves de cette valeur ajoutée ? 

Ce sont des questions délicates. 

C'est donc une bonne chose que nous investissions dans un certain nombre de nouvelles initiatives pour évaluer notre contribution au changement de politiques, en commençant par notre travail de plaidoyer mondial, par exemple, le travail d'évaluation post-2015 de la campagne Healthy Start. Une nouvelle approche du suivi et de l'évaluation des initiatives de politiques et de plaidoyer permettra de mieux comprendre les méthodes, les outils et les indicateurs qui permettent de suivre et d'évaluer notre impact politique, notre travail basé sur les droits de l'homme et l'efficacité de notre engagement auprès des coalitions, entre autres. 

Je pense donc que pour nous, à ce stade, « pas d'évaluation d'impact » est une approche raisonnable. Du moins, pour l'instant…

Pour en savoir plus sur l'évaluation à WaterAid, contactez [email protected] ou visitez la nouvelle section Suivi et redevabilité >