Une bonne collaboration dès le départ entre évaluateurs et mandants est un facteur de succès important pour une évaluation réussie et efficace. Le groupe de travail Compétences de la SEVAL, en collaboration avec le groupe de travail Standards, a organisé une série de quatre réunions dialogues pour réunir évaluateurs et mandants, favoriser la compréhension mutuelle et ainsi contribuer à une bonne culture de l’évaluation.
Participants et focus de l’événement
La quatrième et dernière rencontre a eu lieu le 20 novembre au Lifelong Learning Center de l’Université de Berne. Environ 30 professionnels de l’évaluation, dont environ deux tiers d’évaluateurs et un tiers de mandants, ont échangé sur la manière dont les résultats d’évaluation peuvent déployer un bénéfice maximal.
Dialogue « Du rapport d’évaluation à la valorisation »
Référence à une sélection de standards SEVAL
En introduction au dialogue, Christian Rüefli, responsable du groupe de travail Standards de la SEVAL, a présenté quelques standards d’évaluation particulièrement pertinents dans la conclusion et la valorisation d’une évaluation :
- C4 Communication adéquate des résultats
- C5 Documentation de l’évaluation
- C6 Accès aux résultats de l’évaluation
- A4 Orientation vers l’utilisation
- A12 Loyauté
Christian Rüefli, Büro Vatter
Les évaluateurs devraient utiliser ces standards comme ligne directrice lors du traitement des résultats d’évaluation. Ils peuvent indiquer de manière transparente dans le rapport d’évaluation ou dans un document d’accompagnement dans quelle mesure ces standards ont été respectés et peuvent thématiser d’éventuels points de tension. Pour les mandants, les critères peuvent servir à l’appréciation des produits et résultats de l’évaluation, ainsi que de base pour des retours fondés et pour la rédaction d’une « réponse de la direction ». De plus, les critères peuvent être utilisés comme référence pour des méta-évaluations.
À la fin de l’évaluation, un débriefing commun entre les évaluateurs et les mandants sur le processus d’évaluation et ses résultats peut s’avérer particulièrement précieux, afin de réfléchir aux expériences et défis relevés. En amont, des feedbacks des parties prenantes et personnes concernées peuvent également être recueillis sur la manière dont elles ont vécu l’évaluation et ont perçu la mise en œuvre des standards les concernant.
Exemples de bonnes pratiques
Dans une première intervention, Emmanuel Sangra du Contrôle fédéral des finances (CDF) a présenté la gestion systématique du CDF des recommandations issues des évaluations. Les rapports d’évaluation du CDF comptent environ 40 pages et se terminent par 5-7 recommandations qui s’adressent à des destinataires clairement identifiés. Les rapports d’évaluation sont tous publiés et souvent rendus accessibles à un large public via les médias. Les recommandations se concentrent sur le « quoi » et non sur le « comment » les recommandations doivent être mises en œuvre – ce dernier point relève de la compétence des offices respectifs. Des offices contrôlés, auxquels s’adressent les recommandations, le CDF exige des offices contrôlés une prise de position claire sur si, comment et dans quel délai les recommandations doivent être mises en œuvre. Après l’expiration du délai indiqué et à nouveau après deux à cinq ans, la mise en œuvre des recommandations est vérifiée par le CDF et les résultats de cette vérification sont à nouveau publiés. Cette systématique crée un haut niveau d’engagement dans le traitement des recommandations et favorise l’utilisation des résultats d’évaluation de manière ciblée.
Emmanuel Sangra, Responsable des évaluations du CDF
La deuxième intervention abordait un autre aspect en se concentrant sur le traitement des résultats d’évaluation. Dieter Zürcher de la KEK CDC (Analyse Conseil Évaluation) a présenté la plateforme www.improve-nrp.ch, sur laquelle les résultats et recommandations de l’évaluation de la Nouvelle politique régionale (NPR) 2016-2023 sont présentés de manière adaptée aux destinataires. Le programme Nouvelle politique régionale, qui est mis en œuvre sur mandat du SECO, comprend au total environ 1’600 projets dans la phase actuelle de programme et dispose d’un montant annuel d’environ 100 millions de francs. En conséquence, le traitement au niveau de la communication des résultats d’évaluation faisait dès le départ partie intégrante du mandat et était ainsi exigé dans le cahier des charges. Sur la plateforme www.improve-nrp.ch, les résultats d’évaluation sont présentés de manière interactive, avec un design en accordéon, des graphiques attrayants, les recommandations présentées individuellement avec la prise de position de l’organisation porteuse. Une vidéo dans le style de « Glanz & Gloria » complète la présentation des résultats et recommandations.
Dieter Zürcher, KEK-CDC
Dans un fishbowl animé et modéré par Björn Neuhaus, les deux exemples ont été abordés et les questions de valorisation des résultats ont ainsi été explorées.
Quelques aspects de la discussion méritent d’être soulignés :
- Le facteur de succès central dans la valorisation des résultats d’évaluation est l’engagement de la direction du côté des destinataires des résultats et recommandations. Une gestion systématique des recommandations, par exemple au moyen d’une réponse de la direction et d’une vérification de la mise en œuvre des recommandations, comme c’est le cas au CDF, n’est pas encore standard, même si les organisations entreprennent de plus en plus de démarches dans cette direction. La SEVAL pourrait donner une orientation plus forte à cet égard et, par exemple, formuler des standards clairs pour le traitement des recommandations.
- Pour augmenter la pertinence et la faisabilité des recommandations et favoriser leur mise en œuvre, il serait opportun d’impliquer les destinataires dans l’élaboration ou la discussion des recommandations.
Discussion du Fishbowl
- On constate les tendances suivantes :
– les mandants demandent de plus en plus des rapports d’évaluation plus courts,
– une plus grande attention est accordée à la communication des résultats d’évaluation,
– les mandants incluent de plus en plus souvent une participation des évaluateurs à la valorisation dans les appels d’offres resp. mandats.
Tout le monde s’accorde ainsi sur le fait que les résultats d’évaluation doivent être bien communiqués et que la valorisation des résultats doit être pensée précocement resp. dès l’attribution du mandat.
- La manière dont les évaluateurs devraient participer à la communication des résultats d’évaluation n’est néanmoins pas univoque. Certains participants estiment que les évaluateurs devraient participer au travail de communication en raison de leur connaissance approfondie des résultats, d’autres considèrent que le mandat d’évaluation est terminé avec la remise du rapport final et souhaitent ici une séparation claire des rôles, également pour ne pas mettre en danger l’indépendance de l’évaluation. Même si les évaluateurs doivent disposer de bonnes compétences en communication (cf. exigences de compétences pour les évaluateurs), ils ont cependant d’autres compétences clés que les professionnels de la communication ou les designers.
- Un domaine de tension a été mis en avant : d’une part, on demande aux évaluateurs des résultats fondés, détaillés et compréhensibles, et d’autre part, ceux-ci doivent être présentés sur de moins en moins de pages avec des illustrations attrayantes. Ce point de tension entre concision et compréhensibilité doit être discuté avec les mandants lors de la phase contractuelle. Une voie de résolution possible pourrait être de compléter un rapport d’évaluation plutôt court, destiné au grand public, avec un rapport détaillé qui décrit plus exhaustivement la méthodologie et les résultats.
- On a attiré l’attention sur le risque de biais lorsque les mandants traitent eux-mêmes les résultats d’une évaluation et peuvent ainsi procéder de manière potentiellement manière sélective. Dans ce contexte, il a été souligné combien il était important que le rapport original de l’évaluation reste public et accessible.
- Dans la discussion, l’indépendance des évaluateurs externes a régulièrement été thématisée, celle-ci étant potentiellement mise en danger dans des collaborations trop étroites. Il est important que pour les évaluations externes, la responsabilité des résultats d’évaluation et des recommandations reste chez les évaluateurs, et ce, même pour des résultats non agréables. En revanche, la responsabilité de la valorisation des résultats incombe généralement aux mandants et les évaluateurs doivent obtenir la permission s’ils souhaitent rendre compte de manière autonome des résultats d’évaluation via leurs propres canaux de communication, par exemple via les réseaux sociaux.
Conclusion et perspectives
Les discussions de ce dialogue, mais aussi celles des événements précédents, ont montré que le développement de la culture de l’évaluation nécessite une orientation professionnelle. Les standards SEVAL apparaissent comme un outil de référence parfaitement adapté. D’autre part, le dialogue contribue à aborder de nouveaux thèmes, à s’accorder et à créer une orientation commune. Les participants à cette dernière rencontre souhaitent que le dialogue entre évaluateurs et mandants se poursuive sous une forme ou une autre, afin de contribuer à une culture de l’évaluation solide. Le GT Compétences prend volontiers note de ce souhait.
Günter Ackermann & Stefanie Krapp (GT Compétences SEVAL), Christian Rüefli (GT Standards SEVAL)