Eine von Beginn weg gute Zusammenarbeit zwischen Evaluierenden und Auftraggebenden ist ein wichtiger Erfolgsfaktor für eine gelingende und wirkungsvolle Evaluation. Die SEVAL Arbeitsgruppe Kompetenzen hat in Zusammenarbeit mit der Arbeitsgruppe Standards eine vierteilige Dialogreihe organisiert, um Evaluierende und Auftraggebende zusammenzubringen, das gegenseitige Verständnis zu fördern und damit zu einer guten Evaluationskultur beizutragen.
Teilnehmende und Fokus der Veranstaltung
Die vierte und letzte Veranstaltung fand am 20. November am Lifelong Learning Center der Universität Bern statt. Rund 30 Evaluations-Fachpersonen, wovon etwa zwei Drittel Evaluierende und ein Drittel Auftraggebende, haben sich dazu ausgetauscht, wie Evaluationsergebnisse einen grösstmöglichen Nutzen entfalten können.
Dialogveranstaltung: «Vom Evaluationsbericht zur Valorisierung»
Bezug zu ausgewählten SEVAL-Standards
Einleitend zum Dialog hat Christian Rüefli, Leiter der SEVAL Arbeitsgruppe Standards, einige Evaluationsstandards erläutert, welche besonders relevant sind im Abschluss und in der Valorisierung einer Evaluation:
- C4 Angemessene Berichterstattung
- C5 Dokumentation der Evaluation
- C6 Zugang zu den Evaluationsergebnissen
- A4 Nutzungsorientierung
- A12 Redlichkeit
Christian Rüefli, Büro Vatter
Evaluierende sollten diese Standards als fachliche Richtschnur bei der Aufarbeitung der Evaluationsergebnisse nutzen. Sie können im Evaluationsbericht oder in einem Begleitdokument transparent machen, inwiefern diesen Standards entsprochen wurde und sie können allfällige Spannungsfelder thematisieren. Auftraggebenden können die Kriterien zur Beurteilung der Evaluationsprodukte und -ergebnisse dienen, sowie als Grundlage für fundierte Rückmeldungen und für das Verfassen einer ‘Management response’. Zudem können die Kriterien als Referenz für Meta-Evaluationen genutzt werden.
Besonders wertvoll ist es, wenn Evaluierende und Auftraggebende zum Abschluss der Evaluation ein gemeinsames Debriefing zum Evaluationsprozess und den -produkten durchführen, um Erfahrungen und Herausforderungen zu reflektieren. Im Vorfeld können Feedbacks von Beteiligten und Betroffenen dazu eingeholt werden, wie sie die Evaluation erlebt und die Umsetzung der sie betreffenden Standards wahrgenommen haben.
Good Practice Beispiele
In einem ersten Input hat Emmanuel Sangra von der Eidgenössischen Finanzkontrolle (EFK) den systematischen Umgang der EFK mit Empfehlungen aus Evaluationen vorgestellt. Evaluationsberichte der EFK umfassen rund 40 Seiten und schliessen mit 5-7 Empfehlungen ab, die sich an eindeutige Adressat:innen richten. Die Evaluationsberichte werden alle veröffentlicht und oft auch über die Medien einer breiten Öffentlichkeit zugänglich gemacht. Die Empfehlungen fokussieren auf das ‘Was’ und nicht darauf, ‘wie’ die Empfehlungen umgesetzt werden sollen – letzteres liegt in der Kompetenz der jeweiligen Ämter. Von den geprüften Ämtern, an welche sich die Empfehlungen richten, verlangt die EFK eine klare Stellungnahme dazu, ob, wie und in welchem Zeitrahmen die Empfehlungen umgesetzt werden sollen. Nach Ablauf der angegebenen Frist und nochmals nach zwei bis fünf Jahren wird die Umsetzung der Empfehlungen durch die EFK überpüft und die Ergebnisse dieser Überprüfung werden abermals veröffentlicht. Durch diese Systematik wird eine hohe Verbindlichkeit im Umgang mit Empfehlungen geschaffen und die Nutzung der Evaluationsergebnisse gezielt gefördert.
Emmanuel Sangra, Fachbereichsleiter EFK
Der zweite Input war etwas anders gelagert und fokussierte auf die Aufarbeitung von Evaluationsergebnissen. Dieter Zürcher von KEK CDC (Analyse Beratung Evaluation) hat die Webplattformwww.improve-nrp.ch vorgestellt, auf welcher die Ergebnisse und Empfehlungen der Evaluation der Neuen Regionalpolitik (NRP) 2016-2023 adressatengerecht aufbereitet sind. Das Programm Neue Regionalpolitik, welches im Auftrag des SECO umgesetzt wird, umfasst insgesamt rund 1’600 Projekte in der aktuellen Programmphase und verfügt über ein jährliches Volumen von rund 100 Millionen Franken. Entsprechend war die kommunikative Aufarbeitung der Evaluationsergebnisse von Beginn weg integraler Teil des Auftrags und im Pflichtenheft so verlangt. Auf der Plattform www.improve-nrp.ch mit Akkordeon-Design werden die Evaluationsergebnisse multimedial präsentiert, mit attraktiven Grafiken illustriert, und die Empfehlungen werden einzeln mit Stellungnahme der Trägerschaft vorgestellt. Ein unterhaltsames Video im Stile von «Glanz & Gloria» rundet die Präsentation der Ergebnisse und Empfehlungen ab.
Dieter Zürcher, KEK-CDC
In einer von Björn Neuhaus moderierten, lebhaften Fishbowl wurden die beiden Beispiele reflektiert und davon ausgehend Fragen der Valorisierung diskutiert.
Einige Aspekte der Diskussion sollen herausgegriffen werden:
- Zentraler Erfolgsfaktor bei der Valorisierung von Evaluationsergebnissen ist das Commitment des Managements auf Seite der Adressat:innen der Ergebnisse und Empfehlungen. Ein systematischer Umgang mit Empfehlungen beispielsweise mittels Management Response und Überprüfung der Umsetzung von Empfehlungen, so wie es in der EFK umgesetzt wird, ist bisher nicht Standard, auch wenn Organisationen zunehmend Schritte in diese Richtung unternehmen. Die SEVAL könnte diesbezüglich stärkere Orientierung geben und beispielsweise klare Standards für den Umgang mit Empfehlungen formulieren.
- Um die Angemessenheit und Realisierbarkeit von Empfehlungen zu steigern und deren Umsetzung zu fördern, bietet sich der Einbezug von Adressat:innen bei der Erarbeitung oder Diskussion von Empfehlungen an.
Diskussion in der Fishbowl
- Es ist die Tendenz feststellbar, dass Auftraggebende zunehmend kürzere Evaluationsberichteverlangen, dass der kommunikativen Aufarbeitung der Evaluationsergebnisse mehr Beachtung geschenkt wird und dass Auftraggebende vermehrt eine Mitwirkung der Evaluierenden bei der Valorisierung in Ausschreibungen resp. Mandate aufnehmen. Es scheint unbestritten, dass die Evaluationsergebnisse gut kommuniziert werden müssen und dass die Valorisierung der Ergebnisse frühzeitig resp. bereits bei der Mandatierung angedacht werden soll.
- Es ist aber unklar, ob und in welchem Rahmen sich Evaluierende an einer über den Bericht hinausgehenden kommunikativen Aufarbeitung der Evaluationsergebnisse beteiligen sollen. Während einige Teilnehmende finden, dass Evaluierende aufgrund der vertieften Kenntnis der Ergebnisse an einer entsprechenden Aufarbeitung mitwirken sollen, sehen andere den Auftrag der Evaluation mit der Abgabe des Schlussberichtes als beendet und sie wünschen sich hier eine klare Rollentrennung, auch um die Unabhängigkeit der Evaluation nicht zu gefährden. Selbst wenn Evaluierende über gute Kommunikationskompetenzen verfügen sollen (vgl. Kompetenzanforderungen an Evaluierende), haben sie doch andere Kernkompetenzen als Kommunikationsfachleute oder Grafiker:innen.
- Es wird das Spannungsfeld diskutiert, dass von Evaluierenden einerseits fundierte, detaillierte und gut nachvollziehbar hergeleitete Ergebnisse verlangt werden und diese andererseits auf immer weniger Seiten mit attraktiven Abbildungen dargestellt werden sollen. Dieses Spannungsfeld zwischen Verdichtung und Nachvollziehbarkeit soll mit Auftraggebenden in der Vertragsphase diskutiert werden. Ein möglicher Weg kann sein, einen eher kurzen, öffentlichkeitstauglichen Evaluationsbericht mit einem Detailbericht zu ergänzen, welcher die Methodik und die Ergebnisse ausführlicher beschreibt.
- Es wird auf das Risiko von Verzerrungen hingewiesen, wenn Auftraggebende Evaluationsergebnisse selbst aufbereiten und dabei potenziell selektiv vorgehen. In diesem Zusammenhang wird betont, wie wichtig es ist, dass der Originalbericht der Evaluation öffentlich und gut zugänglich ist.
- In der Diskussion wird immer wieder die Unabhängigkeit externer Evaluierender thematisiert, welche in zu engen Zusammenarbeiten potenziell gefährdet ist. Es ist wichtig, dass bei externen Evaluationen die Verantwortung für die Evaluationsergebnisse und die Empfehlungen bei den Evaluierenden bleibt, und zwar auch bei nicht genehmen Ergebnissen. Im Gegensatz dazu liegt die Verantwortung für die Valorisierung der Ergebnisse in der Regel bei der Auftraggeberschaft und Evaluierende müssen die Erlaubnis einholen, wenn sie selbständig über eigene Kommunikationskanäle, beispielsweise über Social Media, über die Evaluationsergebnisse berichten.
Fazit und Ausblick
Die Diskussionen in diesem Dialog, aber auch in den vorangegangenen Veranstaltungen, haben gezeigt, dass die Weiterentwicklung der Evaluationskultur eine fachliche Orientierung braucht. Einerseits eignen sich die SEVAL-Standards bestens als Referenz in entsprechenden Aushandlungen. Andererseits trägt der Dialog dazu bei, neue Themen aufzugreifen, sich abzustimmen und Orientierung zu schaffen. Die Teilnehmenden dieser letzten Veranstaltung wünschen sich, dass der Dialog zwischen Evaluierenden und Auftraggebenden in der einen oder anderen Form weitergeführt wird, als Beitrag an eine tragfähige Evaluationskultur. Die AG Kompetenzen nimmt dies gerne so entgegen.
Günter Ackermann & Stefanie Krapp (SEVAL AG Kompetenzen)
Christian Rüefli (SEVAL AG Standards)