Newsletter no. 42, Juli 2025

Innovation findet in allen Bereichen des Lebens statt: Von der Wirtschaft über die Umwelt bis hin zum Bildungs- und Gesundheitssystem. Gefördert wird Innovation mit unterschiedlichsten Mitteln wie beispielsweise Innovationsförderprogrammen, Experimentierartikeln oder Pilotprojekten. Der SEVAL-Jahreskongress beleuchtet die Frage, wie Innovation und innovative Ansätze in diversen Politikbereichen evaluiert werden können und wie Evaluation das Lernen daraus unterstützen kann. Im Fokus stehen dabei die Herausforderungen und Möglichkeiten zur Bewertung von Innovationsprozessen. Verschiedene Methoden und Ansätze zur Beurteilung des Erfolgs und der Wirkung von Innovationsvorhaben werden vorgestellt. Erfolgreiche Fallstudien aus unterschiedlichen Bereichen und aus dem Ausland werden präsentiert, um bewährte Praktiken und Lessons Learned zu teilen. Ziel ist es, ein umfassendes Verständnis dafür zu entwickeln, wie Innovationen in verschiedenen Politikbereichen effektiv und im besten Fall auch noch innovativ evaluiert und optimiert werden können.

Mehr Informationen zum Kongress und das Anmeldeformular finden Sie hier: Jahreskongress 2025

Die aktuelle Strategie der SEVAL läuft Ende dieses Jahres aus, und der Vorstand hat mit der Erarbeitung der neuen Strategie begonnen. Dabei wurde bewusst die Gelegenheit genutzt, die Mitglieder der SEVAL in diesen Prozess einzubeziehen. Anfang 2025 wurden sie eingeladen, sich zur Zielerreichung und zur Relevanz der in der Strategie 2022–2025 definierten Massnahmen zu äussern sowie ihre Erwartungen und Vorschläge für die Zukunft einzubringen. Über 50 Personen haben ihre Überlegungen, die erkannten Herausforderungen und die Schwerpunkte, die sie in der nächsten Strategie berücksichtigt sehen möchten, mitgeteilt.

Die Ergebnisse fielen sehr positiv aus: 56% der Befragten sind der Meinung, dass das Ziel „Stärkung der Position als Fachverein“ erreicht oder eher erreicht wurde. 58% sehen dies auch für das Ziel „Ausbau von Angeboten zur Stärkung der Qualität und Qualitätssicherung von Evaluationen“ so. Verbesserungspotenzial wurde hingegen beim Ziel „Förderung und Nachweis von Kompetenzen“ festgestellt: 35% gaben an, dieses Ziel sei (eher) nicht erreicht worden, und 27% fühlten sich nicht in der Lage, dies zu beurteilen.

Auch die meisten Massnahmen werden als relevant eingeschätzt, da die Befragten die Mehrheit der aktuell umgesetzten Massnahmen beibehalten möchten. Zu den Massnahmen, die aus Sicht der Befragten weiterentwickelt werden sollten, gehören insbesondere der Austausch bewährter Praktiken (65%), die externe Kommunikation (53%) sowie die Förderung neuer Forschungsprojekte (45%). Erwähnenswert ist, dass 29% der Befragten der Ansicht sind, dass es den Prix SEVAL nicht mehr braucht – hier wird es möglicherweise weiteren Klärungsbedarf geben.

Viele neue Projektideen wurden ebenfalls eingebracht – darunter beispielsweise die Sensibilisierung für Evaluation auf politischer Ebene, Auswirkungen der Digitalisierung und künstlichen Intelligenz, oder Weiterbildungsangebote. Zu den identifizierten Herausforderungen zählen insbesondere der Budgetdruck in der Verwaltung, die Sichtbarkeit der SEVAL in der gesamten Schweiz, das freiwillige Engagement der Mitglieder sowie internationale Trends, die evidenzbasierte Politik in Frage stellen.

Auf dieser Grundlage haben sich Ende April Vorstandsmitglieder, Arbeitsgruppenleitende sowie interessierte Mitglieder im Rahmen eines Online-Workshops getroffen, um die Leitlinien der künftigen Strategie 2026–2029 zu konkretisieren. Der Austausch war reichhaltig und konstruktiv – der Vorstand bedankt sich herzlich bei allen Teilnehmenden für ihr Engagement.

Die Planungsgruppe – bestehend aus Hanja Blendin, Laurent Crémieux, Cornelia Hänsli Marrei und Marion Baud-Lavigne – hat mit der Ausarbeitung der neuen Strategie begonnen und wird eine erste Version dem Vorstand, den Arbeitsgruppenleitenden sowie den Teilnehmenden des Workshops zur Rückmeldung vorlegen, um sicherzustellen, dass die Strategie den geäusserten Erwartungen entspricht. Die fertige Strategie 2026–2029 wird der Generalversammlung vorgelegt.

***

🎯 Aktueller Stand – Alle Teilnehmenden nutzen KI mindestens einmal pro Woche – jedoch sehr unterschiedlich, ohne dass sich bisher klare Standards etabliert hätten. Dennoch konnten rund zwanzig KI-Tools identifiziert werden, die hauptsächlich zur Textkorrektur, Informationsrecherche, Transkription sowie zur Unterstützung qualitativer und quantitativer Textanalysen verwendet werden.

🔍 Verwendete KI-Tools – Eine breite Palette an KI-Tools wird von den Teilnehmenden in der Evaluation und den angewandten Sozialwissenschaften bereits genutzt, u.a. für die automatische Transkription von Interviews (z. B. Teams, Töggel, Read AI) und die Textanalyse (MaxQDA AI); die Korrektur, Zusammenfassung, Verbesserung und Übersetzung von Texten (DeepL Write, DeepL, Grammarly); die Informationsrecherche (Perplexity, Claude AI, ChatGPT, Copilot, Mistral AI) sowie zur Erhebung des Forschungsstands in einem bestimmten Bereich (Consensus, Scispace); zur Informationszusammenfassung (ChatPDF, Scispace) und beim Schreiben (Avidnote, Scispace, jenni ai, Paperpal); sowie für Visualisierungen und Bildgenerierung (Napkin, DallE).

💡 Mögliche Anwendungen in der Evaluation – Die Teilnehmenden verglichen ihre Praxis mit ersten Erkenntnissen der SEVAL-Arbeitsgruppe zu KI sowie mit der Expertise von Jan Ulrich Hense (2025)[2], der in seiner Publikation konkrete Anwendungsfälle präsentiert. Einige Anwendungen überschneiden sich, andere sind noch wenig verbreitet: Textgenerierung und -überarbeitung, Literaturrecherche und -zusammenfassung, Ideengenerierung, Literaturreviews, Wirkmodell-Erstellung, Fragebogendesign, Transkription, qualitative und quantitative Datenanalyse sowie Visualisierungen.

🕵️‍♂️ Herausforderungen – Die grössten Herausforderungen aus Sicht der JEE betreffen die Validität der Quellen und KI-Halluzinationen, was eine sorgfältige Überprüfung der generierten Inhalte erfordert. Der Datenschutz stellt eine weitere grosse Herausforderung dar und wirft Fragen zur Datenspeicherung auf, deren Klärung optimalerweise eine engere Zusammenarbeit mit IT-Fachpersonen erfordert.

🧰 Erste Empfehlungen – Die Nutzung von KI lässt sich durch präzise Formulierung der Prompts und Aufteilung in kleinere, spezifische Einheiten optimieren. Ein Teilen häufig verwendeter Prompts innerhalb einer Organisation könnte deren Zugänglichkeit verbessern und die Resultate optimieren. Eine engere Zusammenarbeit mit IT-Expert:innen scheint zudem sinnvoll, um den Datenschutz zu gewährleisten. Schliesslich wird es zunehmend als sinnvoll erachtet, die Verwendung von KI in Evaluationsprojekten klar auszuweisen, um die berufliche Integrität zu wahren.

Diese Veranstaltung hat das wachsende Interesse an KI im Evaluationsbereich bestätigt und zugleich die Bedeutung von kritischem Denken sowie einer ethisch reflektierten Verwendung dieser Tools hervorgehoben. Es zeigt sich zudem ein noch weitgehend ungenutztes Potenzial sowie der Wunsch, die bestehenden Möglichkeiten besser zu beherrschen. Ein nächstes Treffen der Swiss JEE ist für Ende 2025 geplant, um sich über die bis dahin gemachten Erfahrungen auszutauschen. Alle Interessierten sind herzlich willkommen!

KI-Nutzungserklärung:
Zur Erstellung dieses Berichts und als Übung haben wir zunächst die PowerPoint-Präsentation der Veranstaltung in Claude AI und ChatGPT hochgeladen. Anschliessend baten wir beide KIs, eine Zusammenfassung von 300 Wörtern für eine SEVAL-Publikation zu erstellen. Ausgehend von den besten Auszügen beider KI-Systeme wurde der Text durch eine menschliche Autorin/einen menschlichen Autor überarbeitet und ergänzt. Danach wurde er mit DeepL Write korrigiert und vereinfacht sowie abschliessend von einem zweiten menschlichen Autor gegengelesen. Schliesslich wurde der Text mit ChatGPT ins Deutsche übersetzt und vom deutschsprachigen Zweitautor sorgfältig überarbeitet. Dieser Ansatz ermöglichte eine umfassendere Darstellung, half über anfängliche Schreibblockaden hinweg und führte zu einer schnelleren Fertigstellung.

[1] Hense, Jan Ulrich (2025). Anwendungen Künstlicher Intelligenz in der Evaluation: Stand von Forschung und Praxis. PrEval Expertise 1/2025, Frankfurt/M. https://preval.hsfk.de/publikationen/preval-expertisen/expertise-1/2025

[2] Hense, Jan Ulrich (2025). Anwendungen Künstlicher Intelligenz in der Evaluation: Stand von Forschung und Praxis. PrEval Expertise 1/2025, Frankfurt/M. https://preval.hsfk.de/publikationen/preval-expertisen/expertise-1/2025

Zu Beginn der Veranstaltung wurde auf die SEVAL-Standards hingewiesen, welche in der Umsetzungsphase von Evaluationen von besonderer Bedeutung sind (die Arbeitsgruppe Standards wählt jeweils relevante Standards zusammen und bringt sie in den Dialog ein):

In einem zweiten kurzen Input stellte Reinhard Zweidler die SEVAL-Beratungsstelle vor, welche Fachpersonen in Evaluationsfragen berät und u.a. auch bei Konflikten zwischen Evaluator:innen und Auftraggebenden Unterstützung bietet.

Anschliessend wurde der Dialog in Kleingruppen geführt. In jeder Gruppe wurden Herausforderungen in der Zusammenarbeit zwischen Evaluierenden und Auftraggebenden gesammelt und reflektiert. Dabei kamen folgende Themen zur Sprache:

–        Versuchte Einflussnahme von Auftraggebenden auf Evaluationsergebnisse, erwartete oder gar angebotene Beschönigung von Evaluationsergebnissen.

–        Ungenügende Evaluationskompetenzen von Auftraggebenden, insbesondere von Stellen, die nur punktuell Evaluationen durchführen lassen.

–        Zu aktive, einmischende Begleitung von Evaluationen durch Auftraggebende.

–        Umgang mit unvorhersehbaren Entwicklungen im Evaluationsprozess. Forderung, dass am Evaluationsvertrag festgehalten wird, auch wenn dies aufgrund der Entwicklungen nicht mehr sinnvoll erscheint. Auf der anderen Seite: Umgang mit Vertragsbrüchen.

–        Unzufriedenheit von Auftraggebenden mit spezifischen Kompetenzen von Evaluierenden.

Jeweils eine Person brachte eine Herausforderung in die Kleingruppe ein und beschrieb die Situation detailliert. Nach Rückfragen reflektierte die Gruppe in kollegialer Beratung den Fall und entwickelte Lösungsansätze und Anregungen für den Umgang mit der jeweiligen Herausforderung.

Die folgende Diskussion im Plenum zeigte, wie wichtig der Dialog zwischen Auftraggebenden und Evaluierenden ist, um gemeinsam eine Evaluationskultur weiter zu entwickeln, das gegenseitige Verständnis zu fördern und entsprechende Kompetenzen auszubauen. Bedarf wird insbesondere in der Qualifizierung von Auftraggebenden gesehen, die nur sporadisch mit Evaluationen in Berührung kommen, die neu in diesem Feld sind und in Institutionen arbeiten, in denen der Umgang mit Evaluationen noch nicht systematisiert ist. Eine Schwierigkeit besteht allerdings darin, dass gerade diese Personen nur schwer für entsprechende Dialoge und Qualifizierungsangebote gewonnen werden können, da Evaluation oft nur ein sehr kleiner Teil ihres Aufgabenbereichs ausmacht.

The Energy Evaluation Europe Conference on 25.-26. September 2025 in Berlin will be zooming in on the latest trends in methodological and technical developments, but also on implementation science and evidence-based policy making because this evidence is the decision maker’s best resource to react to today’s challenges with efficient and effective approaches. More information on the European Evaluation Society website.