Vom 22. bis 24. September 2027 laden die SEVAL und die DeGEval – Gesellschaft für Evaluation e.V. zur gemeinsamen Jahrestagung in Freiburg im Breisgau (Deutschland) ein.
Unter dem Thema «AI and Evaluation – Towards a new era or back to the roots» feiern wir gleichzeitig das 30-jährige Bestehen der DeGEval. Der Call for Proposals ist eröffnet: Sie haben bis zum 9. März 2027 Zeit, Ihre Beiträge auf Deutsch, Französisch oder Englisch einzureichen.
KI und Evaluation: neue Ära oder zurück zu den Wurzeln?
Künstliche Intelligenz beflügelt viele Zukunftsfantasien. Eine allgemeine KI gibt es jedoch noch nicht: Heute prägen vor allem grosse Sprachmodelle, maschinelles Lernen und Automatisierung die Debatten und die Praxis. Umso wichtiger ist es, genau zu benennen, von welchen Anwendungen die Rede ist.
Die erste Euphorie scheint zudem verflogen, die Ernüchterung wächst: Algorithmen, die gelernt haben zu diskriminieren, soziale Medien, die mit psychischen Problemen und paradoxerweise mit zunehmender Isolation in Verbindung gebracht werden, Sprachmodelle, die «halluzinieren», und ein Internet, das sein Versprechen einer freieren und gerechteren Welt nicht eingelöst hat.
Die Evaluation spielt in diesen Diskussionen eine zentrale Rolle. KI und Evaluation teilen den Anspruch zu lernen, die eine auf Seiten der Maschine, die andere auf Seiten des Menschen. Man könnte daraus schliessen, dass sich selbst optimierende Systeme die Evaluation früher oder später überflüssig machen. Diese Annahme wirft jedoch bekannte Probleme auf. Eine KI, die sich selbst evaluiert, hat keinen Grund, neutral zu sein: Die Forschung zeigt bereits, dass grosse Sprachmodelle dazu neigen, es den Menschen recht machen zu wollen. Was geschieht, wenn KI-Tools andere KI-Tools evaluieren oder wenn Menschen KI-Tools evaluieren, ohne dass ein gemeinsames Verständnis gewährleistet ist? Und ist es normativ vertretbar, dass KI Menschen und ihr Verhalten evaluiert, etwa in der Kinderbetreuung, der Bildung oder der Pflege?
Das Thema umfasst somit ein breites Spektrum an Fragen. Manche sind ganz praktisch, etwa wie sich KI-Tools in eine Evaluation integrieren lassen. Andere betreffen Datensicherheit und Datenschutz oder die jeweilige Rolle von KI und Mensch in der Gesellschaft. Wieder andere sind empirisch und richten sich auf die beabsichtigten und unbeabsichtigten Wirkungen dieser Tools auf Menschen, Organisationen und Verfahren.
Die Jahrestagung bündelt die vielen Stränge dieser Diskussion. Diese wurde bereits in einzelnen Sessions, an Frühjahrstagungen mehrerer Arbeitskreise und in der im Frühjahr 2026 gegründeten Ad-hoc-Gruppe angestossen. Ziel ist eine Standortbestimmung der Evaluation im digitalen Zeitalter und ein Ausblick auf ihre Weiterentwicklung.
Die zentralen Fragen der Jahrestagung
- Wie wirkt sich KI auf die Routinen, die Professionalisierung und die Standards der Evaluation aus?
- Welche Mythen ranken sich um KI-Anwendungen (z. B. in Bezug auf Ressourceneinsparungen)?
- Welche Lehren lassen sich aus den beabsichtigten und unbeabsichtigten Folgen des KI-Einsatzes in Evaluationen ziehen?
- Welche ethischen Probleme wirft der Einsatz von KI in der Evaluation auf?
- Wie sieht KI-gestützte Arbeit in Evaluationsprojekten aus, und welche Formen der Interaktion kommen zum Einsatz (vom Human-in-the-Loop bis zu evaluativer KI, die andere KI-Anwendungen bewertet)?
- Inwiefern haben KI-Anwendungen die Erwartungen von Auftraggebenden und Evaluierenden verändert?
- Welche theoretischen Konzepte werden genutzt, um KI-Anwendungen und Menschen in Evaluationssettings zusammenzubringen?
Ein Idea-Workshop bietet zudem Raum für den Austausch von Praxiserfahrungen:
- Welche KI-Tools haben Ihre Evaluationspraxis wesentlich verändert, und warum?
- Was ist Ihr wichtigster Prompt, und warum?
- Welche Empfehlungen würden Sie anderen Evaluierenden geben, damit ihnen manche schmerzhafte Erfahrung erspart bleibt?
Wie können Sie teilnehmen?
Es gibt zwei Kategorien von Beiträgen:
- Beiträge zum Tagungsthema, die KI und Evaluation wissenschaftlich, reflexiv oder praktisch behandeln, aus einer möglichst interdisziplinären und politikfeldübergreifenden Perspektive;
- allgemeine Beiträge, die sich mit Evaluation befassen, ohne direkt auf das Tagungsthema einzugehen. Auch sie sind ausdrücklich willkommen.
Drei Formate stehen zur Wahl, auf Deutsch, Französisch oder Englisch:
- Lightning Talk: fünfminütige Präsentation eines laufenden oder abgeschlossenen Forschungs- oder Praxisprojekts mit Fokus auf seine innovativen Aspekte. Eine Session umfasst bis zu zehn Lightning Talks, jeweils gefolgt von drei Minuten für Fragen.
- Einzelbeitrag: 20 Minuten Präsentation und 10 Minuten Diskussion, in thematischen Sessions mit höchstens drei Beiträgen. Bevorzugt werden Beiträge mit theoretischem oder methodischem Schwerpunkt oder zur Forschung über Evaluation.
- Komplette Session: 90 Minuten, als Vortragssession, Podiumsdiskussion, Workshop oder in anderer Form. Alle Mitwirkenden müssen namentlich genannt werden. Bevorzugt werden Sessions mit politikfeldübergreifender Perspektive.
Die Abstracts (max. 2500 Zeichen inkl. Leerzeichen, bzw. 5000 für komplette Sessions) sind bis zum 9. März 2027 über das Tagungsmanagementsystem einzureichen: www.conftool.com/degeval2027. Bitte beachten Sie, dass diese Frist nicht verlängert wird.
Die Beiträge werden anonym begutachtet, unter anderem nach Relevanz des Themas, inhaltlicher und methodischer Qualität, Klarheit des Abstracts, Fokus auf Evaluationsaspekte, Innovationsgehalt und politikfeldübergreifender Perspektive. Die Benachrichtigung über die Annahme erfolgt bis zum 1. Juni 2027.
Wir freuen uns auf Ihre Beiträge und darauf, Sie im kommenden Herbst in Freiburg im Breisgau begrüssen zu dürfen!
Alle Informationen und die Einreichung finden Sie hier.
