Newsletter no. 42, Juillet 2025

L’innovation est présente dans tous les domaines de la vie : de l’économie à l’environnement, en passant par les systèmes éducatifs et sanitaires. Elle est encouragée par divers moyens, tels que des programmes de promotion de l’innovation, des articles expérimentaux ou des projets pilotes. Le congrès annuel de la SEVAL se penchera cette année sur la question de l’évaluation de l’innovation, sur les approches innovantes dans divers domaines politiques et sur ce que nous pouvons en apprendre. L’accent sera mis sur les défis et possibilités liés à l’évaluation des processus d’innovation. Différentes méthodes et approches pour évaluer le succès et l’impact des projets d’innovation seront présentées, de même que des études de cas réussies dans différents domaines, en Suisse et à l’étranger, afin de partager les bonnes pratiques et en tirer des enseignements. L’objectif est de développer une compréhension globale de la manière dont les innovations peuvent être évaluées et optimisées, efficacement voire de façon innovante, dans différents domaines politiques.

Programme et inscription : ici.

La stratégie actuelle de la SEVAL arrive à échéance en fin d’année, et le comité a lancé les travaux pour la renouveler. Il a saisi cette opportunité pour impliquer les membres de la SEVAL dans ce processus. Début 2025, ceux-ci ont été appelés à se prononcer sur l’atteinte des objectifs et sur la pertinence des mesures qui avaient été définies dans la stratégie 2022-2025, ainsi qu’à faire part de leurs attentes et propositions pour l’avenir. Plus de 50 personnes ont partagé leurs réflexions, les défis à venir qu’elles identifient et les accents qu’elle souhaitent voir reflétés dans la prochaine stratégie.

Les résultats ont été très positifs : 56 % des personnes ayant répondu au questionnaire estiment que l’objectif « Renforcement de la position en tant qu’association professionnelle » a été atteint ou plutôt atteint, et 58 % pensent de même pour l’objectif « Développement d’offres pour renforcer la qualité des évaluations et l’assurance qualité ». En revanche, un certain potentiel d’amélioration est identifié concernant l’objectif « Promotion et amélioration de la preuve de compétences », car 35 % estiment qu’il n’a (plutôt) pas été atteint, et 27 % ont répondu qu’elles ne peuvent pas en juger.

La plupart des mesures sont également considérées comme pertinentes, puisque les répondantes et répondants souhaitent conserver la majorité d’entre elles telle qu’elles sont mises en œuvre aujourd’hui. Parmi les mesures qui devraient être davantage développées, on retrouve notamment le partage de bonnes pratiques (65 %), les mesures de communication externe (53 %) ou encore la promotion de nouveaux projets de recherche (45 %). À noter que 29 % des répondantes et répondants estiment qu’il n’y a plus besoin du Prix SEVAL, et qu’une réflexion devra éventuellement être menée à ce sujet.

De nombreuses idées pour de nouveaux projets ont été partagées par les personnes interrogées, dont voici quelques exemples : sensibilisation à l’évaluation au niveau politique, impact de la digitalisation et de l’intelligence artificielle, formations continues. Parmi les défis identifiés, l’on retrouve notamment les pressions budgétaires sur l’administration, la représentation de la SEVAL dans toute la Suisse, l’engagement bénévole des membres et les tendances internationales observées qui remettent en cause les politiques basées sur des faits.

Sur cette base, les membres du comité, les responsables des groupes de travail et les personnes intéressées à s’impliquer dans l’élaboration de la nouvelle stratégie se sont réunies fin avril, lors d’un workshop en ligne, afin de concrétiser les lignes directrices de ce qui deviendra la stratégie 2026-2029. Les échanges ont été riches et constructifs, et le comité remercie chaleureusement les participantes et participants pour leur engagement.

Le groupe de planification, composé de Hanja Blendin, Laurent Crémieux, Cornelia Hänsli Marrei et Marion Baud-Lavigne, a commencé le travail de rédaction et soumettra une première version au comité ainsi qu’aux responsables des groupes de travail et aux personnes qui ont participé à ce workshop, afin de s’assurer que la stratégie correspond aux attentes exprimées. La stratégie 2026-2029 finalisée sera soumise à l’assemblée générale.

Les participant·e·s, provenant essentiellement de bureaux privés, d’universités, du Contrôle fédéral des finances et du Contrôle parlementaire de l’administration, ont échangé sur leurs pratiques via un sondage en ligne (Slido) et en groupe : objectifs et fréquence d’usage, outils préférés, premières expériences recueillies. L’événement a pu avoir lieu grâce au soutien de la SEVAL et du Kompetenzzentrum für Public Management (KPM) de l’Université de Berne, ainsi qu’à l’engagement du comité SwissJEE (Julia Lehmann, Julián Salazar et Philipp Zogg). Merci à eux ainsi qu’à tous les participants !

***

🎯 État des lieux – Tous les participants utilisent l’IA au moins une fois par semaine, de manière hétérogène, sans qu’il y ait encore de pratiques clairement établies. L’événement a néanmoins permis d’identifier une vingtaine d’outils d’intelligence artificielle utilisés principalement dans les domaines de la correction de textes, de la recherche d’informations, de la transcription et de l’aide à l’analyse qualitative et quantitative de textes.

🔍 Outils d’IA utilisés – Une large palette d’outils IA est déjà utilisée par les participants dans le domaine de l’évaluation et des sciences sociales appliquées, notamment pour la transcription automatique d’entretiens (par exemple, Teams, Töggel, Read AI) et l’analyse de textes (MaxQDA AI) ; la correction, la synthèse, l’amélioration et la traduction de textes (DeepL Write, DeepL, Grammarly) ; la recherche d’informations (Perplexity, Claude AI, ChatGPT, Copilot, Mistral AI) et sur l’état de la recherche dans un domaine donné (Consensus, Scispace) ; l’aide à la synthèse d’informations (ChatPDF, Scispace) et à l’écriture (Avidnote, Scispace, jenni ai, Paperpal) ; et finalement pour la visualisation et la génération d’images (Napkin, DallE).

💡 Possibles applications en évaluation – Les participants ont ensuite comparé leurs pratiques avec les premiers insights du Groupe de travail SEVAL sur l’IA ainsi qu’avec l’expertise de Jan Ulrich Hense (2025)[1] qui présente dans sa publication des cas concrets d’application. Certaines utilisations se recoupent, d’autres ne sont pas encore courantes : création et révision de textes, exploration et synthèse documentaire, génération d’idées, revues de littérature, création de modèles d’impact, conception de questionnaires, transcription, analyse de données qualitatives et quantitatives, ainsi que visualisations.

🕵️‍♂️ Défis identifiés – Les principales préoccupations des JEE concernent la validité des sources et les hallucinations de l’IA, ce qui nécessite une vérification approfondie des contenus générés. La protection des données représente également un enjeu majeur, questionnant le stockage des informations et nécessitant une collaboration encore peu rôdée avec des experts informatiques en la matière.

🧰 Premières recommandations –L’utilisation de l’IA peut être optimisée par une formulation précise des requêtes et la fragmentation des demandes en unités petites et spécifiques. La mise en commun, au niveau institutionnel, de certains « prompts » souvent utilisés pourrait également démocratiser leur accès et améliorer les résultats. Une collaboration plus étroite avec des experts informatiques semble également pertinente pour garantir la protection des données. Finalement, une déclaration transparente de l’usage de l’IA dans les projets d’évaluation semble devenir une pratique recommandée pour maintenir l’intégrité professionnelle.

Cette rencontre a confirmé l’intérêt croissant pour l’IA dans le domaine de l’évaluation, tout en soulignant l’importance de l’esprit critique et d’une intégration éthique et réfléchie de ces outils dans les projets. Il en ressort également qu’il reste un potentiel important à exploiter et l’envie de maîtriser davantage les diverses possibilités existantes actuellement sur le marché. Une prochaine rencontre est prévue fin 2025 pour échanger sur les expériences faites d’ici là. Toutes et tous les intéressé.e.s sont les bienvenu.e.s !

Déclaration d’usage de l’IA : Pour réaliser cette note et à titre d’exercice, nous avons d’abord téléchargé la présentation PowerPoint de cette rencontre sur Claude AI et ChatGPT. Nous avons ensuite demandé à ces deux IA de rédiger un résumé de 300 mots pour une publication de la SEVAL. En tirant le meilleur parti des outputs des deux IA, le texte a alors été remanié et complété par l’auteur humain. La note a par la suite été corrigée et simplifiée sur DeepL Write, puis enfin relue par le deuxième auteur humain. Elle a finalement été traduite du français vers l’allemand en utilisant DeepL, avant d’être attentivement relue et corrigée par le deuxième auteur – germanophone. Cette approche a permis d’être plus exhaustif, de dépasser le blocage d’écriture initial et d’être plus rapide.

[1] Hense, Jan Ulrich (2025). Anwendungen Künstlicher Intelligenz in der Evaluation: Stand von Forschung und Praxis. PrEval Expertise 1/2025, Frankfurt/M. https://preval.hsfk.de/publikationen/preval-expertisen/expertise-1/2025

[2] Hense, Jan Ulrich (2025). Anwendungen Künstlicher Intelligenz in der Evaluation: Stand von Forschung und Praxis. PrEval Expertise 1/2025, Frankfurt/M. https://preval.hsfk.de/publikationen/preval-expertisen/expertise-1/2025

Pour commencer, les participants ont été invités à se pencher sur les standards SEVAL, particulièrement importants dans la phase de mise en œuvre des évaluations (le groupe de travail Standards sélectionne à chaque fois les standards pertinents et les intègre dans le dialogue) :

Les standards SEVAL

Dans une seconde intervention, Reinhard Zweidler a ensuite présenté le service de conseil de la SEVAL, qui accompagne les spécialistes en matière d’évaluation et offre notamment son soutien en cas de conflits entre les évaluateurs et les mandants.

Le dialogue s’est ensuite poursuivi en petits groupes. Chaque groupe a recensé les défis liés à la collaboration entre les évaluateurs et les mandants et y a réfléchi. Les problématiques suivantes ont été abordées :

– Tentatives d’influence des mandants sur les résultats de l’évaluation, attente ou même proposition d’embellir les résultats d’une évaluation.

– Compétences insuffisantes des mandants en matière d’évaluation, en particulier au sein des services qui ne font réaliser des évaluations que de manière ponctuelle.

– Implication excessive et interférences des mandants dans le déroulement des évaluations.

– Gestion des développements imprévisibles dans le processus d’évaluation. Exigence de respecter le contrat d’évaluation même lorsque les conditions le rendent obsolètes. À l’inverse : gestion des ruptures de contrat.

– Insatisfaction des mandants quant aux compétences spécifiques des évaluatrices et évaluateurs.

Dans chaque groupe, un participant a présenté une problématique en décrivant la situation en détail. Après quelques questions, le groupe a réfléchi au cas de manière collective et a développé des pistes de solution et des recommandations pour y faire face.

La discussion qui a suivi en plénière a montré l’importance du dialogue entre les mandants et les évaluateurs pour développer ensemble une culture de l’évaluation, favoriser la compréhension mutuelle et développer les compétences correspondantes. Un besoin particulier a été identifié concernant la montée en compétences des mandants peu familiers avec les évaluations, nouveaux dans ce domaine ou exerçant dans des institutions où la pratique évaluative reste peu systématisée. Une difficulté réside toutefois dans le fait que ces personnes sont difficiles à convaincre de participer à des dialogues et à des offres de qualification, car l’évaluation ne représente souvent qu’une très petite partie de leur domaine de compétence.

La conférence annuelle de la DeGEval se tiendra du 17 au 19 septembre à l’université de la Sarre. Elle aura pour thème l’institutionnalisation et la professionnalisation de l’évaluation. Pour plus d’informations, rendez-vous sur le site web de la DeGEval.