Le 18 juin dernier, s’est déroulé au sein de la Faculté Sciences et Technologies un séminaire d’échanges autour de la Coalition on Advancing Research Assessment (CoARA) à laquelle l’Université de Lorraine a adhéré aux côtés de près de 800 institutions de recherche européennes et internationales. Articulé autour de tables rondes et ateliers de discussion, l’objectif du séminaire était d’engager une réflexion collective avec l’ensemble de notre communauté et que chacun puisse apporter sa contribution à cette évolution d’envergure.
Cette journée a suscité l’intérêt de notre communauté scientifique et des personnels travaillant autour de la science ouverte et des ressources humaines puisqu’elle a réuni près d’une centaine de personnes.
Nous avons eu l’honneur d’accueillir sur les table-rondes de la matinée Sylvie Rousset, Membre du Comité de Pilotage CoARA et Directrice des données ouvertes de la recherche (DDOR) du CNRS, Fabien Borget, Pilote du Chapitre Français de CoARA, Fanny Lachat et Zoé Ancion, respectivement chargée de mission intégrité scientifique et déontologie et Responsable politique Science Ouverte de l’ANR, Valérie Legué, Chargée de mission Science Ouverte à l’Université de Clermont Auvergne, Cherifa Boukacem, Chargée de mission Science Ouverteà l’Université Lyon 1 et Françoise Thibault, Déléguée Générale de l’Alliance Athena.
Les échanges ont été riches et les discussions animées tant l’enjeu est fondamental dans la carrière d’un ou d’une enseignant.e-chercheur.e, et dans la manière dont les formes de l’évaluation influencent le paysage de la recherche.
L’après-midi, c’est en petit groupe que la réflexion s’est poursuivie puisque 3 ateliers thématiques étaient prévus :
- Reconnaitre la diversité des contributions et des carrières :
- Baser l’évaluation de la recherche et des carrières sur un processus qualitatif avec utilisation raisonnée des indicateurs quantitatifs.
- Abandon des métriques inappropriées (Facteur d’impact, h-index…) et éviter l’usage des classements des institutions
Myriam Doriat-Duban, 1ère vice-présidente et vice-présidente notamment en charge des ressources humaines, des conditions de travail et du dialogue social, Benoit Grasser, vice-président adjoint à la politique scientifique, Nicolas Fressengeas, vice-président en charge du numérique, des données et de la science ouverte et Caroline Gaucher, chargée de mission Ressources Humaines ont conclu la journée en faisant un retour sur les ateliers thématiques.
Reconnaitre la diversité des contributions et des carrières : constat que l’activité de recherche est en mutation et qu’elle recouvre de plus en plus d’activités et de compétences différentes. Les nouveaux critères d’évaluation devraient prendre en compte cette diversité en lien direct avec le niveau d’expérience des chercheuses et chercheurs, mais également en fonction de leurs disciplines de recherche. En revanche, La philosophie et la finalité doit en revanche être communes. S’est posée la question de l’ouverture de l’interdisciplinarité. La co-construction de l’évaluation avec les évaluateurs a été évoquée ainsi que les critères qualitatifs en lien avec les bonnes pratiques collectives. Permettre l’autoévaluation de la contribution de chacun dans la diversité de ses activités.
Baser l’évaluation de la recherche et des carrières sur un processus qualitatif avec utilisation raisonnée des indicateurs quantitatifs.
L’évaluation qualitative des personnels enseignants-chercheurs doit intégrer l’ensemble des dimensions de leur métier : lien entre enseignement et recherche, qualité des travaux, … avec également un focus sur les éléments impactants au cours de la carrière et la reconnaissance de choix assumés de certains candidats (en termes de publication ou de mobilité). Proposition que chaque chercheur se projette sur l’année suivante en faisant un retour sur l’année passée (auto évaluation du chercheur).
Abandon des métriques inappropriées (Facteur d’impact, h-index…) et éviter l’usage des classements des institutions : s’est posée la question des usages avec parfois des indicateurs biaisés ou manipulés à des fins opportunistes ce qui amène à inclure une dimension d’intégrité scientifique dans la réflexion. Eviter que l’évaluation qualitative ne dérive vers l’analyse de texte avec des algorithmes d’intelligence artificielle générative. Apprendre à décorréler le fait d’être être cité, d’être lu et le fait de faire de la « bonne » science. Zoom sur le classement de Leiden qui met en place un classement avec les données ouvertes. Echanges autour du reviewing et de la course à la publication avec l’idée que le modèle commercial est génère des dérives qui finissent par être incompatibles avec la rigueur et les finalités scientifiques. Comment sortir de ce cercle vicieux ? L’idée est d’aller progressivement vers une autre culture de l’évaluation de la recherche, vers une transformation profonde.
Cette journée dédiée était donc une opportunité à saisir pour travailler ensemble sur ces questions relatives à l’évaluation de la recherche et de ceux et celles qui la font, à la diversité de nos productions scientifiques, la pertinence de nos méthodes et de nos instruments de mesure, au juste équilibre à trouver entre quantitatif et qualitatif.
L’Université de Lorraine est très investie à la fois dans CoARA et dans le développement de la science ouverte. Ils sont étroitement liés sans être confondus.
Tout l’enjeu est alors d’une part de sortir du quasi-monopole de la publication d’articles dans des revues scientifiques classées comme unique facteur de valorisation des chercheurs et chercheuses pour valoriser d’autres formes de production scientifique et d’autre part, de trouver pour l’ensemble de ces productions, de nouveaux moyens d’en garantir la qualité par des processus d’évaluations et de valorisation qui sont à créer ou parfois seulement à adapter ou à enrichir.
L’ambition partagée est donc celle d’une mutation profonde de nos méthodes d’évaluation de la recherche mais surtout de la nature de cette évaluation mais du coup aussi, des finalités de la recherche elle-même.
Vous avez manqué la journée ? Retrouvez ici les video de la journée, de l'introduction à la restitution des ateliers en passant par les tables-rondes !
En savoir plus sur CoARA :
