[Interview croisée] Pour une évaluation de la recherche transparente et de qualité

L’Université de Lorraine entreprend des mesures audacieuses pour transformer l’évaluation de la recherche, en s’apprêtant à signer la Déclaration de Barcelone. Elle s'engage désormais à utiliser des données bibliométriques libres et ouvertes, comme celles d’OpenAlex correspondant davantage aux valeurs de l’établissement résolument tournées vers la science ouverte. Interview croisée d’Hélène Boulanger, présidente de l’Université de Lorraine et Nicolas Fressengeas, Vice-président en charge du numérique, des données et de la science ouverte qui nous en disent plus.

Qu’implique la signature de la déclaration de Barcelone ?

Hélène Boulanger : "Signer la déclaration de Barcelone engage l’établissement à ouvrir les informations sur la recherche et à prendre l’initiative de transformer la manière dont l’information sur la recherche est produite et utilisée. Cette ouverture permet de prendre des décisions en matière de politique scientifique sur la base de preuves transparentes et de données plus complètes. Elle permet aux informations utilisées dans les évaluations de la recherche d’être accessibles et vérifiables par ceux qui sont évalués. Enfin, elle permet au mouvement mondial en faveur de la science ouverte d’être soutenu par des informations totalement ouvertes et transparentes.

La déclaration est entièrement alignée sur les conclusions du Conseil de l’Union Européenne de 2021, portées dans le cadre de la Présidence Française (PFUE). Celui estime en effet que "les données et les bases de données bibliographiques utilisées pour évaluer la recherche devraient, en principe, être librement accessibles, et les outils et les systèmes techniques devraient permettre d'assurer la transparence”. Elle est également conforme au principe d’ouverture par défaut des données administratives décidée par la loi française de 2016 appelée « Loi pour une République numérique ». Enfin, la déclaration est aussi alignée sur les principes de la CoARA, la coalition internationale pour l'amélioration de l'évaluation de la recherche, qui promeut « l’indépendance et la transparence des données, de l’infrastructure et des critères nécessaires à l’évaluation de la recherche et à la détermination de son impact ». Aujourd'hui, près 800 organismes du monde entier sont membres de CoARA dont plus de 50 organismes de recherche français incluant l’Université de Lorraine."

Pourquoi OpenAlex plutôt que Web of Science ?

Nicolas Fressengeas : "Depuis de nombreuses années, l’Université de Lorraine, comme un grand nombre d’établissements d’enseignement supérieur et de recherche en France, souscrit à Web of Science, une base de données permettant d’effectuer des recherches bibliographiques ainsi que des analyses bibliométriques de corpus. En plus d’un abonnement au montant élevé (55 000 € par an environ), la qualité des informations présentes dans cette base est maintenue au prix d’un travail important et récurrent de nettoyage et de correction effectué par l’équipe Bibliométrie de l’établissement.

L’arrivée dans le paysage d’OpenAlex, alternative libre, ouverte et gratuite à Web of Science, présentant un taux de couverture assurant une bien plus grande visibilité aux publications en sciences humaines et sociales ou encore en informatique, ainsi qu’aux travaux non-anglophones, change la donne et va dans le sens d’une plus grande reconnaissance de la diversité des productions scientifiques, en cohérence avec nos engagements dans CoARA.

Soutenu depuis 2021 au sein du Deuxième Plan National pour la Science Ouverte et plus récemment par le biais d’un partenariat avec le Ministère de l’Enseignement Supérieur et de la Recherche, OpenAlex indique fort probablement ce que doit être l’avenir des bases bibliographiques et bibliométriques. Sorbonne Université a déjà fait le choix d’un désabonnement à Web of Science au profit d’OpenAlex, et le Hcéres dit réfléchir à une évolution de ses pratiques en matière de recensement de la production scientifique française.

L’Université de Lorraine, résolument engagée en faveur de la Science Ouverte, y compris avec un fonds de soutien conséquent, a fait le choix cette année de soutenir financièrement OpenAlex à hauteur de 10 000 € pour encourager le développement de cette infrastructure ouverte.

Ce soutien va de pair avec un engagement humain à la hauteur des enjeux, par le biais d’une redirection du travail de mise en qualité des données effectué par l’équipe Bibliométrie depuis Web of Science vers OpenAlex."

Quelle est la conséquence sur les classements internationaux ?

Hélène Boulanger : Les classements internationaux font régulièrement l’objet de critiques, notamment en raison de leur fonctionnement opaque pour certains d’entre eux, mais aussi pour l’importance disproportionnée accordée à des critères qu’on peut juger peu représentatifs de la qualité de l’enseignement d’une université ou de la variété de sa production scientifique, tels que le nombre de prix Nobel ou la quantité de publications dans les seules revues Nature et Science. Certaines universités pionnières, telles que celles d'Utrecht ou de Zurich, en ont d’ailleurs tiré les conséquences et ont fait le choix de se retirer des classements commerciaux.

Nous avons besoin de données sur la recherche pour suivre les politiques publiques de recherche. Il nous faut donc préparer la transition vers un système ouvert et transparent. En 2024, un nouveau classement ouvert et transparent a vu le jour : l’édition ouverte du classement de Leiden. Ce classement ne repose plus sur des données de bases commerciales, mais sur celles d’OpenAlex et de ROR, ouvertes et libres.

La mise en place progressive de nouveaux classements de ce type, ainsi que le fait que le consensus international est encore en construction, vont engendrer une période d’incertitude, avec la cohabitation de résultats potentiellement contradictoires. Dans ce cadre, et dans la perspective d’une évolution et d’une amélioration des données d’OpenAlex qui feront sans nul doute bouger les lignes dans les mois, voire les années à venir, l’Université de Lorraine fait le choix de contribuer à une transition vers des classements ouverts, qui donnent l’opportunité aux établissements de reprendre la main sur les indicateurs de pilotage de la recherche et de l’enseignement. Ainsi, elle choisit de se retirer des classements commerciaux THE et QS en ne fournissant plus les données nécessaires. Elle continuera à suivre le classement thématique de Shanghai et à apparaître dans le classement général, mais elle ne les commentera plus parce que les données qui vont les alimenter perdront en qualité au fur et à mesure que notre effort se portera sur OpenAlex. »

Concrètement, comment cela va se dérouler au sein de l’Université de Lorraine ?

Nicolas Fressengeas : « A ce jour, OpenAlex ne permet pas encore de couvrir la totalité des cas d’usages actuels de Web of Science au sein de l’Université de Lorraine, en raison d’un niveau de qualité des métadonnées d’affiliation encore insuffisant. Ce niveau sera rapidement élevé grâce à des échanges déjà en cours entre l’établissement et les équipes d’OpenAlex. Nous encourageons en outre nos partenaires à faire de même et nous espérons qu’une prise de conscience collective et un effort partagé de la communauté permettront une amélioration rapide.

La formation des étudiants et des enseignants-chercheurs à ce nouvel outil sera la priorité suivante de l’équipe Bibliométrie. Une fois le niveau de qualité des données relatives à l’établissement atteint dans OpenAlex, le Baromètre lorrain de la Science Ouverte ainsi que les rapports bibliométriques réalisés pour les laboratoires ou les pôles scientifiques pourront également être établis à partir de cette nouvelle source. Une fois l'ensemble de ces étapes franchies, la question du maintien de l'abonnement à Web of Science pourra être sereinement posée. "