L’Université de Lorraine entreprend des mesures audacieuses pour transformer l’évaluation de la recherche, en s’apprêtant à signer la Déclaration de Barcelone. Elle s'engage désormais à utiliser des données bibliométriques libres et ouvertes, comme celles d’OpenAlex correspondant davantage aux valeurs de l’établissement résolument tournées vers la science ouverte. Interview croisée d’Hélène Boulanger, présidente de l’Université de Lorraine et Nicolas Fressengeas, Vice-président en charge du numérique, des données et de la science ouverte qui nous en disent plus.
Qu’implique la signature de la déclaration de Barcelone ?
Hélène Boulanger : "Signer la déclaration de Barcelone engage l’établissement à ouvrir les informations sur la recherche et à prendre l’initiative de transformer la manière dont l’information sur la recherche est produite et utilisée. Cette ouverture permet de prendre des décisions en matière de politique scientifique sur la base de preuves transparentes et de données plus complètes. Elle permet aux informations utilisées dans les évaluations de la recherche d’être accessibles et vérifiables par ceux qui sont évalués. Enfin, elle permet au mouvement mondial en faveur de la science ouverte d’être soutenu par des informations totalement ouvertes et transparentes.
La déclaration est entièrement alignée sur les conclusions du Conseil de l’Union Européenne de 2021, portées dans le cadre de la Présidence Française (PFUE). Celui estime en effet que "les données et les bases de données bibliographiques utilisées pour évaluer la recherche devraient, en principe, être librement accessibles, et les outils et les systèmes techniques devraient permettre d'assurer la transparence”. Elle est également conforme au principe d’ouverture par défaut des données administratives décidée par la loi française de 2016 appelée « Loi pour une République numérique ». Enfin, la déclaration est aussi alignée sur les principes de la CoARA, la coalition internationale pour l'amélioration de l'évaluation de la recherche, qui promeut « l’indépendance et la transparence des données, de l’infrastructure et des critères nécessaires à l’évaluation de la recherche et à la détermination de son impact ». Aujourd'hui, près 800 organismes du monde entier sont membres de CoARA dont plus de 50 organismes de recherche français incluant l’Université de Lorraine."
Pourquoi OpenAlex plutôt que Web of Science ?
Nicolas Fressengeas : "Depuis de nombreuses années, l’Université de Lorraine, comme un grand nombre d’établissements d’enseignement supérieur et de recherche en France, souscrit à Web of Science, une base de données permettant d’effectuer des recherches bibliographiques ainsi que des analyses bibliométriques de corpus. En plus d’un abonnement au montant élevé (55 000 € par an environ), la qualité des informations présentes dans cette base est maintenue au prix d’un travail important et récurrent de nettoyage et de correction effectué par l’équipe Bibliométrie de l’établissement.
L’arrivée dans le paysage d’OpenAlex, alternative libre, ouverte et gratuite à Web of Science, présentant un taux de couverture assurant une bien plus grande visibilité aux publications en sciences humaines et sociales ou encore en informatique, ainsi qu’aux travaux non-anglophones, change la donne et va dans le sens d’une plus grande reconnaissance de la diversité des productions scientifiques, en cohérence avec nos engagements dans CoARA.
Soutenu depuis 2021 au sein du Deuxième Plan National pour la Science Ouverte et plus récemment par le biais d’un partenariat avec le Ministère de l’Enseignement Supérieur et de la Recherche, OpenAlex indique fort probablement ce que doit être l’avenir des bases bibliographiques et bibliométriques. Sorbonne Université a déjà fait le choix d’un désabonnement à Web of Science au profit d’OpenAlex, et le Hcéres dit réfléchir à une évolution de ses pratiques en matière de recensement de la production scientifique française.
L’Université de Lorraine, résolument engagée en faveur de la Science Ouverte, y compris avec un fonds de soutien conséquent, a fait le choix cette année de soutenir financièrement OpenAlex à hauteur de 10 000 € pour encourager le développement de cette infrastructure ouverte.
Ce soutien va de pair avec un engagement humain à la hauteur des enjeux, par le biais d’une redirection du travail de mise en qualité des données effectué par l’équipe Bibliométrie depuis Web of Science vers OpenAlex."
Quelle est la conséquence sur les classements internationaux ?
Hélène Boulanger : Les classements internationaux font régulièrement l’objet de critiques, notamment en raison de leur fonctionnement opaque pour certains d’entre eux, mais aussi pour l’importance disproportionnée accordée à des critères qu’on peut juger peu représentatifs de la qualité de l’enseignement d’une université ou de la variété de sa production scientifique, tels que le nombre de prix Nobel ou la quantité de publications dans les seules revues Nature et Science. Certaines universités pionnières, telles que celles d'Utrecht ou de Zurich, en ont d’ailleurs tiré les conséquences et ont fait le choix de se retirer des classements commerciaux.
Nous avons besoin de données sur la recherche pour suivre les politiques publiques de recherche. Il nous faut donc préparer la transition vers un système ouvert et transparent. En 2024, un nouveau classement ouvert et transparent a vu le jour : l’édition ouverte du classement de Leiden. Ce classement ne repose plus sur des données de bases commerciales, mais sur celles d’OpenAlex et de ROR, ouvertes et libres.
La mise en place progressive de nouveaux classements de ce type, ainsi que le fait que le consensus international est encore en construction, vont engendrer une période d’incertitude, avec la cohabitation de résultats potentiellement contradictoires. Dans ce cadre, et dans la perspective d’une évolution et d’une amélioration des données d’OpenAlex qui feront sans nul doute bouger les lignes dans les mois, voire les années à venir, l’Université de Lorraine fait le choix de contribuer à une transition vers des classements ouverts, qui donnent l’opportunité aux établissements de reprendre la main sur les indicateurs de pilotage de la recherche et de l’enseignement. Ainsi, elle choisit de se retirer des classements commerciaux THE et QS en ne fournissant plus les données nécessaires. Elle continuera à suivre le classement thématique de Shanghai et à apparaître dans le classement général, mais elle ne les commentera plus parce que les données qui vont les alimenter perdront en qualité au fur et à mesure que notre effort se portera sur OpenAlex. »
Concrètement, comment cela va se dérouler au sein de l’Université de Lorraine ?
Nicolas Fressengeas : « A ce jour, OpenAlex ne permet pas encore de couvrir la totalité des cas d’usages actuels de Web of Science au sein de l’Université de Lorraine, en raison d’un niveau de qualité des métadonnées d’affiliation encore insuffisant. Ce niveau sera rapidement élevé grâce à des échanges déjà en cours entre l’établissement et les équipes d’OpenAlex. Nous encourageons en outre nos partenaires à faire de même et nous espérons qu’une prise de conscience collective et un effort partagé de la communauté permettront une amélioration rapide.
La formation des étudiants et des enseignants-chercheurs à ce nouvel outil sera la priorité suivante de l’équipe Bibliométrie. Une fois le niveau de qualité des données relatives à l’établissement atteint dans OpenAlex, le Baromètre lorrain de la Science Ouverte ainsi que les rapports bibliométriques réalisés pour les laboratoires ou les pôles scientifiques pourront également être établis à partir de cette nouvelle source. Une fois l'ensemble de ces étapes franchies, la question du maintien de l'abonnement à Web of Science pourra être sereinement posée. "
Pour toute question relative à OpenAlex : bibliometrie-contact@univ-lorraine.fr
Voir le communiqué de presse
Université de Lorraine is taking bold steps to transform research evaluation by preparing to sign the Barcelona Declaration. The university is committed to using free and open bibliometric data, such as that from OpenAlex, which align more closely with the institution's values firmly oriented towards open science. A cross-interview with Hélène Boulanger, President of the University of Lorraine, and Nicolas Fressengeas, Vice-President in charge of digital, data, and open science policies, provides more insight.
What does signing the Barcelona Declaration entail?
Hélène Boulanger: “Signing the Barcelona Declaration commits the institution to open research information and to take the initiative in transforming the way research information is produced and used. This openness allows for decision-making in scientific policy based on transparent evidence and more comprehensive data. It ensures that the information used in research evaluations is accessible and verifiable by those being evaluated. Finally, it supports the global movement towards open science with fully open and transparent information. The declaration is fully aligned with the conclusions of the 2022 Council of the European Union, carried out during the French Presidency (PFUE). The council indeed believes that "the data and bibliographic databases used to evaluate research should, in principle, be freely accessible, and that tools and technical systems should ensure transparency." It also complies with the principle of default openness of administrative data decided by the 2016 French law called the "Law for a Digital Republic." Lastly, the declaration aligns with the principles of CoARA, the international coalition for advancing research assesment, which promotes the "independence and transparency of the data, infrastructure and criteria necessary for research assessment and for determining research impact". Today, nearly 800 organisations worldwide are CoARA members, including over 50 French research organisations, including Université de Lorraine.”
Why OpenAlex instead of Web of Science?
Nicolas Fressengeas: “For many years, Université de Lorraine, like many higher education and research institutions in France, has subscribed to Web of Science, a database allowing bibliographic searches and bibliometric analyses of corpora. Besides a high subscription cost (around €55,000 per year), maintaining the quality of information in this database requires significant and recurring cleaning and correction work by the institution's Bibliometrics team.
The launch of OpenAlex, a free, open, and cost-free alternative to Web of Science, offering a coverage rate ensuring much greater visibility for publications in the humanities and social sciences as well as in computer science, and non-English language works, changes the game and moves towards greater recognition of the diversity of scientific productions, consistent with our commitments in CoARA.
Supported since 2021 within the Second National Plan for Open Science and more recently through a partnership with the French Ministry of Higher Education and Research, OpenAlex likely indicates the future of bibliographic and bibliometric databases. Sorbonne University has already chosen to unsubscribe from Web of Science in favour of OpenAlex, and Hcéres is reportedly considering changing its practices regarding the inventory of the French scientific production. Université de Lorraine, resolutely committed to Open Science, including with a substantial support fund, has chosen this year to financially support OpenAlex to the tune of €10,000 to encourage the development of this open infrastructure.
This support goes hand in hand with a human commitment commensurate with the stakes, by redirecting the data quality work carried out by the Bibliometrics team from Web of Science to OpenAlex.
What is the impact on international rankings?
Hélène Boulanger: “International rankings are regularly criticised, notably due to their opaque operation for some of them, but also because of the disproportionate importance given to criteria that may be considered unrepresentative of the quality of a university's teaching or the variety of its scientific production, such as the number of Nobel prizes or the quantity of publications in Nature and Science alone. Some pioneering universities, such as Utrecht or Zurich, have indeed drawn the consequences and chosen to withdraw from commercial rankings.
We need data on research to monitor public research policies. Therefore, we must prepare for the transition to an open and transparent system. In 2024, a new open and transparent ranking emerged: the open edition of the Leiden ranking. This ranking no longer relies on data from commercial databases but on those from OpenAlex and ROR, which are open and free.
The gradual implementation of new rankings of this type, along with the fact that international consensus is still being built, will lead to a period of uncertainty, with potentially contradictory results coexisting. In this context, and with a view to the evolution and improvement of OpenAlex data, which will undoubtedly shift the lines in the months and years to come, Université de Lorraine has chosen to contribute to a transition towards open rankings, which provide institutions with the opportunity to regain control over research and teaching management indicators. Thus, it chooses to withdraw from the commercial THE and QS rankings by no longer providing the necessary data. It will continue to monitor the thematic Shanghai ranking and appear in the general ranking, but it will no longer comment on them because the data feeding them will lose quality as our effort shifts towards OpenAlex.
How will this be implemented at Université de of Lorraine?
Nicolas Fressengeas: “To date, OpenAlex does not yet cover all the current use cases of Web of Science at the University of Lorraine, due to an insufficient quality level of affiliation metadata. This level will quickly rise thanks to ongoing exchanges between the institution and the OpenAlex teams. We also encourage our partners to do the same, and we hope that a collective awareness and a shared community effort will enable rapid improvement. Training students and academics in this new tool will be the next priority for the Bibliometrics team. Once the quality level of data related to the institution is achieved in OpenAlex, the Lorraine Open Science Monitor and the bibliometric reports produced for laboratories will also be established from this new source. After all these steps are completed, the question of maintaining the subscription to Web of Science will be addressed.”
For any questions regarding OpenAlex: bibliometrie-contact@univ-lorraine.fr