Suite à une première journée institutionnelle consacrée aux avancées de HAL, la cinquième session annuelle de l’Assemblée des partenaires de HAL s’est poursuivie le 13 novembre par une journée d’étude thématique interrogeant les liens entre archives ouvertes et évaluation de la recherche.
Le paysage de l’évaluation de la recherche traverse des mutations profondes, questionnant les paradigmes établis. Dans ce contexte, les archives ouvertes, telles que HAL, émergent comme de potentiels leviers de transformation, offrant de nouvelles perspectives pour évaluer la recherche au-delà des métriques traditionnelles et créer des circuits de diffusion qui échappent aux modèles éditoriaux conventionnels.
Les débats de la journée ont été enregistrés et le replay est disponible sur Canal U.
Repenser l’évaluation de la recherche
Noémie Aubert-Bonn, chercheuse en sciences de l’information et de la communication (Hasselt University & University of Manchester), a ouvert cette journée en interrogeant les fondements de l’évaluation des chercheurs et la nécessité d’une réforme en profondeur.
À partir d’entretiens menés auprès de chercheurs, elle a mis en évidence une tension fondamentale entre les critères de succès pour la recherche (qualité, ouverture, innovation) et ceux valorisés pour la carrière (quantité de publications, facteur d’impact des revues…). Les pratiques actuelles d’évaluation, centrées sur les produits finaux et les indicateurs bibliométriques, ignorent largement le contenu réel des travaux et les processus de recherche.
Ce modèle génère des effets délétères : précarité, justification de mauvaises pratiques scientifiques, absences de diversité des profils, voire problèmes de santé mentale. Face à ce constat systémique, Noémie Aubert-Bonn a présenté les initiatives émergentes pour une évaluation plus responsable, telles que l’adoption des principes DORA et CoARA, la valorisation des CV narratifs, l’élargissement de la notion d’impact, la formation des évaluateurs… Des transformations nécessitant une coordination de la part de tous les acteurs de l’écosystème scientifique.
Point d’étape sur le chapitre français de CoARA
Fabien Borget, chargé de mission Science Ouverte à Aix-Marseille université et co-pilote du chapitre français de CoARA, a par la suite présenté cette coalition internationale née en 2022 pour réformer l’évaluation de la recherche. Comptant plus de 800 signataires répartis dans 18 chapitres nationaux, CoARA repose sur quatre engagements fondamentaux : reconnaître la diversité des carrières, privilégier l’évaluation qualitative par les pairs, promouvoir la publication en accès ouvert et éviter l’utilisation de classements institutionnels inadaptés.
Le chapitre français, lancé en octobre 2023, rassemble 64 organisations signataires et 92 participants représentants 46 établissements. Il vise à favoriser le partage d’expériences, soutenir les expérimentations institutionnelles et coordonner l’action française au niveau international.
Fabien Borget a souligné le rôle potentiel des archives ouvertes, et de HAL en particulier, dans cette réforme, notamment dans la gestion des identifiants chercheurs, la création de liens entre productions scientifiques, la garantie d’interopérabilité internationale et la promotion des pratiques de publication ouverte, constituant autant de leviers pour accompagner le changement culturel nécessaire à une évaluation plus responsable de la recherche.
S’outiller et accompagner la réforme de l’évaluation
Valérie Legué, chargée de mission Science Ouverte à l’Université Clermont-Auvergne a ouvert la session en présentant la stratégie de l’établissement, signataire de DORA et CoARA. Pour des raisons liées partie à l’insatisfaction de la communauté scientifique autour de l’évaluation, l’UCA a adopté dès 2020 un texte de cadrage intégrant cinq principes clés, initiant localement une réforme de l’évaluation, portée notamment par des pratiques plus ouverte :
- Évaluer l’ensemble des produits de la recherche
- Abandonner le facteur d’impact
- S’appuyer sur HAL
- Reconnaître les prépublications
- Valoriser les publications en accès ouverte diamant
HAL y joue un rôle central comme outil de transparence et de mise à disposition des productions scientifiques. L’UCA poursuit sa démarche via le projet OSQUAR (lauréat de l’appel CoARA Boost), développant notamment un workpackage pour permettre d’avancer sur l’intégration de critères de science ouvert pour une évaluation plus qualitative.
L’intervention de Nantes Université a montré comment l’établissement renouvelle son analyse de la production scientifique grâce à SoVisu+, le module CRIS qu’il met progressivement en place dans le cadre du consortium CRISalid. Emmanuelle Paulet-Grandguillot (responsable du département système d’information et appui à la recherche, élue au comité d’orientation du CCSD) et Guillaume Godet (responsable du service bibliométrie) ont présenté une approche fondée sur un graphe de connaissance, véritable « jumeau numérique » de l’activité de recherche, qui relie les publications (notamment issues de HAL) aux données internes de l’établissement : structures, projets, identités des chercheurs, activités connexes. Conçu comme un outil ouvert et modulaire, SoVisu+ permet aux chercheurs d’enrichir et de consolider leurs données, améliorant ainsi la qualité des métadonnées et la cohérence de l’ensemble du système d’information recherche.
Cette approche répond à une difficulté structurelle : dans un établissement très pluridisciplinaire, les outils bibliométriques classiques ne reflètent pas correctement la production scientifique. Nantes Université s’appuie donc sur HAL, considéré comme sa bibliographie officielle et cadré par une politique institutionnelle claire. Mais les indicateurs issus de HAL restent partiels ; ce CRIS permet de dépasser cette limite.
La place de la science ouverte et HAL dans l’évaluation de la recherche
Cette matinée s’est conclue par une table ronde réunissant plusieurs représentantes d’institutions engagées dans la transformation de l’évaluation de la recherche : Nathalie Fargier (CCSD), Amélie Church (Sorbonne Université), Caroline Gaucher (Université de Lorraine), Marion Cipriano (Inserm) et Sylvie Rousset (CNRS), sous la modération de Mickaël Ménager (Université Paris Cité).
L’échange à montré un large consensus : la science ouverte doit jouer un rôle dans l’évaluation, mais sans se résumer à un critère isolé ni à un indicateur automatique. Les intervenantes ont rappelé la nécessité de diversifier les productions évaluées, de renforcer la qualité des métadonnées, d’appuyer l’analyse sur des sources ouvertes comme HAL ou OpenAlex, et de mieux prendre en compte la variété des activités de recherche (données, projets, expertise, médiation…).
Toutes ont insisté sur l’importance d’une évaluation qualitative, menée par les pairs, pour éviter les dérives telles que la survalorisation du quantitatif, la dépendance aux bases propriétaires ou les risques liés à l’usage non maîtrisé de l’IA. HAL apparaît ainsi comme un outil de soutien, fiable, ouvert, sans pour autant devenir le cœur unique de l’évaluation. La transformation repose avant tout sur l’acculturation, la formation des évaluateurs et l’élaboration collective de nouvelles pratiques plus justes et cohérentes avec la science ouverte.
Éclairages internationaux
Après avoir exploré les problématiques et initiatives locales et nationales, une session internationale a proposé un regard comparatif précieux grâce au retour d’expérience de l’Ecole Polytechnique Fédérale de Lausanne, présenté par Pascale Bouton, responsable de l’unité « Digital repositories & archives ». Avec Infoscience, entrepôt institutionnel créé en 2004 et désormais fondé sur DSpace-CRIS, l’établissement a fait le choix d’un système ouvert, modulaire et interopérable pour valoriser et piloter sa production scientifique. Le dépôt des publications y est obligatoire et facilité par l’usage massif des identifiants persistants. Infoscience agrège des données issues de multiples sources — Scopus, OpenAlex, arXiv, Zenodo, DataCite — puis les consolide via un important travail de curation.
La plateforme alimente un vaste écosystème : affichage des publications dans les laboratoires, profils chercheurs synchronisés avec ORCID, analyses bibliométriques ouvertes, outils d’exploration thématique ou de mise en relation pour les appels à projets. L’EPFL s’inscrit également dans des initiatives nationales ambitieuses visant à renforcer l’interopérabilité et à construire une infrastructure suisse cohérente au service de la science ouverte.
La session s’est poursuivie avec l’intervention de Mathijs Vleugel, responsable du bureau science ouverte de la Helmholtz Association, la plus grande organisation de recherche allemande, qui fédère 18 centres indépendants couvrant six grands domaines (énergie, santé, environnement, IA…). L’association coordonne des programmes de recherche pluriannuels et porte une forte ambition en matière de science ouverte, via un programme annuel structuré autour de la publication, des données et logiciels ouverts, des infrastructures souveraines et de la recherche responsable.
Helmholtz mène également un travail approfondi sur la réforme de l’évaluation. Pour dépasser la dépendance aux indicateurs traditionnels (facteur d’impact, volume de publications), l’organisation développe des indicateurs de qualité pour les données et les logiciels, fondés sur les principes FAIR et enrichis de dimensions complémentaires (curation, robustesse scientifique…). Une enquête menée auprès de 1 145 chercheuses et chercheurs souligne l’écart entre critères perçus et critères souhaités : la collaboration apparaît en tête des dimensions à mieux valoriser. Ces travaux nourrissent la participation de Helmholtz aux actions de COARA en Allemagne.
Cette journée d’étude de l’Assemblée des partenaires a montré à quel point les archives ouvertes, les infrastructures ouvertes et les démarches de science ouverte occupent désormais une place centrale dans la compréhension, la valorisation et l’évaluation de la recherche. Des initiatives françaises aux retours d’expérience européens, un même mouvement se dessine : celui d’outils plus interopérables, de données mieux structurées, d’indicateurs plus qualitatifs et d’une attention accrue aux pratiques réelles des chercheurs et chercheuses.
HAL s’inscrit pleinement dans cette dynamique, comme ressource nationale, comme espace de dépôt, mais aussi comme socle pour des usages émergents : pilotage, visualisation, analyse, interconnexion avec les identifiants et les référentiels. La transformation en cours ne se fera toutefois qu’en associant les communautés, en consolidant les données et en poursuivant l’acculturation nécessaire.