Types de documents, productions et activités valorisées par la science ouverte et éligibles à une évaluation

Comité pour la science ouverte

version 1, novembre 2019

De nombreux acteurs s’accordent à dire que la mise en œuvre de la science ouverte nécessite la prise en compte de l’ensemble des processus et activités de recherche dans l’évaluation. Celle-ci concerne tout autant les publications que les projets de recherche, les personnes, les collectifs ou les institutions, et leurs interactions avec la société. Le Plan national pour la science ouverte souligne en particulier l’importance de prendre en compte une approche qualitative plutôt que quantitative et cite le manifeste de Leiden (Hicks & al., 2015) et la déclaration de San Francisco sur l’évaluation de la recherche (DORA, 2012). Même si des démarches similaires préexistaient au mouvement pour la science ouverte, ce dernier vise à les rendre visible, à les légitimer et à les pérenniser.

Ces recommandations du Comité pour la science ouverte s’appuient sur celles de l’Open Science Platform Policy (OSPP) qui fédère les efforts et les stratégies de l’Union Européenne autour de 8 piliers prioritaires dont deux propres aux questions d’évaluation : l’incitation aux pratiques d’ouverture et à leur reconnaissance ; le déploiement d’une nouvelle génération d’indicateurs de la recherche. Dans ces recommandations, destinées à l’ensemble des institutions pilotant des systèmes d’évaluation, nous avons retenu deux dimensions essentielles qui sont au cœur de la science ouverte.

1/ Le Comité pour la science ouverte encourage la valorisation des bonnes pratiques de science ouverte, en particulier celles qui incitent à la mise à disposition de l’ensemble des types de documents et plus largement de produits de la recherche, incluant mais ne se limitant pas aux données et aux publications. En effet, cette mise à disposition facilitera d’une part la pleine prise en compte de la diversité des contributions individuelles et collectives à la recherche, d’autre part incitera à la prise de connaissance du contenu de ces productions et à leur évaluation qualitative.

2/ Le Comité pour la science ouverte soutient la reconnaissance de la gamme complète des activités de recherche, dans la pluralité des champs disciplinaires, par opposition à des dispositifs qui seraient uniquement centrés sur les publications scientifiques, voire sur une partie limitée d’entre elles ou sur des indicateurs qui en résultent (McKiernan & al., 2019). De même, il s’agit de renforcer la reconnaissance des nouvelles configurations des formes de savoirs, pluridisciplinaires, et notamment de science citoyenne.

Pour ce faire, sont distinguées dans ce qui suit :

17 types de produits et documents ; tableau 1 : « Types de documents et productions élaborés au sein de l’ensemble du cycle de la recherche et leurs modes de diffusion ouverte »,
12 types d’activités ; tableau 2 : « Types d’activités valorisées par la science ouverte et éligibles à une évaluation ». Les activités du tableau 2 peuvent donner lieu à de la production documentaire, et dans ce cas, elle relève des recommandations du tableau 1.

Dans le respect des principes légaux et réglementaires encadrant l’ouverture et la diffusion des résultats et données de recherche, nous recommandons de suivre le principe « aussi ouvert que possible, aussi fermé que nécessaire ».

Les documents et productions visés au tableau 1 ne peuvent être considérés comme pleinement ouverts que s’ils sont rendus publics sous les conditions d’une licence dite libre ou ouverte. En effet, un objet diffusé sans licence est certes consultable par les tiers, ce qui constitue une forme minimale d’ouverture, mais ses modalités de réutilisation ne sont pas connues. Le choix final de la licence appartient à ceux qui rendent publics leur production, dans le respect du décret n° 2017-638 (Premier Ministre, 2017) ^[1]Selon le choix de la licence, les modalités de réutilisation peuvent varier. A minima, la licence permet l’accès et la diffusion non commerciale du document sans modification (par exemple Licence Creative Commons CC BY-NC-ND-SA). Dans sa forme la plus libérale, sous condition de mentionner l’auteur, la licence permet l’accès, la diffusion commerciale et la modification (par exemple : Creative Commons CC BY ; pour les logiciels : GNU General Public License (GNU GPL) ; Licence CeCILL ; pour certains documents non logiciels : Licence Art Libre (LAL), Licence libre (LLD), European Union Public Licence (EUPL), Licence ouverte (LO.)).

Au-delà d’une licence, les dispositifs de publication, d’hébergement et d’archivage des documents et productions ont vocation à se conformer aux critères d’exemplarité, définis par le Comité pour la Science ouverte (2019).

Le Comité pour la science ouverte recommande à toutes les instances et institutions ayant des activités d’évaluation de discuter, diffuser et d’adapter ces bonnes pratiques à leur contexte. Cela inclut notamment les organismes de financement de la recherche, les instances de publication et d’évaluation. Les communautés et institutions demeurent souveraines dans leurs adaptations de ces recommandations, notamment dans l’agrégation, la qualification et la hiérarchisation des types de productions et documents. Le Comité pour la science ouverte attend une transparence de ces opérations, et notamment la justification des raisons pour lesquelles certaines productions ou activités ne seraient pas pris en compte dans leurs évaluations.

Contact

Ce document a vocation à être enrichi et mis à jour. Pour le commenter, écrivez à coso-comite_redaction-request@groupes.renater.fr.

Bibliographie citée et documents utilisés

Comité pour la Science ouverte (2019). Critères d’exemplarité en vue de financements par le Fonds national pour la science ouverte via les plateformes, infrastructures et contenus éditoriaux. Disponible sur : https://www.ouvrirlascience.fr/criteres-dexemplarite-financements-fonds-national-science-ouverte/

Commission européenne (2017). Evaluation of Research Careers fully acknowledging Open Science Practices Rewards, incentives and/or recognition for researchers practicing Open Science, 2017. Disponible sur : https://ec.europa.eu/research/openscience/pdf/ospp_rewards_wg03112017.pdf

DORA (2012). San Francisco Declaration on Research Assessment. Disponible sur : https://sfdora.org/read/

HCERES, Guides des produits de la recherche, 2019. Disponible sur : https://www.hceres.fr/fr/guides-des-produits-de-la-recherche-et-activites-de-recherche-0

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). The Leiden Manifesto for research metrics. Nature, 520, pp. 429-431. Disponible sur : http://www.leidenmanifesto.org/

McKiernan EC, Schimanski LA, Muñoz Nieves C, Matthias L, Niles MT, Alperin JP. (2019). Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. PeerJ Preprints DOI : 10.7287/peerj.preprints.27638v2

Premier Ministre (2017). Décret n° 2017-638 du 27 avril 2017 relatif aux licences de réutilisation à titre gratuit des informations publiques et aux modalités de leur homologation, JORF n°0100 du 28 avril 2017. Disponible sur : https://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000034502557&categorieLien=id

Bibliographie indicative pour aller plus loin

European Commission. (2016). Evaluation of Research Careers fully acknowledging Open Science practices. Disponible sur : https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf

Krzton, A. (2019). Support Scholars Who Share: Combating the Mismatch between Openness Policies and Professional Rewards. In ACRL 2019 (pp. 578–586). ACRL. Disponible sur : http://aurora.auburn.edu/handle/11200/49374

Nichols, D. M., Twidale, M. B., (2017). Metrics for Openness. JASIST 68 (4), 1048–1060.
Disponible sur : https://researchcommons.waikato.ac.nz/bitstream/handle/10289/10842/nichols-metrics-openness-jasist.pdf

Turckheim, E. de, Legouy, É. L., & Leclerc, L.-A. (2016). EREFIN Groupe de travail inter-établissements sur l’évaluation de la recherche finalisée. Rapport. Disponible sur : https://prodinra.inra.fr/?locale=fr#!ConsultNotice:352302

Wynne, R. (2019). Using ORCID to Re-imagine Research Attribution. Disponible sur : https://orcid.org/blog/2019/07/25/using-orcid-re-imagine-research-attribution

Tableau 1 : Types de documents et de productions élaborés au cours de l’ensemble du cycle de la recherche et leurs modes de diffusion ouverte

Type de documents et productions	Description	Exemples	Solutions pour diffusion en Science Ouverte	Exemples de lieux de diffusion
Publications certifiées	Toute publication postérieure à un processus d’évaluation par les pairs	Articles scientifiques, articles de synthèse, chapitres d’ouvrage, textes intégraux de communication, ouvrages, data papers, recensions…	Support en accès ouvert et dépôt dans une archive ouverte conforme, préférentiellement HAL	https://hal.archives-ouvertes.fr/
Publications non certifiées	Toute publication n’étant pas passée par un processus d’évaluation par les pairs	« Preprints », « working papers », « letters », « editorial material », documents de travail, rapports d’expérience, rapports de fouille, rapports de recherche, rapports d’expertise collective, films, catalogues d’exposition…	Dépôt dans une archive ouverte conforme, préférentiellement HAL	https://hal.archives-ouvertes.fr/
Communications	Tout type de communication dans une réunion scientifique	Posters, présentations vidéo, diapositives… à l’exception du texte intégral	Dépôt dans une archive ouverte conforme	https://zenodo.org/ https://www.snphpu.org/posters/base-de- posters_33.html
Textes diplômants	Tout texte produit dans le cadre d’une diplomation, dès le niveau Master	Mémoires de Master, de Magistère et d’Habilitation à Diriger des Recherches, thèses, thèses d’État	Diffusion via les bibliothèques pour le dépôt légal https:// star.theses.fr/ ; poussés dans les archives ouvertes conformes, TEL, DUMAS et HAL	http://www.theses.fr/ https ://tel.archives-ouvertes.fr https://dumas.ccsd.cnrs.fr
Données	Tout type de données produites dans le cadre de la recherche, définies comme enregistrements factuels qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté́ scientifique comme nécessaires pour valider des résultats de recherche.	Données tabulaires, images, sons, vidéos, données 3D, séquençage, données d’observation, données d’instruments, bases de données relationnelles, textes, annotations, etc.	Principe « aussi ouvert que possible, aussi fermé que nécessaire », principes FAIR (Facile à trouver, Accessible, Interopérable, Réutilisable)	https://zenodo.org/ https://www.huma-num.fr/consortiums
Plans de gestion de données	Plans élaborés dans le cadre de projets de recherche, incluant les formats, la description des données et les règles de partage.		Renseignement et dépôt dans une plateforme spécialisée	https://dmp.opidor.fr/public_plans
Logiciels	Tout type de code et d’interface	Distinguer (1) les services accessibles en ligne (ex. application web), (2) les logiciels téléchargeables-réutilisables (mais dont le code n’est pas ouvert), (3) les logiciels libres et open-source. En qualifier la réutilisabilité : documentation, tutoriel communauté d’utilisateur, communauté de développement.	Dépôt dans une archive ouverte adéquate gérant les versions et moissonnée par Software Heritage	www.softwareheritage.org
Brevets	Tout type d’invention technique et/ou industrielle	Procédés de fabrication, méthodologie, processus innovant	A partir de la date officielle de publication (en général 18 mois après leur dépôt), les brevets sont visibles dans les bases des offices de brevets ; ils peuvent ensuite être moissonnés par une archive ouverte conforme. Pourraient aussi être déposés dans les archives des institutions qui en sont à l’origine.	https://bases-brevets.inpi.fr/fr/accueil.html https://www.openinventionnetwork.com/
Projets de recherche	Tout type de projet à vocation de recherche	Résumé, synthèse ou proposition complète de projets financés. Les résultats du projet sont traités dans les autres types.	En l’absence de politiques institutionnelles actuellement définies, il faut viser le dépôt dans une archive ouverte conforme.
Protocoles de recherches	Description de méthodes, de démarche de recherche	Design d’essais cliniques	Dépôt dans une archive ouverte adéquate	https://www.protocols.io/ https://cos.io/rr/ https://clinicaltrials.gov/
Hypothèses de recherche	Pre-enregistrement et partage d’hypothèses avant de produire des expériences et des données	Blog de recherche, registered reports		https://cos.io/prereg/ Hypotheses.org
Appels à contribution	Texte intégral d’un appel	Articles, communications, session de colloque, projets de recherche…	Dépôt dans une archive ouverte adéquate	http://sciencesconf.org http://calenda.org
Rapports de lecture et d’évaluation	Texte intégral de tout type d’évaluation	Articles, ouvrages, communications, projets de recherche	Dépôt sur le site du document visé ou sur une archive adéquate avec un pointeur vers le document visé	https://peercommunityin.org/
Documents pédagogiques	Tout type de support à la formation de niveau universitaire (Master et Doctorat)	Synopsis de cours, bibliographies thématiques, référentiels, polycopiés, exercices, tutoriels, manuels, présentations (diapositives, vidéo,…), MOOCs, prototypes numériques	Dépôt dans une archive ouverte adéquate Intégration dans le portail ouvert de ressources pédagogiques de l’établissement	https://cel.archives-ouvertes.fr/ http://univ-numerique.fr/ https://www.canal-u.tv/ https://www.fun-mooc.fr/
Blogs et site Web	Tout type de présentation et communication scientifique à destination d’audiences variées	Billets de blogs	Archivage soit via une plateforme adéquate, soit par une solution propre	Hypotheses.org Hcommons Hastac
Plateformes	Ensemble de données, d’outils et de structures mis à disposition d’un public, par le biais d’une interface web ou d’API.	Plateformes de visualisation, de cartographies ou de photographies, fondées sur des données ouvertes, interrogeables et exploitables en temps réel. Certaines plateformes constituent des dispositifs phares de recherche participative	Archive pérenne de la plateforme	https://www.tela- botanica.org/ https://ourworldindata.org https://www.citique.fr/ https:// www.open-sciences- participatives.org/home/

Tableau 2 : Types d’activités éligibles à une évaluation

Type d’activité	Description	Exemples
Animation scientifique : organisation d’événements	Séminaires, ateliers, workshop, tables rondes, …	https://www.sciencesconf.org
Animation scientifique : discussion	Discutant(e) de sessions, d’atelier, modération de débats, participation à des tables rondes,…	https://www.sciencesconf.org
Expertise	Conseil (associations, entreprises, administrations…), Jurys (prix, médailles…), appui aux politiques publiques	https://www.anses.fr/fr/content/avis-et-rapports-de-lanses-sur-saisine
Culture scientifique : communication	Interviews, conférences grand public, articles de vulgarisation, vidéos de démonstration,…	https://www.jsb.be/ https://les-savanturiers.cri-paris.org/ https://sms.hypotheses.org/
Valorisation	Tout type de valorisation, qu’elle soit à dimension sociale, économique, politique… Elle peut inclure la diffusion et l’accompagnement de tout type de document et production du tableau	http://www.enseignementsup-recherche.gouv.fr/cid67054/www.enseignementsup-recherche.gouv.fr/cid67054/www.enseignementsup-recherche.gouv.fr/cid67054/les-satt-societes-d-acceleration-du-transfert-de-technologies.html
Formation	Enseignement initial, formation professionnelle, encadrement d’étudiants et de jeunes chercheurs, organisation d’écoles-chercheurs, formation à l’intégrité scientifique
Partenariats	Recherche, identification de partenaires, montage de partenariats	Création d’un groupement d’intérêt public (GIP), groupement d’intérêt scientifique (GIS), groupement de recherche (GDR)…
Direction et gestion	Direction de collectif et groupe de travail, de projet, de formation, de réseau scientifique, d’infrastructure, de plateforme, gestion de base de données, Référent intégrité scientifique	Direction structures (GIP, GIS, GDR…), Direction d’infrastructure
Participation à des revues et plateformes	Rédacteur/rédactrice en chef, membre de comité de rédaction, évaluateur/trice, modérateur de contenus, animateur/trice de communautés
Innovation collaborative	Toute démarche impliquant plusieurs acteurs ou partenaires dans le but d’élaborer un objet ou projet d’innovation. Cela comprend notamment le crowdsourcing, crowdfunding, les sciences participatives…
Création, recueil et/ou curation de données	Constitution de jeux de données pour test d’hypothèses, valorisation de l’expertise d’un groupe de recherche, pour élaboration de sujets de thèse, pour formation d’étudiants en Master	http://www.dossiers-flaubert.fr/folios.php?corpus=g226&volume=1&num_folio=1&access=volume&viewf=par_cote

References[+]