La Valutazione dei Ricercatori e delle Istituzioni Sientifiche in Europa

Convegno ANPRI – Roma, lunedì 24 novembre 2008

UN FUTURO PER LA RICERCA PUBBLICA ITALIANA:

AUTONOMIA, VALUTAZIONE, RISORSE

“LA VALUTAZIONE DEI RICERCATORI E DELLE ISTITUZIONI SCIENTIFICHE

IN EUROPA”

Henk F. Moed

Centre for Science and Technology Studies, Leiden University, the Netherlands

Cinzia Daraio

Centro di Ingegneria Economico-Gestionale (CIEG), Dipartimento di Scienze Aziendali, Università di Bologna, Italia

Abstract

Questo intervento presenta una panoramica sui metodi di valutazione della ricerca sviluppati nel campo della valutazione bibliometrica, un filone degli studi quantitativi di scienza e tecnologia, che si prefigge la costruzione di indicatori di performance della ricerca partendo da analisi statistiche e quantitative degli articoli scientifici prodotti dai ricercatori (Moed, Glanzel e Schmoch, 2004). L’analisi delle citazioni degli articoli scientifici è una delle metodologie chiave in questo ambito (Moed, 2005). Il contributo illustra le principali potenzialità e le maggiori limitazioni dell’uso di indicatori bibliometrici per la valutazione della ricerca, sia a livello “macro” (sistemi scientifici nazionali), sia a livello “meso” (istituzioni, incluse le singole università), sia a livello “micro” (gruppi di ricerca e singoli ricercatori).

La presentazione si focalizza sulla valutazione del contributo fornito dai ricercatori all’avanzamento della conoscenza scientifica. Si afferma pertanto l’importanza dell’attività di ricerca per il progresso economico-sociale, allo stesso tempo, si riconosce che un forte supporto politico-sociale per la “ricerca di base” può essere difeso soltanto sviluppando un sistema di controllo interno di qualità e potenziamento dei risultati (output). Si illustra come gli indicatori bibliometrici rappresentino utili strumenti all’interno di tale sistema complessivo di valutazione e controllo.

L’analisi delle citazioni per la valutazione di individui, gruppi e istituzioni è tanto più efficace quanto più è:

· Formale – ossia precedentemente nota ai valutatori o decision maker e agli scienziati o istituzioni sottoposte alla valutazione, i quali dovrebbero essere informati che questi indicatori sono utilizzati come una delle fonti di informazione.

· Aperta – in quanto coloro che sono sottoposti all’analisi bibliometrica hanno la possibilità di esaminare l’accuratezza dei dati sottostanti e di fornire informazioni di background che, secondo il loro punto di vista, è rilevante per una interpretazione dei risultati quantitativi.

· Fondata scientificamente – ossia che le analisi siano svolte in un contesto scientifico, discutendone la validità, esplicitando chiaramente le assunzioni teoriche implicite, ed evidenziandone le loro potenzialità e i loro limiti.

· Completata da valutazione di esperti e informazioni di background sui contenuti del lavoro sottoposto a valutazione, sulle condizioni in cui operano gli scienziati sottoposti a valutazione e sui loro obiettivi di ricerca.

· Svolta in un chiaro contesto politico – ossia applicata nell’ambito di una procedura di valutazione in cui l’approccio e gli obiettivi della valutazione sono chiari a tutti i partecipanti.

· Uno stimolo, per gli utilizzatori, a definire esplicitamente le nozioni di base di qualità degli scienziati, le dimensioni in cui si articola tale qualità e come questi concetti sono resi operativi in pratica e i “pesi” assunti dalle varie dimensioni.

· Utile – in quanto gli indicatori possono essere utilizzati per avere informazioni su aspetti particolari del processo, e non meramente inseriti in formule progettate per ottenere matematicamente i risultati del processo.

Stato della scienza italiana da un punto di vista macro

Il contributo illustra anche i primi risultati di un’analisi macro sul sistema scientifico italiano. I principali risultati sono i seguenti.

· La produzione di articoli e l‘impatto delle citazioni per articolo pubblicato aumentano negli ultimi decenni (1980-2007); i tassi di crescita annuali tendono ad essere superiori a quelli di altri paesi europei eccetto la Spagna.

· Nel 2007 la Spagna ha raggiunto l’Italia in termini di impatto delle citazioni per articolo.

· L’Italia è indietro nelle collaborazioni internazionali: era seconda negli anni ‘80; è penultima dal 2003.

· Nelle collaborazioni internazionali bi-laterali, Italia e Spagna presentano un andamento simile a quello dei paesi emergenti.

· L’Italia presenta un basso tasso di successo nei progetti presentati all’European Research Council.

Considerazioni generali sugli indicatori bibliometrici e analisi peer-review

· Gli indicatori bibliometrici sono strumenti utili per la valutazione della ricerca se sono accurati, precisi, aggiornati, abbinati ad analisi degli esperti (peer review) e se vengono interpretati e utilizzati con cautela.

· Generalmente, è corretto interpretare l’impatto delle citazioni in termini di influenza intellettuale (scientifica). Ma i concetti di impatto delle citazioni e influenza scientifica non coincidono.

· I risultati dell’analisi delle citazioni di gruppi di ricerca nelle scienze di base tendono ad avere una correlazione statisticamente positiva con le valutazioni dei pari (peer) sui risultati passati ottenuti dai gruppi.

· Il futuro dell’attività di valutazione della ricerca si basa su una appropriate combinazione di indicatori quantitativi (inclusi quelli bibliometrici) e analisi dei pari (peer review).

Database disponibili e copertura

· La copertura del database Web of Science della Thomson Reuters si rivela un eccellente strumento per le scienze di base, naturali, biologiche e di medicina clinica, ma mostra diverse lacune per le scienze umane e sociali.

· Il database Scopus della Elsevier fornisce una vera alternativa al database Web of Science della Thomson Reuter come fonte di indicatori bibliometrici per la valutazione della ricerca.

Unità di analisi

· Nell’analisi quantitativa della scienza, il gruppo di ricerca è la ‘naturale’ unità di analisi scientifica e rappresenta la più appropriata unità di analisi nella valutazione della ricerca istituzionale.

Indicatori

· Indicatori basati su citazioni relative o normalizzate, considerando il tipo di articolo pubblicato, la loro età e il campo di ricerca coperto, rappresentano una buona misura dell’impatto delle citazioni.

· L’impact factor delle riviste scientifiche non è una misura adeguata della performance di ricerca di un gruppo di scienziati. L’impact factor delle riviste scientifiche non è sempre accurato, è manipolabile, è fortemente affetto dalle differenti pratiche di citazioni adottate nei diversi campi scientifici, e non rappresenta affatto un buon predittore del reale impatto delle citazioni.

· L’indice di Hirsch è fortemente distorto a favore dei ricercatori più anziani con una carriera più lunga e a favore di ricercatori attivi in campi scientifici con un’alta frequenza di citazioni e fornisce una rappresentazione incompleta del reale impatto delle citazioni di un gruppo.

Tipi di analisi e benchmarking

· Analisi ‘Top-down’ (ad esempio con una disaggregazione della performance (output) istituzionale per area disciplinare) e ‘bottom-up’ (ad esempio aggregando individui in gruppi di ricerca). Sono entrambe approcci utili e complementari alla valutazione della ricerca di istituzioni (incluse le università).

· La combinazione di indicatori bibliometrici e di (social) network analysis fornisce una buona approssimazione della performance di gruppi di ricerca o istituzioni e degli andamenti della loro collaborazione scientifica.

· L’utilizzo di indicatori bibliometrici messi in relazione agli input della ricerca e ai fattori di contesto e ambientali, utilizzando recenti metodi econometrici per la valutazione della Ricerca & Sviluppo, rappresenta una promettente area per l’effettuazione di comparazioni robuste (Bonaccorsi e Daraio, 2004 in Moed et al. –eds, Daraio e Simar, 2007).

Riferimenti bibliografici citati

Moed, H.F., Glänzel, W., and Schmoch, U. (2004) (eds.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht (the Netherlands): Kluwer Academic Publishers.

Moed, H.F. (2005). Citation Analysis in Research Evaluation, Springer, Dordrecht (Netherlands).

Bonaccorsi A., Daraio C. (2004), “Econometric approaches to the analysis of productivity of R&D systems. Production functions and production frontiers”, in H.F. Moed, W. Glanzel and U. Schmoch (eds.).

Daraio C., Simar L. (2007), Advanced Robust and Nonparametric Methods in Efficiency Analysis. Methodology and Applications, Springer, New York (USA).