L'opinione di Andrea Caranti
Nel suo articolo "Come valutare la ricerca" (unitn 2 (1999), n. 10, p.3), Paolo Tosi esprime il suo supporto all'utilizzo di "indicatori numerici" per la valutazione della ricerca.
Che l'attività di ricerca possa e debba essere valutata non c'è alcun dubbio. Questo non significa però che si debba avallare ciecamente un metodo qualsiasi di valutazione. Citerei a questo proposito un'affermazione dell'organismo che organizza periodicamente la valutazione della ricerca accademica in Gran Bretagna. Nella pagina Web http://back.niss.ac.uk/education/hefc/rae/2_97.html si legge fra l'altro, a proposito dei criteri per i futuri "Research Assessment Exercises" (RAE):

The method of assessment should be based primarily on peer review. In preparing for the 1992 and 1996 RAEs, the funding bodies consulted the HE sector on whether primarily quantitative indicators such as citations of published research should drive the assessments. They concluded that the sector was insufficiently confident that quantitative measures were robust enough, across all disciplines, to allow them to supplant peer review for the RAE. Recent studies broadly support that view, though we remain open to firm proposals for robust and widely acceptable mechanisms which might supplement peer review [...]

In altre parole, la valutazione della ricerca in Gran Bretagna è stata e sarà basata sul "peer review", cioè sul giudizio di esperti. Almeno per il momento "indicatori quantitativi quali le citazioni" non sono ritenuti abbastanza "robusti" per sostituirsi a tale giudizio, anche se rimane aperta la possibilità di avvalersi anche di indicatori di questo genere, come supporto alla valutazione di esperti. Mi pare che il punto di vista adottato in un paese come la Gran Bretagna non sia poi da buttare via a priori.
La parola "robusti" richiede un commento, dato che è usata in senso tecnico. Chi sostiene l'uso di indicatori numerici afferma generalmente che questi hanno il vantaggio di essere oggettivi. Ad esempio, prendiamo un determinato settore di ricerca e vediamo quale è il numero medio di pubblicazioni per persona all'anno. Poi andiamo a vedere una persona particolare, e vediamo come si colloca rispetto a tale media. Supponiamo che questa persona abbia un numero di pubblicazioni in un dato anno pari al 50% della media sopra descritta. Male, direte voi. Non è così facile. Ci sono settori ad esempio della Matematica in cui un ritmo di un paio di pubblicazioni l'anno è considerato più che adeguato. Dato che i tempi di pubblicazione sulle riviste sono oramai fuori controllo (18-24 mesi per molte delle migliori riviste internazionali), è facile che uno pubblichi magari un solo lavoro in un anno, e tre l'anno dopo. Vuol dire che nell'anno in cui ne pubblica uno solo è stato bravo la metà della media? E l'anno dopo, quando ne pubblica tre, è diventato improvvisamente il 50% più bravo della media? Il problema della "robustezza" è che le statistiche su campioni o numeri piccoli sono notoriamente poco significative. Dire che si tratta di numeri, e come tali oggettivi, è fuorviante. se in un settore il numero di citazioni medio per pubblicazione è piccolo, basta una variazione di poche unità in su o in giù per avere un effetto drammatico in percentuale, effetto che non corrisponde necessariamente a qualcosa di significativo.
Gli inglesi continuano quindi a ricorrere alla valutazione di comitati di esperti, al metodo cioè che Tosi stesso riconosce come consolidato. I singoli comitati di esperti delle varie discipline hanno formulato criteri specifici di valutazione per la loro disciplina: http://back.niss.ac.uk/education/hefc/rae96/c3_95.html tenendo conto comunque di criteri generali fissati per tutte le discipline. Questo approccio, che io condivido, contrasta con l'idea di Tosi che "si sta sempre più affermando l'uso di indicatori numerici (numero di pubblicazioni, numero di citazioni ricevute, ecc.) che quantifichino, in modo più o meno rozzo ma uguale per tutti, la quantità e la qualità della ricerca scientifica." Gli inglesi riconoscono che avere valutazioni "eguali per tutti" è impossibile - confrontate per esempio i criteri specifici adottati dal "subpanel" per la Matematica e da quello per la Musica, e capirete perché.
Va poi detto che entrambi gli indicatori citati da Tosi, quali il numero delle pubblicazioni e il numero delle citazioni, si prestano a essere manipolati. Quando si è cominciato a parlare di indicatori numerici in questo Ateneo, un mio lavoro relativamente lungo era stato appena accettato da un redattore prestigioso su una delle migliori riviste matematiche del mondo. Avevo poi per le mani altro materiale che dovevo decidere come organizzare in pubblicazioni. Avendo recepito il messaggio che "più pubblicazioni è bello", ho ritenuto (senza commettere nessun abuso, per la verità), di dividere il materiale che avevo in tre lavori di media lunghezza, che sono stati poi accettati per la pubblicazioni su tre buone riviste straniere (una inglese, una israeliana e una americana). A guardare solo i numeri, questi tre lavori valgono tre, mentre il primo vale uno. Ma il primo lavoro è senz'altro molto più importante degli altri tre (pur più che dignitosi) messi assieme! Questa è una valutazione che solo un esperto può fare. Inutile dire che ovunque si affermi il criterio di dare un valore "oggettivo" al numero di pubblicazioni, tutti quanti si danno alla nobile arte dello spezzettamento delle pubblicazioni, che non aggiunge nulla alla loro qualità scientifica.
In quanto al numero di citazioni, anch'esso è un indicatore poco "robusto", come già detto nel documento britannico. L'importanza attribuita al numero di citazioni e all'"impact factor" ha poi dato il via a un'altra nobile arte, quella della citazione per la citazione. Insomma, nelle mie pubblicazioni ho tutto l'interesse a aggiungere un paragrafo in cui dico: "A proposito di questo argomento si vedano anche gli interessanti articoli di Caio, Tizio e Sempronio". Gli articoli di Caio, Tizio e Sempronio non c'entrano niente, si capisce, ma sono amici miei, così aumento il numero delle citazioni dei loro lavori. Loro fanno lo stesso con me, e siamo tutti contenti. A dire il vero queste cose non le ho mai fatte, ma proprio in questi giorni sto cercando di convincere il coautore di un articolo a cui stiamo lavorando a inserire fra i riferimenti bibliografici un articolo fantasma, intitolato "Come aumentare il vostro fattore d'impatto". Insomma, non sono solo gli studenti che si scambiano i compiti agli esami, o si fanno sostituire da un collega più bravo…
Anche l'idea che se una pubblicazione ha avuto poche o nessuna citazione per un certo numero di anni sia da buttare non è così ragionevole come potrebbe sembrare a prima vista, soprattutto dati i tempi estremamente lunghi che bisogna aspettare per aver pubblicato. Quando ero ancora agli inizi, mi fu suggerito un problema di ricerca che aveva più che altro lo scopo di farmi fare esperienza. Lo risolsi, e scrissi un lavoro, che per diversi anni non ha avuto alcuna citazione; niente di strano, considerato lo scopo per cui il problema mi era stato posto. Pochi anni fa uno studioso tedesco ha scritto un libro in cui i risultati del mio lavoro occupano diverse pagine. Con mia grande sorpresa, quindi, è successo che quel mio lavoro giovanile è risultato in realtà qualcosa che rimarrà nella letteratura. Esempi analoghi, anche molto più nobili di questo, sono molto facili da trovare - lavori che "dormono" per molti anni prima di essere riscoperti, e dare magari il via a importanti filoni di ricerca.
Fra i vari indicatori che vengono proposti è il numero di pubblicazioni riferito alla media del settore scientifico di appartenenza. L'idea è ragionevole, dato che gli standard di produttività variano da un settore all'altro. Ma ci sono settori che sono pieni di persone entrate in ruolo attraverso le ope legis di massa degli anni passati: in questi settori basta lavorare anche poco per sembrare bravissimi, secondo questo indicatore, dato che il numero medio di pubblicazioni è vicino allo zero.
Credo che a volte i sostenitori degli indicatori numerici vogliano far diventare "tecniche" scelte che sono invece soprattutto "politiche". La scelta della quantità relativa di finanziamenti che ogni settore debba ricevere è soprattutto politica, intendo di politica della ricerca. Non si può decidere quanti finanziamenti dare alla Matematica e quanto alla Musica dicendo: secondo gli indicatori numerici i matematici sono bravi 0.83, mentre i musicisti sono bravi 0.97, e quindi...
Io parto invece dalla posizione "britannica", che considera il parere di esperti come l'unico modo accettabile, almeno al momento, per valutare la ricerca. È chiaro che questo metodo non è perfetto, se non altro perché si basa sul giudizio (fallibile) di esseri umani, ma gli indicatori "imparziali" sono al momento troppo sensibili a piccole variazioni, e facilmente influenzabili da fattori che niente hanno a che fare con la qualità della ricerca.
La conclusione che ne traggo è che non vi sono vie d'uscita facili per il problema della distribuzione delle risorse fra i vari settori di ricerca del nostro Ateneo. La base delle decisioni deve essere fornita dal parere di esperti competenti nei diversi settori. Questo è l'unico criterio universalmente accettato nei paesi con sistemi universitari avanzati. Gli organismi preposti alle decisioni assumeranno poi delle scelte, che possono e devono essere anche basate su altre motivazioni. Ad esempio, a volte si può volere sviluppare settori deboli ma di importanza strategica, al prezzo magari di rinunciare ad espandere ulteriormente un settore pur eccellente. Insomma, le decisioni difficili restano comunque decisioni difficili, e almeno per ora non si possono ridurre a confrontare due numeri.