In un quadro di crescente competitività, gli atenei saranno considerati non solo per la qualità della didattica, l'offerta di servizi e l'efficienza amministrativa, ma anche per la produzione scientifica. Ma come valutare la ricerca scientifica? Il compito è certamente non facile. Innanzitutto le diverse discipline hanno ciascuna obiettivi e modalità proprie. In secondo luogo, il giudizio sulla produzione intellettuale è influenzato dal quadro culturale e sociale di riferimento. Esiste infine l'irrisolto problema teorico di come ordinare in una scala di merito i diversi attori, istituzioni o singoli individui, evitando ambiguità logiche: K. Arrow ha infatti mostrato l'impossibilità di trovare una regola non ambigua per stabilire un ordinamento tra varie opzioni nel caso di più decisori. La valutazione della ricerca rischia così di apparire più un'utopia che un obiettivo concreto, e tuttavia elencare le difficoltà non deve impedire di affrontare il problema. Purtroppo, una parte dell'ambiente accademico accoglie con fastidio e diffidenza la richiesta di rendicontazione. R. Simone (L'Università dei tre tradimenti, Laterza 1993) ha scritto: "...Il professore ha due proprietà essenziali: la sacralità riottosa (o rifiuto del contatto con gli altri e di ogni forma di controllo) e il mandarinismo (o gelosa conservazione dei privilegi)... L'intangibilità è uno dei travestimenti del terrore, che i professori hanno, del confronto col mondo esterno e di ogni forma di valutazione del proprio lavoro. Il miglior modo di sottrarsi al confronto consiste nell'escluderlo in linea di principio sin dall'inizio."
Le attività di valutazione della ricerca si sono tradizionalmente basate sul cosiddetto "giudizio dei pari", cioè sul giudizio di un comitato di esperti (referees), possibilmente anonimi. Nei paesi più avanzati, questo metodo è ben conosciuto e sperimentato. Finalmente è stato adottato anche in Italia dal MURST per distribuire i fondi di ricerca ex 40%. Dopo anni di distribuzione a pioggia, l'adozione di nuove procedure è stato un notevole passo in avanti. Il metodo non è tuttavia esente da critiche. La più forte consiste nella denuncia della soggettività del giudizio, che è generalmente influenzato dalla personalità dei referees e dai loro pregiudizi culturali. I valutatori che non lavorano direttamente nel campo molto probabilmente non saranno in grado di capire pienamente il significato della ricerca. D'altra parte, gli addetti ai lavori possono essere naturalmente diffidenti verso teorie che sfidano i loro convincimenti o semplicemente essere incapaci di stabilire l'importanza del lavoro sotto esame. Anche i referees intellettualmente più onesti ed aperti si troveranno di fronte a difficoltà oggettive. Per questa ragione, si sta sempre più affermando l'uso di indicatori numerici (numero di pubblicazioni, di citazioni ricevute, ecc.) che quantifichino, in modo più o meno rozzo ma uguale per tutti, la quantità e la qualità della produzione scientifica. A sua volta, questo tipo di analisi presenta problemi: la critica più radicale contesta la possibilità stessa di quantificare numericamente un'attività complessa come la produzione intellettuale. A tali critiche si può rispondere ricordando che i dati vanno opportunamente interpretati. Consideriamo, ad esempio, il numero di citazioni ricevute. Questo parametro non ci dice nulla sulla preparazione di un autore, sull'utilità della sua ricerca e tanto meno sul suo impegno nella vita accademica. Ci dà invece indicazioni su quanto il suo lavoro sia stato utile ad altri studiosi. Inoltre se si vuole andare oltre una prima impressione, bisognerebbe sapere non solo quanto uno è stato citato, ma soprattutto perché. Appare così fin troppo ovvio che il numero di citazioni è solo uno dei molti strumenti a disposizione dei valutatori. Ciò detto, va sottolineato che il suo uso introduce importanti elementi di oggettività. Ad esempio, se dopo un certo numero di anni una pubblicazione non ha ottenuto nemmeno una citazione, allora con buona probabilità è stata letta solo dal suo autore e dai referees della rivista. È interessante notare che una parte sostanziale della produzione scientifica soddisfa a questo criterio di completa inutilità (40% per la fisica, 60% per la matematica, percentuali ancora più alte per le scienze sociali). Questo significa che in assenza di dati sulle citazioni, è possibile costruire carriere accademiche sulla base di pubblicazioni assolutamente irrilevanti (la cosiddetta "carta" o "pubblicazioni concorsuali"). Un altra critica comune all'uso delle citazioni solleva il problema delle citazioni negative. Anche se numerosi studi hanno mostrato che il numero di pubblicazioni che ottengono attenzione esclusivamente in termini negativi è assolutamente limitato, e costituisce perciò un'eccezione, mi sembra chiara la risposta di Harry Collins, direttore della Scuola di Scienze Sociali dell'Università di Bath: "Maybe it is possible to get a lot of citations by publishing something wrong, but at least it has to be interestingly wrong and even that is better than publishing something trivial, boring, or plagiarised - especially if it costs a lot of money".

[Per ulteriori informazioni sugli indicatori bibliometrici vedere l'appendice k del rapporto 1996 del Nucleo di valutazione interna dell'Università di Trento ed il sito Internet
http://www-phys.science.unitn.it/sci/main.html]