il mito degli impact factor e la valutazione

Da un lato è evidente la necessità di valutare la produttività scientifica di un accademico, e di trovare un modo oggettivo per farlo. Tutti noi che facciamo ricerca, pensiamo subito all'impact factor, che è il modo più "comodo" e "veloce" per dare una misura dell'importanza della rivista sulla quale pubblichiamo. Infatti, quando riusciamo a pubblicare con un alto IF, ce ne bulliamo subito.

D'altro canto, pensare di valutare gli stipendi di un docente o le dotazioni di un dipartimento sulla sola base degli Impact Factor è sbagliato.

I limiti dell'uso dell'impact factor, da un punto di vista prettamente tecnico, sono piuttosto noti. Per fare un esempio: se pubblico una review (chedi norma finsice su giornali di review, ad alto IF, e che di norma assicura un ragguardevole numero di citazioni) magari sono uno che legge tonnellate di letteratura scientifica, ma non è detto che faccia ricerca decentemente.
Per farne un altro: nel mio dipartimento, le tematiche di cui mi occupo mi permettono (se le ricerche funzionano) di pubblicare su riviste con IF piuttosto elevati, mentre i colleghi (stesso dipartimento!) che si occupano di radiochimica e chimica nucleare sono pressochè obbligati a pubblicare su riviste a IF molto più basso. Perchè la chimica nucleare e la radiochimica non se le fila più nessuno? Non lo so, ma questo è il dato di fatto. Non parliamo poi delle differenze tra aree diverse (peraltro già più facilmente correggibili con opportuni fattori).

Io però in realtà volevo aggiungere qualche altra considerazione, meno tecnica e più maliziosa.

Il mondo delle pubblicazioni scientifiche infatti non è un circolo di gentlemen: in certi casi può somigliare di più al mercato delle vacche.

Aggiungere un nome di un collega o di un sottoposto per "fare curriculum" è piuttosto semplice, e di conseguenza sfruttabile, se si è nella posizione di poterlo fare.
Pubblicare su riviste ad elevato impact factor può essere più facile per un gruppo di ricerca storicamente affermato e potente che non per un ricercatore che da solo o con pochi mezzi (anche di capitale umano) tenti nuove strade. L'autorevolezza del vecchio caposcuola che sottopone un articolo può avere un suo peso, magari marginale ma non tracurabile in caso di lavori diciamo così "borderline".
Esiste il (mal)vezzo dell'autocitazione, che quando uno ha superato un certo limite di pubblicazioni diventa un modo di drogare la propria valutazione in modo sensibile: quando scrivo un articolo, ci cito dentro tutti i miei articoli precedenti, ed ecco che il numero delle citazioni che mi riguardano sale vertiginosamente.
Poi c'è il fattore C.
Farò un esempio/scenario verosimile, basato su un mashup di situazioni che conosco bene.
Tra 2003 e 2004 ho raccolto i frutti di un ottimo periodo di ricerca, con una serie di pubblicazioni su riviste a indice d'impatto stratosferico (6-8). Il fattore C ha avuto il suo peso. Una valutazione di quell'anno accademico mi avrebbe visto lo stipendio aumentare? Bene.
Nel biennio successivo, chissà, magari ho lavorato un pò meno perchè sono diventato padre, oppure ho iniziato linee di ricerca nuove, o ho provato a strappare il cordone ombelicare con il vecchio mentore. O semplicemente ho avuto un po' di sfiga (mancanza di fattore C): un laureando inconcludente, la mancanza di soldi (magari perchè il ministero ha dato meno fondi), il tempo che sparisce perchè mi affidano un corso da 9 crediti a sorpresa e non posso rifiutarmi di farlo per il bene del dipartimento etcetc.
Risultato: qualche buon articolo, come autore di riferimento, ma niente a che vedere (IF tra 2 e 4) con quelle di due tre anni fa. Cosa mi dovrei aspettare, lo stipendio che si abbassa "sotto quello di un docente di scuola superiore"? E perchè?
Certo, sul lungo periodo un bravo ricercatore verrà (o tornerà) a galla, ma sul breve (e breve può vuoler dire anche qualche anno) il fattore C, unito a quanto detto sopra può avere effetti nefasti.

Insomma, quello che temo è che affidare l'incremento stipendiale a una misura che si basi unicamente sull'impact factor o su parametri ritenuti meccanicamente oggettivi ad esso legati (e quindi molto rigidi) rischierebbe di penalizzare non tanto i baroni (che avendo a disposizione tante risorse riusciranno comunque ad avere un certo numero di pubblicazioni decenti assicurate), quanto i ricercatori più giovani e/o meno legati a gruppi di ricerca affermati, o chi si occupa di topics poco trendy.

E allora? Niente valutazioni di questo tipo?
Certo che no. Chiunque bazzichi il mondo della ricerca sa che ci sono tanti altri "meriti" di cui tenere conto contestualmente a IF e citazioni. Capacità di fare da mentore (coordinare tesi di laurea e dottorato, per esempio), che esce dal contesto puramente didattico e si situa più vicino a quello della ricerca. Capacità di collaborare con istituzioni ester(n)e. Capacità di farsi finanziare progetti di ricerca. Partecipare a congressi internazionali per presentare i propri risultati. Essere invitati (e essere disponibili, e essere capaci) a tenere conferenze internazionali. Solo per citare le prime che mi vengono in mente.