info@fondazionemondadori.it
L’esigenza di una valutazione rigorosa dei risultati della ricerca universitaria ha decretato la nascita della bibliometria, disciplina che misura l’impatto delle pubblicazioni nel dibattito accademico, sulla base delle citazioni ricevute. Questo modello è però di applicazione ardua per le scienze umane, dove è difficile discriminare tra editoria scientifica e divulgativa. Anche perché, caratteristica distintiva delle migliori tradizioni editoriali «di cultura» è proprio lo sforzo di abbattere le barriere tra accademia e contesto sociale di riferimento.
Il dibattito attorno all’attuazione della riforma universitaria stimola alcune riflessioni, in parte inedite, sulla natura e le funzioni di quella che in Italia usiamo chiamare «editoria di cultura». Il tema è quello della valutazione della ricerca e, sia detto a scanso di equivoci, non è affetto da partigianerie politiche. Qualunque sia l’assetto organizzativo e istituzionale dell’università, si pone il problema di una valutazione dei risultati della ricerca così da premiare i singoli ricercatori, i dipartimenti o gli atenei: tramite le carriere o la distribuzione delle risorse, poco importa in questa sede.
I toni sono tuttavia esasperati da circostanze peculiari del nostro paese. Una valutazione della qualità è per sua natura, appunto, qualitativa, e quindi discrezionale. Di questa discrezionalità si è fatto – talvolta? Troppo spesso? – pessimo uso in Italia, cosicché la ricerca di metodi che rendano la valutazione più obiettiva e pertanto verificabile ha finito per assorbire ogni altro elemento di una discussione che è invece, non è male ricordarlo, di più ampio respiro.
Poiché i risultati della ricerca sono resi noti tramite pubblicazioni, ogni esercizio valutativo ha per oggetto prodotti tipicamente editoriali e quindi ha riflessi sui modi in cui, in un concreto contesto produttivo, si fa editoria in questo ambito.
Ora, è evidente che la qualità, di per sé, non è misurabile (in linea teorica, è semmai ordinabile), ma l’esigenza di attribuire valori numerici, che facilitano operazioni di sintesi, è antica: dopo tutto è quanto si fa quotidianamente mettendo dei voti al termine degli esami, il che consente di dire che uno studente ha una «media del 27» attribuendo a ciò un significato condiviso perché basato su una metrica consolidata dall’uso. Niente di scandaloso, quindi, nella ricerca di metodi di trasformazione dei giudizi qualitativi in numeri, e di utilizzo di questi ultimi per fare confronti (tramite somme, medie o rapporti), tra singoli ricercatori o tra dipartimenti.
Per ottenere questo risultato, nella valutazione delle pubblicazioni, occorre però in modo consapevole e accorto utilizzare indicatori in grado di tradurre in numeri alcuni elementi che si suppone caratterizzino la qualità scientifica di una pubblicazione. Attorno a questa esigenza è nata una disciplina, la bibliometria, che si concentra in particolare su un elemento: l’impatto che le pubblicazioni hanno nel dibattito accademico, a sua volta misurato dalle citazioni ricevute da un articolo o da una rivista nel suo complesso. Chiunque si occupi seriamente della questione è consapevole dell’imprecisione del meccanismo e non sosterrà mai che le citazioni coincidono con la qualità. Ma ciascun processo valutativo è impreciso. Un indicatore del genere, per quanto imperfetto, aumenta la verificabilità del processo valutativo, riducendo le opportunità di abuso. Comincia inoltre a consolidarsi nell’uso e quindi ad assumere significati condivisi. Ha pertanto indubbi pregi, se usato correttamente.
Dev’essere chiaro, però, che il metodo basato sulle citazioni presuppone un preciso modello editoriale perché deriva da un modello di pubblico. E un modello fondato sull’autoreferenzialità, senza attribuire a questo termine una connotazione negativa. Si premia l’impatto nella comunità degli studiosi ed è pertanto a questi che bisogna rivolgersi. Il pubblico, in questo modello, è tutto interno all’accademia. Le comunità di studiosi possono essere vaste e sperabilmente sono internazionali e quindi non autoreferenziali sotto questo profilo. In alcune discipline, dove il discorso scientifico è per sua natura specialistico, ciò è inevitabile. Non per caso è nelle scienze naturali che le tecniche bibliometriche sono cresciute sia nell’elaborazione teorica sia in termini di raccolta dei dati citazionali necessari per la loro applicazione.
La minore diffusione in altre discipline, e in particolare nelle scienze umane e, in parte, in quelle sociali, non è dunque un puro accidente della storia. Perché si abbia una piena applicabilità degli stessi principi si deve assumere che lo stesso modello editoriale si possa applicare anche a queste discipline, e in particolare che possa essere definita una separazione netta tra editoria al servizio del discorso specialistico e editoria che si incarica di proporre i risultati della ricerca verso pubblici più ampi. In altri termini, che esista una netta separazione tra editoria scientifica e editoria divulgativa.
Se pensiamo alle migliori tradizioni editoriali italiane questa distinzione è spesso sconosciuta. Non esiste (o esiste poco), specie nelle scienze umane e sociali, una editoria scientifica così intesa e non esiste (o esiste poco) una editoria puramente divulgativa. Quella che chiamiamo «editoria di cultura» si colloca infatti esattamente nel mezzo, nelle forme (il libro più della rivista, ma anche un modello di rivista culturale che oggi attraversa ripensamenti forse proprio a causa di questa contraddizione), nelle procedure di selezione, ma soprattutto nella definizione del pubblico, che è il cuore di ogni discorso editoriale e ciò che condiziona forme e procedure.
Una caratteristica distintiva della «editoria di cultura» italiana è data proprio dallo sforzo costante di abbattere le barriere tra ricerca accademica e contesto sociale di riferimento, nell’ambizione (magari non sempre realizzata) di influenzarle entrambe proponendo un discorso culturale autonomo, in un rapporto dialettico e non di mero servizio del discorso scientifico.
Gian Arturo Ferrari in un articolo pubblicato lo scorso anno sul «Mulino» ha espresso in forma di iperbole il concetto, suscitando polemiche da parte di chi ha preso un po’ troppo alla lettera la figura retorica. Esagera certamente, Ferrari, quando dice che l’editore di cultura italiano è megalomane, perché vuol «fare di una casa editrice il ponte di comando, lo stato maggiore, la guida della cultura nazionale» ma coglie un punto importante per la discussione che qui ci interessa. «Altro che University Press» conclude Ferrari, e quando scrive non ha certo in mente il dibattito sulla valutazione. «La casa editrice non è al servizio dell’università, è l’università a accodarsi alla casa editrice.»
Insomma, se è possibile esercitare un po’ di ironia su una questione molto seria, che appassiona, la dicotomia che si presenta è tra l’editore servitore e l’editore megalomane. Non sorprende, allora, che l’accademia preferisca il primo e gli editori italiani se ne irritino.
Fuor di metafora, il modello editoriale di servizio è nobilissimo, e ha una tradizione antica nell’editoria scientifica internazionale, in particolare di matrice anglosassone, ma anche tedesca e olandese. La selezione delle opere da pubblicare deve avvenire tramite «procedure prestabilite e trasparenti di revisione tra pari» e qui uso il linguaggio del decreto ministeriale che stabilisce i criteri di valutazione per l’abilitazione dei docenti (ancora in bozza al momento in cui scrivo), che sanziona la scelta in una norma cogente. In questo modello, l’editore gestisce il processo di selezione, ma non seleziona egli stesso, perché le scelte sono demandate ai «pari», gli unici in grado di valutare la bontà del discorso scientifico. Non vi è spazio per un suo autonomo discorso culturale, se non attraverso la scelta dei revisori, sui quali possibilmente non deve poi interferire.
E evidente che ciò deriva da una diversa concezione del pubblico e quindi di modello editoriale. Se il pubblico è l’accademia, è coerente che la selezione sia effettuata dai pari. La procedura è quella del club: si richiede di aderire, ma sono i membri a valutare la dignità del candidato, sempre in base a nobili criteri. Neanche il più autorevole dei maggiordomi ha titolo per scegliere chi accettare nel club.
Ma torniamo ai tentativi di utilizzare numeri nella valutazione delle pubblicazioni. Per trasformare un giudizio qualitativo in un peso o punteggio il metodo più semplice è quello di far esprimere alcuni «pari» (una commissione, nel linguaggio più corrente) sulla qualità delle singole pubblicazioni, e trovare un metodo per far la sintesi. Un esempio molto chiaro e ben strutturato è quello proposto dall’ANVUR per la «Valutazione della qualità della ricerca» (VQR), l’esercizio valutativo più importante programmato nell’università italiana per il prossimo futuro (www.anvur.org).
Essenzialmente, alcuni valutatori danno un giudizio qualitativo (da «eccellente» a «plagio») che si trasforma in un punteggio (in una scala da 1 a -2) così da consentire sintesi e confronti tra dipartimenti o tra atenei. Il tutto gestito in trasparenza, su criteri predefiniti. Si parla qui di valutazione tramite peer review.
Più in generale, ci si può affidare interamente alla discrezionalità dei pari o si possono usare tecniche bibliometriche a integrazione, come è stato scelto per la VQR, in cui il dato bibliometrico entra nella determinazione qualitativa ma – com’è corretto – non determina direttamente i punteggi, ma solo la possibilità di entrare in una classe di qualità che poi attribuisce il peso a ogni pubblicazione.
Si può infine ipotizzare di sostituire interamente il processo discrezionale con un modello di valutazione bibliometrico. Lo si può fare per motivi di efficienza economica, quando la valutazione coinvolge un numero molto elevato di pubblicazioni, o per scarsa fiducia nell’uso che i valutatori possono fare del potere discrezionale loro attribuito.
Ma come gestire la cosa se i dati bibliometrici, e in particolare quelli citazionali, non esistono? E qui che emerge con più evidenza il peso del modello editoriale di riferimento. Non volendo rinunciare a numeri oggettivi, o pseudoggettivi, si utilizzano parametri diversi per pesare le pubblicazioni. A leggere la copiosa documentazione prodotta in quest’ultimo anno da istituzioni come CUN e ANVUR o società scientifiche delle discipline più diverse, emerge, sia pure nell’eterogeneità di opinioni, un percorso comune che si può così descrivere: 1) si definisce, in modo esplicito o implicito, un modello editoriale ideale; 2) si identificano gli elementi fondamentali che lo caratterizzano; 3) si valuta il caso concreto in ragione del grado di adesione al modello sulla base di tali parametri; 4) ciò diventa infine la base per stabilire i pesi da attribuire a ciascuna pubblicazione.
Certo, sto semplificando. Ma a volte è proprio su semplificazioni di questo genere che si producono norme e procedure. Il primo passaggio, in cui si definisce il modello editoriale, è ciò che qui interessa di più. Non sorprende che il modello del servitore sia preferito a quello del megalomane. Pressoché in tutti i documenti di questo tipo si ripete il mantra della peer review editoriale come garanzia di qualità, fino a trovare, come detto, una sanzione normativa per decreto del ministro. Ripeto, parliamo di una tradizione editoriale nobile, ma il punto è qui se la sua trasformazione in formalità procedurale sia un mezzo efficace per garantire la correttezza del processo di valutazione.
Forse aiuta a capire il punto l’uso dei termini peer review sia all’interno del processo valutativo (per indicare un giudizio interamente qualitativo-discrezionale) sia in quello editoriale (per indicare un processo di selezione). In sostanza, sembra essere il ragionamento, la valutazione dev’essere fatta dai pari: se gli editori affidano ai pari la selezione, si può usare questa come proxy della valutazione. Non sarà la stessa cosa (una peer review valutativa è diversa da una selettiva), ma l’approssimazione è ragionevole e si risparmia del denaro. C’è quindi una logica. Che regge tuttavia solo se il modello editoriale di servizio è l’unico esistente – la selezione dei pari avviene sempre, quindi si può utilizzare per altri fini – o lo si ritiene l’unico accettabile per le «pubblicazioni scientifiche», distinte e distinguibili dalle altre. Un editore può continuare a essere megalomane, e selezionare in proprio secondo logiche diverse, ma dovrà farlo sapendo che le pubblicazioni prodotte non saranno poi spendibili dagli autori (o avranno minor peso) nel processo di valutazione.
Che possa esistere più di un modello editoriale non sembra essere considerato nel dibattito in corso in Italia. Si riconosce che nelle scienze umane e sociali in confronto con quelle naturali, o nelle pubblicazioni monografiche in confronto con le riviste, la peer review editoriale non è sempre adottata, ma si vede questo come un mero elemento di arretratezza. Introdurre un criterio che rende obbligatoria la peer review fungerà da stimolo, quindi, per superare questa arretratezza.
Ma è sempre vero che la presenza di una peer review è sintomo di qualità? Credo che questo ragionamento abbia due limiti: da un lato non considera che – nel contesto editoriale italiano – molta editoria di qualità è stata fatta e si fa secondo modelli diversi e dall’altro che l’introduzione di una procedura editoriale per decreto indurrebbe soprattutto a simulare la sua adozione e ciò rischia di premiare i peggiori. Quando criteri diversi di selezione sono in opera perché rispondono a precise logiche editoriali, specie se megalomani, modificarli sarà molto più difficile che nei casi in cui la selezione avviene secondo mere logiche opportunistiche. Vestire la cattiva editoria con gli abiti formali della revisione dei pari è una bazzecola. Senza nemmeno dichiarare il falso: perché revisori opportunisti e autori opportunisti, in effetti, pari sono.
Senza andar troppo lontano, il lettore può trovare un esempio scorrendo il sommario del volume che ha in mano. Tirature risponde da anni a un preciso progetto editoriale e culturale: quello di creare un’occasione di confronto tra chi in accademia studia i rapporti tra editoria e letteratura e chi vive gli stessi problemi dal lato produttivo. Vi scrivono allora accademici e operatori, ed entrambi si rivolgono a un pubblico più vasto. Vi è sottesa un’ipotesi che credo possa esser definita scientifica: che questo confronto sia funzionale alla ricerca. Proprio a causa di questo approccio editoriale e culturale, la forma editoriale di Tirature è poco rispondente ai canoni formali della pubblicazione scientifica, a partire dall’assenza di apparati di note e quindi proprio di quelle citazioni che sono la materia prima della misurazione di impatto. Né la selezione degli articoli si basa su procedure formali di peer review, pur rispondendo a logiche altrettanto rigorose. Non passerebbe quindi l’esame di occhiute selezioni formali, in compagnia di molta produzione saggistica italiana. E questo il risultato che si vuole ottenere?
Giudicare la qualità del contenuto attraverso la forma della pubblicazione è sempre rischioso. Alcuni tentativi, in verità generosi e rispondenti a nobili obiettivi, sono stati fatti per definire più nel dettaglio elementi specifici del processo editoriale: è migliore una rivista, o una collana, o un editore, con un comitato scientifico di un certo tipo, meglio se con componenti stranieri; è migliore una rivista indicizzata in talune banche dati; è da escludere, perché non scientifica, una pubblicazione divulgativa o didattica (ammesso che si possa fare la distinzione); e così via.
In tutti questi processi, si finisce per giudicare il lavoro dell’editore invece di quello del docente perché si valuta la sede editoriale invece che la singola pubblicazione. D’altro canto è un procedimento largamente usato anche in bibliometria. Anzi, la misura più nota, l’impact factor (talvolta utilizzato, a sproposito, come sinonimo o antonomasia degli indicatori quantitativi di qualità), è una misura attribuita alle sedi editoriali, e in particolare alle riviste, non ai singoli articoli. Ma quali effetti ha sull’editoria la scelta, assai diffusa, di utilizzare indicatori di qualità basati sulla valutazione della sede invece che dei singoli articoli?
La risposta a me pare piuttosto semplice. L’adozione di tali criteri crea barriere all’ingresso nel mercato, in quanto ogni nuova iniziativa editoriale si trova in una posizione competitiva di grande svantaggio rispetto a quelle esistenti. I potenziali autori dovrebbero infatti accettare di essere valutati negativamente se vi pubblicano. In particolare, la concorrenza nel mercato delle riviste è già per sua natura fondata sul prestigio delle stesse (si pubblica sulle riviste più note perché si ha più probabilità di essere letti), la formalizzazione di questo fattore in una procedura che ha conseguenze dirette nell’attribuzione di fondi o nella carriera del docente/autore rischia di cristallizzare definitivamente la situazione. Tale effetto si realizza sia se la sede editoriale viene giudicata in base a dati oggettivi (le citazioni, tramite l’impact factor) sia se si costruiscono classifiche di sedi editoriali (riviste, collane, case editrici) sulla base di criteri qualitativi, legati alla reputazione che esse hanno acquisito nella loro storia. Credo che la diffusione in tutto il mondo di criteri di valutazione di questo genere sia la causa principale della crescente concentrazione nel mercato dell’editoria scientifica, di cui tanto ci si lamenta in ambienti accademici, proponendo soluzioni (a partire dall’open access) che nulla hanno a che fare con le dinamiche economiche su cui si vuole agire. Ma questo è un altro discorso.
Torniamo invece ai problemi che nascono quando si tenta una bibliometria senza dati, cercando metriche formali che possano sostituirli. Il dibattito sulla valutazione è finito sulle pagine dei principali quotidiani italiani quando l’ANVUR ha proposto, in un documento del giugno 2011, che nelle scienze umane e sociali – in assenza di dati e con la consapevolezza delle imperfezioni – le pubblicazioni edite all’estero valessero tre volte quelle italiane, criterio poi corretto a luglio a favore delle pubblicazioni in una lingua straniera in confronto con quelle in italiano. Si è gridato allo scandalo, e questo non ha favorito la riflessione. Il documento ANVUR di luglio ha spiegato nel dettaglio le ragioni della scelta, insistendo sulla necessità di premiare l’apertura internazionale della ricerca accademica italiana. Anche qui: un obiettivo condivisibile. Certo, il parametro potrebbe essere meglio formulato, proponendo – come ha fatto l’Aie in un suo position paper a settembre – che si distingua semmai tra lingua del ricercatore e lingua veicolare della disciplina. Ma ciò che qui più mi interessa è il confronto tra due posizioni che in fondo intendono combattere due diversi tipi di autoreferenzialità: il provincialismo di certa ricerca italiana, che non sa guardare oltre i confini nazionali e l’incapacità di un’altra parte della ricerca, che magari scrive su riviste anglosassoni, di avere un rapporto con la realtà sociale e culturale che la circonda. Purché consapevole, è certo legittimo privilegiare il primo obiettivo rispetto al secondo. Magari ricercando, come in effetti fa l’ANVUR nella VQR, in altri parametri – i bandi vinti, le commesse ricevute, i fondi raccolti – gli strumenti per valutare la capacità di interloquire con il territorio circostante.
Dal punto di vista editoriale resta il dubbio che si stiano mettendo a punto meccanismi che generano incentivi verso comportamenti più opportunistici che di qualità, perché troppo formali. O, per restare nella metafora, che premiare il modello editoriale di servizio premi i più furbi tra i servitori (categoria che in Italia vanta una lunga tradizione), e metta in un angolo i megalomani, la cui ambizione abbiamo tuttavia a lungo ammirato.
I correttivi sono a portata di mano. E infatti sufficiente non affidarsi troppo alla forma, quando i dati sull’impatto non sono disponibili: che sia la presenza della peer review o la lingua, il luogo di edizione o la ricchezza dell’apparato di note, si tratta sempre di «misure» assai imprecise che sarebbe meglio sostituire con una valutazione diretta del contenuto. Dall’altro lato, se i dati di impatto possono costituire – come molti studi sostengono – una buona approssimazione di un giudizio di qualità nella valutazione delle istituzioni (è opinione condivisa che non lo siano nella valutazione dei singoli), perché non pensare di costruirli laddove manchino, invece di affidarsi a spesso improbabili formalismi editoriali? Dopotutto, i metodi e le tecnologie sono a portata di mano per raccogliere dati sulle citazioni, anche in Italia e anche per le scienze umane.
023927 3061