La prima sessione, coordinata da Andrea Bonaccorsi del Direttivo ANVUR, è stata dedicata agli studi più recenti sugli stili comunicativi, sulla definizione di qualità e sul processo di peer review nell'ambito delle scienze umane e sociali. Il tratto comune a questi studi è l'approccio dal basso, con interviste dirette e indagini con ricercatori delle singole discipline. Le relazioni, di altissimo livello - i nomi di Henk Moed, Thed Van Leeuwen, Sven Hug, Jochen Glaser non hanno bisogno di presentazioni - hanno fatto emergere con chiarezza alcuni principi di fondo:

• le scienze umane e sociali non sono monolitiche: alla nozione diffusa che le scienze umane e sociali siano profondamente diverse rispetto alle scienze esatte per canali di comunicazione, stili citazionali, pratiche epistemiche, numero di autori, si aggiunge la considerazione che anche all'interno delle singole aree delle stesse scienze umane e sociali ci siano differenze profonde, per cui gli strumenti di comunicazione di un filologo – monografia, edizione critica – sono assai diversi da quelle di un sociologo o di uno storico dell'arte. Risulta quindi difficile individuare misure valide per tutti;
• la produzione è assai variegata e ogni tipologia di prodotto ha un suo peso specifico in ogni area: ferme restando le differenze fra le aree, con la sociologia e l'economia in cui, per assimilazione con scienze esatte, l'articolo su rivista sta guadagnando importanza, lo studio di Jochen Glaser ha dimostrato come ad esempio gli storici dell'arte - ma la percezione è diffusa anche in altre discipline - demandino la diffusione di nuova conoscenza alla monografia, la segnalazione di nuova conoscenza alle recensioni, mentre ritengano non rilevante la pubblicazione di un articolo su rivista e utilizzino i capitoli di libro solo - va detto - per aggiungere prodotti al proprio curriculum. Chi ha un minimo di esperienza con panel di ricercatori delle diverse aree, magari negli Osservatori per la Ricerca, sa che in altre aree invece il capitolo di libro e l'articolo su rivista, così come il proceeding in atti di convegno, sono gli strumenti principali di comunicazione. Non si può quindi generalizzare nemmeno sulle tipologie di prodotto e sugli eventuali pesi da assegnare;
• "internazionalizzazione" non significa scrivere in inglese né essere citato nelle banche dati internazionali: questo concetto fuorviante è stato da più parti criticato. Le scienze umane e sociali sono per natura legate alle lingue nazionali - alcuni concetti risultano addirittura intraducibili; molti ambiti di ricerca sono strettamente locali - e qui Henk Moed ha proposto una distinzione fondamentale fra il valore "accademico" di una ricerca e il suo valore "culturale", che può essere di capitale importanza per la comunità locale cui è riferito. Il vero tratto internazionale si riconosce nella composizione del comitato editoriale e scientifico, nei coautoraggi, nel livello di prestigio e nella rilevanza che la rivista assume per la comunità degli studiosi della disciplina fuori d'Italia, anche se scritta in italiano;
• salvaguardare la "biodiversità": sia l'uso delle lingue nazionali sia l'eterogeneità degli strumenti di comunicazione, anche se possono sembrare elementi di complessità che rendono più arduo il compito del valutatore, vanno salvaguardati perché costituiscono la ricchezza e la specificità, come si diceva in apertura, delle scienze umane e sociali. L'appiattimento verso strumenti quali l'articolo su rivista e le citazioni solo perché più facilmente quantificabili snaturerebbero i paradigmi della comunicazione scientifica in queste aree;
• la produzione umanistica è assente dalle banche dati internazionali: la copertura della miriade di tipologie di prodotti nei quali si sostanzia la produzione scientifica umanistica trova pochissimo spazio all'interno delle banche dati citazionali, in cui l'inglese resta la lingua preponderante, anche se sia Scopus sia Web of Science si stanno aprendo all'inclusione di libri e capitoli di libro: Jochen Glaser ha dimostrato come, tuttora, la produzione di storia dell'arte tedesca sia praticamente invisibile vuoi perché in lingua tedesca vuoi perché prodotta in tipologie documentali non considerate e indicizzate;
• le citazioni e le note hanno una funzione diversa: se nelle scienze esatte le note contengono riferimenti alla letteratura conosciuta per creare lo sfondo dal quale emerge la nuova conoscenza, nelle scienze umane le note servono più da contrappunto al testo e spesso contengono solo una ulteriore dimostrazione dell'idea sostenuta. Le citazioni in area umanistica sono un riconoscimento agli studi precedenti e sono contenute già nel testo del prodotto di ricerca, mentre nelle scienze esatte il riconoscimento arriva a posteriori appunto sotto forma di citazione: questo impone però un ripensamento dei tradizionali strumenti bibliometrici, proprio in virtù della diversa funzione della citazione. Nelle scienze umane e sociali la mancanza di citazioni successive non è indice quindi di scarso successo, ma di un diverso modo di citare. Sarebbe necessario quindi concentrarsi sulla citazione intratestuale intesa come uso delle fonti: è l'uso della citazione che va studiato, con l'ausilio di focus groups che coinvolgano ricercatori di diverse discipline;
• la prospettiva è personale e autore e lettore non coincidono: a differenza delle scienze esatte, l'autore lavora da solo, la sua tensione è sull'oggetto della ricerca, su cui dà un'interpretazione personale e originale in un quadro di assoluto pluralismo di vedute; gli altri lavori sono usati solo per delineare il contesto di riferimento; di questo va tenuto conto sempre qualora si vogliano utilizzare le citazioni per la valutazione. Va anche tenuto conto del fatto che non sempre autore e lettore coincidono, come dimostrano studi bibliometrici che Henk Moed ha utilizzato proprio per evidenziare le specificità delle scienze umane: dal raffronto fra downloads e citazioni emerge una forte correlazione nelle scienze esatte (chi legge poi cita), mentre questo legame non è così evidente nelle scienze umane;
• centralità della peer review: alla luce di tutto questo, la peer review sembra confermarsi come lo strumento più idoneo per una valutazione efficace nelle scienze umane e sociali. Esistono però difficoltà oggettive derivanti dalla impossibilità di comparazione fra i giudizi e difficoltà legate alle discipline di nicchia, con un numero ridotto di studiosi e quindi di esperti. Sarebbe utile trovare opportuni accorgimenti che permettano di ovviare anche a queste difficoltà.

Una segnalazione particolare merita lo studio di Sven Hug e Michael Ochsner [2] del Politecnico di Zurigo, che, constatata l'inadeguatezza degli indicatori esistenti o il loro palese rifiuto da parte degli umanisti, ha tentato di costruire un set di indicatori a partire dalla definizione di criteri condivisi di "qualità" di un prodotto scientifico in area umanistica. Attraverso focus groups che hanno coinvolto ricercatori di diverse singole discipline sono stati individuati come punto di partenza 19 "criteri" fondanti della qualità e loro 70 "aspetti"; è stato poi chiesto di individuare per ognuno dei criteri un metodo di misurazione su cui costruire indicatori di tipo quantitativo; in molti casi questo non è stato possibile. Il risultato della ricerca è che molti degli aspetti della qualità non sono quantificabili né misurabili: l'insegnamento da trarre è che non tutto ciò che conta per una comunità scientifica può essere espresso in numeri.

È stato sottolineato quindi come l'uso esclusivo di indicatori quantitativi, che colgono solo una minima parte degli aspetti riconosciuti di qualità, sia pericoloso per la valutazione, perché può fornire risultati fuorvianti o del tutto parziali; decisamente da preferirsi l'approccio qualitativo della peer review. I dati quantitativi possono invece essere usati come corollario a un approccio qualitativo nella informed peer review, fornendo quindi all'esperto che legge il prodotto anche dati di contorno. L'invito è, infine, a dichiarare apertamente quale aspetto si sta valutando e con quali strumenti.

L'importanza della trasparenza su fini, criteri, risultati è stato un altro tratto comune della intera giornata, così come il monito a considerare la valutazione un processo sempre in fieri, sempre migliorabile e perfettibile. Un altro monito emerso durante il dibattito è stato quello di approfondire gli effetti collaterali della valutazione, quali le possibili distorsioni, lo studio dei soli argomenti mainstream, i comportamenti adattivi.

La seconda sessione è stata dedicata al confronto con le realtà di altri paesi europei per la condivisione di buone pratiche. Particolarmente illuminante l'intervento di Nigel Vincent della Università di Manchester, che illustrando i criteri del Research Excellence Framework (REF) in atto in Gran Bretagna ha sottolineato come tutti i panel di esperti debbano evitare:

a) l'uso di dati bibliometrici e Impact Factor ove presente;

b) l'uso di ranking di riviste;

c) l'uso di ranking di sedi editoriali ed editori.

Come si legge al paragrafo 53 dei "Generic statement of assessment criteria and working methods":

Nel documento viene sottolineato a più riprese come l'intero esercizio di valutazione debba consistere in una "expert review" e i panel che decidano di fare uso di dati citazionali devono giustificarne la motivazione e possono utilizzarli solo come dati complementari. Il focus deve quindi essere sul singolo prodotto, valutato dall'esperto in base al solo valore intrinseco.

È molto significativo notare come la Gran Bretagna, che ha una lunga tradizione di esercizi di valutazione della ricerca e che in passato ha utilizzato strumenti bibliometrici, si sia orientata verso la pura peer review in tutte le aree, anche nelle scienze esatte.

Non solo: quanto la Gran Bretagna sia all'avanguardia è dimostrato anche dal requisito fissato per il prossimo REF post-2014, ovvero che tutti i contributi su rivista presentati, per essere valutati, debbano essere disponibili come postprint (o authors' accepted manuscript) in un archivio Open Access. [4] Si tratta del primo esempio di politica nazionale che mette a sistema il cosiddetto "green Open Access", ovvero il deposito in repository istituzionali dei prodotti di ricerca, ovunque siano stati pubblicati, nella versione consentita dall'editore per l'Open Access. Occorre ancora una volta sottolineare come la politica non preveda in alcun modo la pubblicazione su riviste Open Access, ma solo il deposito della versione finale di lavori pubblicati su riviste tradizionali.

Il contesto francese è stato presentato da Ioana Galleron e Goeffrey Wiliams, studiosi membri di EvalHum, un'associazione non-profit che si prefigge di migliorare il riconoscimento, l'impatto e il finanziamento della ricerca in ambito umanistico e delle scienze sociali mediante l'elaborazione di procedure di valutazione più specifiche e adeguate. [5] Dalla loro presentazione emerge l'esigenza in Francia di chiarire meglio le finalità della valutazione della ricerca e di realizzare degli strumenti di raccolta dei dati più efficaci e stabili che consentano di cominciare ad effettuare analisi precise.

Elea Gimenez Toledo ha presentato il progetto spagnolo SPI: Scholarly Publishers Indicators per l'elaborazione di indicatori utili alla valutazione di monografie nell'ambito delle scienze umane e sociali. [6] Gli indicatori, individuati mediante un processo di indagine bottom-up che ha visto il coinvolgimento di 11.000 ricercatori in un survey nazionale, sono però volti alla classificazione delle sedi editoriali per cui vale il monito a non utilizzare il ranking in modo meccanicistico per la valutazione dei prodotti.

Più innovativo il progetto di da Alesia Zuccala avviato nell'ambito di Elsevier Bibliometrics Programme in collaborazione con OCLC-Worldcat [7] sulla possibile valutazione delle monografie nell'ambito delle scienze umane e sociali sulla base di indicatori che derivano dalle recensioni pubblicate in rivista e dalle informazioni di "posseduto" nei cataloghi di biblioteca (libcitations). [8] L'analisi bibliometrica ha dimostrato una correlazione positiva fra le citazioni dei libri in Scopus [9] e la presenza degli stessi volumi nelle collezioni delle biblioteche. Zuccala ha inoltre presentato un'interessante evoluzione del progetto che si prepone di estendere l'analisi ai dati che derivano dalle citazioni delle monografie nei social media in cui i lettori condividono le proprie recensioni, suggerimenti e rating dei volumi. L'analisi verrà condotta analizzando i dati che derivano dal social network Goodreads[10] e verranno confrontati con quelli ottenuti da Scopus e Worldcat.

Durante il dibattito è stata segnalata l'idea della nascita di una Public Library of Humanities che sta prendendo vita in area anglosassone, a partire da una conversazione su Twitter fra studiosi delle scienze umane e sociali. [11] In analogia a PLoS (Public Library of Science) [12] dovrebbe trattarsi di una piattaforma per la pubblicazione/disseminazione di lavori scientifici e l'adozione su larga scala delle Altmetrics [13], metriche alternative basate sulla rilevazione dell'impatto delle pubblicazioni nei social media, anche fra gli umanisti.

Andrea Bonaccorsi ha tentato una rapida sintesi dei temi fin qui ricordati, la specificità in primis, e ha sottolineato l'attitudine dell'ANVUR all'ascolto delle comunità scientifiche, alla creazione di fiducia reciproca fra i soggetti coinvolti, all'accettazione delle controversie in un'ottica di dialogo costruttivo. Ha poi enunciato alcuni elementi di metodo per una peer review più efficace in vista del futuro esercizio di valutazione, ovvero l'adozione di Linee Guida per i revisori, l'obbligatorietà di una scheda di giudizio da compilare per accompagnare il voto finale, la valutazione degli esperti alla luce del loro comportamento nella VQR precedente, la pubblicazione tempestiva delle liste di esperti.

Anche sulle procedure relative alla scheda SUA-RD [14], per evitare l'adozione di misure quantitative pure in assenza di peer review - per tempi tecnici - si pensa a una nuova classificazione di tipologie di prodotti, a una maggiore considerazione dello stato editoriale della monografia - specificando se si tratta di opere originali o riedizioni - all'adozione di identificativi univoci per gli autori, quali ORCID [15], per dati più coerenti. Sono infine state mostrate le proposte elaborate dal Gruppo di lavoro Database e nuovi indicatori, ovvero lo studio di fattibilità di una banca dati delle pubblicazioni di area umanistica e sociale- presentata alle società scientifiche lo scorso 20 gennaio a Roma [16]- e le linee di ricerca aperte sui nuovi indicatori (per le riviste Open Access, per l'analisi di Google Scholar e dei suoi limiti, per il potenziale uso delle Altmetrics).

Nella sessione pomeridiana, presieduta da Andrea Graziosi del Direttivo ANVUR, si è dato largo spazio ai Gruppi di ricerca di recente creazione, uno per ognuna delle 4 aree CUN interessate (10 e 11, 12, 13, 14): il loro mandato è quello di suggerire nuovi percorsi e strumenti utili a una valutazione che tenga conto della citata "specificità".

In particolare, la ricca disamina di Vincenzo Militello, di area 12, ha preso le mosse dalle problematiche pregiudiziali, di contenuto e di rilevanza nei confronti del concetto stesso di valutazione per poi passare in rassegna i possibili tipi di analisi, l'oggetto della valutazione, il metro, la formalizzazione dei risultati con giudizi, scale numeriche, punteggi e concludere con una proposta interessante, ovvero che ogni docente fornisca, per la prossima VQR, non solo un numero stabilito di suoi prodotti ma anche un numero doppio di revisioni gratuite sugli altri lavori.

È seguita la presentazione delle sei proposte vincitrici del Concorso Pubblico di Idee di Ricerca bandito da ANVUR a luglio 2014 [17], con l'obiettivo di favorire lo studio di indicatori per la valutazione della ricerca nell'abito delle scienze umane e sociali. Le proposte di ricerca presentate si dividono fra studi di possibili indicatori per le monografie - in ambiti disciplinari specifici come le scienze giuridiche o mediante l'analisi della distribuzione nei cataloghi delle biblioteche (libcitations o library catalogues analysis) - e studi sulla coerenza e robustezza dei dati citazionali, mediante il confronto fra basi di dati proprietarie commerciali e basi proprietarie, ma aperte come Google Scholar [18].

Le conclusioni hanno evidenziato i passi avanti compiuti nel dialogo con le società scientifiche verso criteri di valutazione condivisi ed efficaci, nella convinzione, espressa anche dalla scelta di Escher per il logo del workshop, che la valutazione sia un processo complesso e mai finito.

Marialaura Vignocchi, ASDD - Settore Gestione e sviluppo della biblioteca digitale d'Ateneo - AlmaDL - Università di Bologna, e-mail: marialaura.vignocchi@unibo.it

Elena Giglia, Direzione Sviluppo Organizzativo, Innovazione e Servizi Bibliotecari - Università di Torino, e-mail: elena.giglia@unito.it

Note