«Bibliotime», anno XVII, numero 3 (novembre 2014)

Precedente Home Successiva



Marialaura Vignocchi, Elena Giglia

La valutazione della ricerca nelle 'Humanities and Social Sciences', Roma, 17 novembre 2014 *



Abstract

Research assessment in the Humanities and Social sciences is particularly complex, due both to the peculiar patterns in scholarly communication and the scarce coverage in bibliometric international databases. ANVUR (National Agency for Research Evalutation) organized a workshop inviting European speakers with innovative studies or projects and Italian researchers who are organizing the forthcoming national evaluation exercise. In this paper we seek to highlight common issues and trends.

La valutazione della ricerca nell'area delle scienze umane e sociali riveste un carattere di particolare delicatezza, in virtù sia della eterogeneità delle ricerche e della produzione scientifica, sia della specificità dei canali di comunicazione la monografia su tutti sia della mancanza di dati oggettivi, a causa della scarsa copertura nelle banche dati internazionali.

Ben consapevole di queste premesse, anche in vista delle prossime scadenze valutative, l'ANVUR (Agenzia Nazionale di Valutazione Università e Ricerca) ha organizzato un workshop allo scopo di condividere e discutere con docenti e società scientifiche studi e tendenze in atto in ambito internazionale. [1]

La chiave di lettura della giornata è stata la "specificità", declinata in interventi che, da diverse prospettive, hanno sottolineato come il riconoscimento della specificità stessa non significhi enfatizzarla ad ogni costo fino a farla divenire un alibi per affermare che le aree umanistiche non possono essere valutate. Non solo: le scienze umane e sociali non devono essere viste come una "eccezione" nel panorama della comunicazione scientifica, ma solo come un fenomeno particolarmente complesso che merita studi approfonditi e soluzioni su misura. Affrontare le scienze umane e sociali solo come "problematiche" rispetto alle scienze esatte è del tutto riduttivo e impedisce di cogliere le questioni reali.

Internazionalizzazione, qualità, citazioni: quali misure?

La prima sessione, coordinata da Andrea Bonaccorsi del Direttivo ANVUR, è stata dedicata agli studi più recenti sugli stili comunicativi, sulla definizione di qualità e sul processo di peer review nell'ambito delle scienze umane e sociali. Il tratto comune a questi studi è l'approccio dal basso, con interviste dirette e indagini con ricercatori delle singole discipline. Le relazioni, di altissimo livello - i nomi di Henk Moed, Thed Van Leeuwen, Sven Hug, Jochen Glaser non hanno bisogno di presentazioni - hanno fatto emergere con chiarezza alcuni principi di fondo:

Una segnalazione particolare merita lo studio di Sven Hug e Michael Ochsner [2] del Politecnico di Zurigo, che, constatata l'inadeguatezza degli indicatori esistenti o il loro palese rifiuto da parte degli umanisti, ha tentato di costruire un set di indicatori a partire dalla definizione di criteri condivisi di "qualità" di un prodotto scientifico in area umanistica. Attraverso focus groups che hanno coinvolto ricercatori di diverse singole discipline sono stati individuati come punto di partenza 19 "criteri" fondanti della qualità e loro 70 "aspetti"; è stato poi chiesto di individuare per ognuno dei criteri un metodo di misurazione su cui costruire indicatori di tipo quantitativo; in molti casi questo non è stato possibile. Il risultato della ricerca è che molti degli aspetti della qualità non sono quantificabili né misurabili: l'insegnamento da trarre è che non tutto ciò che conta per una comunità scientifica può essere espresso in numeri.

È stato sottolineato quindi come l'uso esclusivo di indicatori quantitativi, che colgono solo una minima parte degli aspetti riconosciuti di qualità, sia pericoloso per la valutazione, perché può fornire risultati fuorvianti o del tutto parziali; decisamente da preferirsi l'approccio qualitativo della peer review. I dati quantitativi possono invece essere usati come corollario a un approccio qualitativo nella informed peer review, fornendo quindi all'esperto che legge il prodotto anche dati di contorno. L'invito è, infine, a dichiarare apertamente quale aspetto si sta valutando e con quali strumenti.

L'importanza della trasparenza su fini, criteri, risultati è stato un altro tratto comune della intera giornata, così come il monito a considerare la valutazione un processo sempre in fieri, sempre migliorabile e perfettibile. Un altro monito emerso durante il dibattito è stato quello di approfondire gli effetti collaterali della valutazione, quali le possibili distorsioni, lo studio dei soli argomenti mainstream, i comportamenti adattivi.

Impact factor e ranking di riviste ed editori: controversie e nuovi approcci

La seconda sessione è stata dedicata al confronto con le realtà di altri paesi europei per la condivisione di buone pratiche. Particolarmente illuminante l'intervento di Nigel Vincent della Università di Manchester, che illustrando i criteri del Research Excellence Framework (REF) in atto in Gran Bretagna ha sottolineato come tutti i panel di esperti debbano evitare:

a) l'uso di dati bibliometrici e Impact Factor ove presente;

b) l'uso di ranking di riviste;

c) l'uso di ranking di sedi editoriali ed editori.

Come si legge al paragrafo 53 dei "Generic statement of assessment criteria and working methods":

53. No sub-panel will make use of journal impact factors, rankings or lists, or the perceived standing of the publisher, in assessing the quality of research outputs. [3]

Nel documento viene sottolineato a più riprese come l'intero esercizio di valutazione debba consistere in una "expert review" e i panel che decidano di fare uso di dati citazionali devono giustificarne la motivazione e possono utilizzarli solo come dati complementari. Il focus deve quindi essere sul singolo prodotto, valutato dall'esperto in base al solo valore intrinseco.

È molto significativo notare come la Gran Bretagna, che ha una lunga tradizione di esercizi di valutazione della ricerca e che in passato ha utilizzato strumenti bibliometrici, si sia orientata verso la pura peer review in tutte le aree, anche nelle scienze esatte.

Non solo: quanto la Gran Bretagna sia all'avanguardia è dimostrato anche dal requisito fissato per il prossimo REF post-2014, ovvero che tutti i contributi su rivista presentati, per essere valutati, debbano essere disponibili come postprint (o authors' accepted manuscript) in un archivio Open Access. [4] Si tratta del primo esempio di politica nazionale che mette a sistema il cosiddetto "green Open Access", ovvero il deposito in repository istituzionali dei prodotti di ricerca, ovunque siano stati pubblicati, nella versione consentita dall'editore per l'Open Access. Occorre ancora una volta sottolineare come la politica non preveda in alcun modo la pubblicazione su riviste Open Access, ma solo il deposito della versione finale di lavori pubblicati su riviste tradizionali.

Il contesto francese è stato presentato da Ioana Galleron e Goeffrey Wiliams, studiosi membri di EvalHum, un'associazione non-profit che si prefigge di migliorare il riconoscimento, l'impatto e il finanziamento della ricerca in ambito umanistico e delle scienze sociali mediante l'elaborazione di procedure di valutazione più specifiche e adeguate. [5] Dalla loro presentazione emerge l'esigenza in Francia di chiarire meglio le finalità della valutazione della ricerca e di realizzare degli strumenti di raccolta dei dati più efficaci e stabili che consentano di cominciare ad effettuare analisi precise.

Elea Gimenez Toledo ha presentato il progetto spagnolo SPI: Scholarly Publishers Indicators per l'elaborazione di indicatori utili alla valutazione di monografie nell'ambito delle scienze umane e sociali. [6] Gli indicatori, individuati mediante un processo di indagine bottom-up che ha visto il coinvolgimento di 11.000 ricercatori in un survey nazionale, sono però volti alla classificazione delle sedi editoriali per cui vale il monito a non utilizzare il ranking in modo meccanicistico per la valutazione dei prodotti.

Più innovativo il progetto di da Alesia Zuccala avviato nell'ambito di Elsevier Bibliometrics Programme in collaborazione con OCLC-Worldcat [7] sulla possibile valutazione delle monografie nell'ambito delle scienze umane e sociali sulla base di indicatori che derivano dalle recensioni pubblicate in rivista e dalle informazioni di "posseduto" nei cataloghi di biblioteca (libcitations). [8] L'analisi bibliometrica ha dimostrato una correlazione positiva fra le citazioni dei libri in Scopus [9] e la presenza degli stessi volumi nelle collezioni delle biblioteche. Zuccala ha inoltre presentato un'interessante evoluzione del progetto che si prepone di estendere l'analisi ai dati che derivano dalle citazioni delle monografie nei social media in cui i lettori condividono le proprie recensioni, suggerimenti e rating dei volumi. L'analisi verrà condotta analizzando i dati che derivano dal social network Goodreads[10] e verranno confrontati con quelli ottenuti da Scopus e Worldcat.

Durante il dibattito è stata segnalata l'idea della nascita di una Public Library of Humanities che sta prendendo vita in area anglosassone, a partire da una conversazione su Twitter fra studiosi delle scienze umane e sociali. [11] In analogia a PLoS (Public Library of Science) [12] dovrebbe trattarsi di una piattaforma per la pubblicazione/disseminazione di lavori scientifici e l'adozione su larga scala delle Altmetrics [13], metriche alternative basate sulla rilevazione dell'impatto delle pubblicazioni nei social media, anche fra gli umanisti.

Verso la prossima VQR

Andrea Bonaccorsi ha tentato una rapida sintesi dei temi fin qui ricordati, la specificità in primis, e ha sottolineato l'attitudine dell'ANVUR all'ascolto delle comunità scientifiche, alla creazione di fiducia reciproca fra i soggetti coinvolti, all'accettazione delle controversie in un'ottica di dialogo costruttivo. Ha poi enunciato alcuni elementi di metodo per una peer review più efficace in vista del futuro esercizio di valutazione, ovvero l'adozione di Linee Guida per i revisori, l'obbligatorietà di una scheda di giudizio da compilare per accompagnare il voto finale, la valutazione degli esperti alla luce del loro comportamento nella VQR precedente, la pubblicazione tempestiva delle liste di esperti.

Anche sulle procedure relative alla scheda SUA-RD [14], per evitare l'adozione di misure quantitative pure in assenza di peer review - per tempi tecnici - si pensa a una nuova classificazione di tipologie di prodotti, a una maggiore considerazione dello stato editoriale della monografia - specificando se si tratta di opere originali o riedizioni - all'adozione di identificativi univoci per gli autori, quali ORCID [15], per dati più coerenti. Sono infine state mostrate le proposte elaborate dal Gruppo di lavoro Database e nuovi indicatori, ovvero lo studio di fattibilità di una banca dati delle pubblicazioni di area umanistica e sociale- presentata alle società scientifiche lo scorso 20 gennaio a Roma [16]- e le linee di ricerca aperte sui nuovi indicatori (per le riviste Open Access, per l'analisi di Google Scholar e dei suoi limiti, per il potenziale uso delle Altmetrics).

Lavori in corso

Nella sessione pomeridiana, presieduta da Andrea Graziosi del Direttivo ANVUR, si è dato largo spazio ai Gruppi di ricerca di recente creazione, uno per ognuna delle 4 aree CUN interessate (10 e 11, 12, 13, 14): il loro mandato è quello di suggerire nuovi percorsi e strumenti utili a una valutazione che tenga conto della citata "specificità".

In particolare, la ricca disamina di Vincenzo Militello, di area 12, ha preso le mosse dalle problematiche pregiudiziali, di contenuto e di rilevanza nei confronti del concetto stesso di valutazione per poi passare in rassegna i possibili tipi di analisi, l'oggetto della valutazione, il metro, la formalizzazione dei risultati con giudizi, scale numeriche, punteggi e concludere con una proposta interessante, ovvero che ogni docente fornisca, per la prossima VQR, non solo un numero stabilito di suoi prodotti ma anche un numero doppio di revisioni gratuite sugli altri lavori.

È seguita la presentazione delle sei proposte vincitrici del Concorso Pubblico di Idee di Ricerca bandito da ANVUR a luglio 2014 [17], con l'obiettivo di favorire lo studio di indicatori per la valutazione della ricerca nell'abito delle scienze umane e sociali. Le proposte di ricerca presentate si dividono fra studi di possibili indicatori per le monografie - in ambiti disciplinari specifici come le scienze giuridiche o mediante l'analisi della distribuzione nei cataloghi delle biblioteche (libcitations o library catalogues analysis) - e studi sulla coerenza e robustezza dei dati citazionali, mediante il confronto fra basi di dati proprietarie commerciali e basi proprietarie, ma aperte come Google Scholar [18].

Le conclusioni hanno evidenziato i passi avanti compiuti nel dialogo con le società scientifiche verso criteri di valutazione condivisi ed efficaci, nella convinzione, espressa anche dalla scelta di Escher per il logo del workshop, che la valutazione sia un processo complesso e mai finito.

Marialaura Vignocchi, ASDD - Settore Gestione e sviluppo della biblioteca digitale d'Ateneo - AlmaDL - Università di Bologna, e-mail: marialaura.vignocchi@unibo.it

Elena Giglia, Direzione Sviluppo Organizzativo, Innovazione e Servizi Bibliotecari - Università di Torino, e-mail: elena.giglia@unito.it


Note

[*]Twitter: #valhss_anvur2014, <https://twitter.com/hashtag/valhss_anvur2014?f=realtime&src=hash>.

[1] Le presentazioni del convegno La valutazione della ricerca nelle Humanities and Social Sciences, Roma, 17 novembre 2014 saranno pubblicate sul sito dell'ANVUR: <http://www.anvur.org/index.php?option=com_content&view=article&id=693:workshop-internazionale-la-valutazione-della-ricerca-nelle-humanities-and-social-sciences-it&catid=48&Itemid=363&lang=it>.

[2] Sven E. Hug - Michael Ochsner - Hans-Dieter Daniel, Criteria for assessing research quality in the humanities: a Delphi study among scholars of English literature, German literature and art history, "Research Evaluation" 22 (2013), 5, p. 369-383.

[3] Ref2014, Research Excellence Framework, Panel Criteria and Working Methods, January, 2012, <http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf>.

[4] Higher Education Funding Council for England (HEFCE), Policy Guide - Open Access research, <http://www.hefce.ac.uk/whatwedo/rsrch/rinfrastruct/oa/policy/>.

[5] EvalHum, Promoting Humanities and Social Sciences Research, <http://www.licorn-ubs.com/evalhum/>.

[6] SPI: Scholarly Publishers Indicators: Books in Humanities and Social Sciences <http://epuc.cchs.csic.es/SPI/>.

[7] OCLC-Wolrdcat, <https://www.worldcat.org/>.

[8] Alesia Zuccala - Raf Guns, Comparing book citations in humanities journals to library holdings: scholarly use versus perceived cultural benefit, in14th International Conference of the International Society for Scientometrics and Informetrics", Vienna, 2013, p. 353-360, <http://ebrp.elsevier.com/pdf/2012_Proposal6_Zuccala_Guns.pdf>.

[9] Elsevier Scopus, <http://www.scopus.com/>.

[10] Goodreads, <http://www.goodreads.com/>.

[11] Tim McCormick, Public Library of Humanities: Envisioning a New Open Access Platform, in Tim McCormick: design, reading, media, place, 20 December 2012, <http://tjm.org/2012/12/20/public-library-of-humanities-envisioning-a-new-open-access-platform/>. [blog post].

[12] PLOS, <http://www.plos.org/>.

[13] Cfr. Altmetrics, altmetrics: a manifesto, <http://altmetrics.org/manifesto/>.

[14] Cfr. ANVUR, Documenti AVA [Autovalutazione, Valutazione periodica e Accreditamento], <http://www.anvur.org/index.php?option=com_content&view=article&id=26&Itemid=222&lang=it>.

[15] ORCID, <http://orcid.org/>.

[16] Nuovi percorsi per la valutazione nelle aree umanistiche e sociali: giornata di studi e consultazione, Roma, 20 gennaio, 2014, <http://anvur-miur.cineca.it/eventi/index.php/showevento/44>.

[17] ANVUR, Concorso pubblico di idee di ricerca, 16 luglio 2014, <http://www.anvur.org/index.php?option=com_content&view=article&id=675:concorso-pubblico-di-idee-di-ricerca-news-it&catid=48:news-altro-it&Itemid=363&lang=it>.

[18] Google Scholar, <http://scholar.google.it/>.




«Bibliotime», anno XVII, numero 3 (novembre 2014)

Precedente Home Successiva


URL: http://www.aib.it/aib/sezioni/emr/bibtime/num-xvii-3/vignocchi.htm