«Bibliotime», anno XIII, numero 2 (luglio 2010)

Precedente Home Successiva



Gustavo Filippucci

L'esperienza del Comitato delle Biblioteche NILDE. 1. Analisi degli indicatori di performance del sistema



1. Premessa

NILDE [1] è ormai da un decennio stabilmente protagonista nel sistema di scambio italiano dei documenti. Dalla nascita nel 2001 come progetto BiblioMIME [2] in seno al CNR, alla realizzazione di un servizio auto-finanziato dalle biblioteche che aderiscono al sistema [3], fino alle recenti partecipazioni alle conferenze ILDS IFLA di Singapore [4] e di Hannover [5] la sua crescita, anche tecnologica [6], è stata costante. Ne sono testimoni il numero di iscrizioni al servizio e di transazioni effettuate rilevate nel periodo qui analizzato (2005-2009) [7].

Figura 1: Andamento delle adesioni a NILDE e dei documenti forniti, 2005-2009.

 

Nel corso degli anni, NILDE si è dotato di un sistema di monitoraggio dei dati sempre più ricco, man mano che risultava essere il modello di riferimento adottato per lo scambio di documenti da una parte significativa di biblioteche di centri di ricerca e documentazione italiani, sia nell'ambito accademico che sanitario.

Nell'autunno del 2005 si è costituito un gruppo di lavoro con lo scopo di perfezionare il primo regolamento del sistema - definito già a partire dal 2004 - che avrebbe fissato le modalità di partecipazione ed erogazione dei servizi all'interno del network. Il modello gestionale e organizzativo – la governance di NILDE – si è consolidato a partire dal gennaio 2007, grazie all'approvazione del nuovo Regolamento e all'insediamento in seno al sistema di organi come il Comitato delle Biblioteche NILDE (CBN), nato con il compito di garantire il buon funzionamento della rete di cooperazione del network, l'Assemblea dei sottoscrittori e il Gestore del servizio [8]. Nel 2006 NILDE è diventato a tutti gli effetti un servizio nazionale interamente sostenuto dalle realtà bibliotecarie italiane impegnate nel document delivery.

Oggetto di questo contributo non è quello di esaminare NILDE da un punto di vista teorico come modello di sistema organizzativo e di funzionamento, né di analizzarne le modalità di relazione e di scambio tra i partecipanti al network, il feed-back tra gestore del software e biblioteche, il complesso insieme reticolare che si è andato costituendo e il continuo problem solving messo in atto da Gestore e CBN nella ricerca di soluzioni e di proposte ai problemi rilevati. Pur riconoscendo la significativa ricaduta di tali fattori prevalentemente qualitativi sulle performance complessive del sistema, l'analisi si è concentrata sugli elementi quantitativi e sulla loro relativa elaborazione.

2. Il sistema NILDE

NILDE si caratterizza come un internet document delivery service, e tutte le operazioni che le biblioteche compiono all'interno del sistema sono rilevate dal software. Le transazioni si riferiscono solo a scambi effettuati all'interno del sistema tra le biblioteche affiliate. Tutti gli scambi effettuati fuori da NILDE non sono rilevati. Negli anni si è costituita una mole importante di dati quantitativi, che permette di tracciare un bilancio significativo dell'attività realizzata. Il lavoro di ricerca e interpretazione dei dati, sintetizzato in questo contributo per ovvi motivi di spazio, prende in considerazione il periodo 2005-2009.

Lo scopo di questa ricerca è di trovare conferma all'ipotesi che all'interno di un sistema di governance strutturato e con policies chiare, ma allo stesso tempo reso estremamente fluido dalla sua intrinseca natura e dalla tipologia degli scambi, sia possibile rilevare un costante miglioramento nelle performance espresse dalle biblioteche affiliate. In particolare, ciò che premeva rilevare era non solo un indicatore che evidenziasse le performance medie dell'intero network, bensì indicatori specifici per gruppi o sottogruppi di biblioteche, classificate e riunite sulla base di determinate caratteristiche comuni.

3. Criteri di analisi dei dati

A tale scopo, in un primo momento dell'analisi (analisi descrittiva) si sono individuati tre gruppi principali di riferimento, ordinati in base al grado di reciprocità espresso dal rapporto tra documenti forniti e richiesti. Tale valore si definisce come Fattore di Reciprocità (nelle figure che seguono espresso con RF). Le figure presentano i seguenti gruppi: tutte le biblioteche prese in considerazione in un determinato anno (all), le biblioteche che sulla base del proprio valore RF risultano essere le migliori 100 nello stesso anno (best100) e quelle che a causa dello stesso indicatore risultano essere le peggiori 100 (worst100), sempre nello stesso anno di riferimento.

E' bene chiarire che nei diversi anni i gruppi sono costituiti sempre da biblioteche diverse, e che sono esaminate solo le prestazioni di biblioteche con forniture e richieste positive. Non sono state infatti considerate biblioteche che per motivi organizzativi fungono da soli centri di richiesta o viceversa di sola fornitura dei documenti. Parimenti, biblioteche che non hanno richiesto o fornito nulla perché uscite dal sistema nel corso dell'anno, sono state eliminate dall'analisi.

In un secondo momento si sono incrociati i dati sulla base di un modello di analisi fattoriale. Questo tipo di analisi permette di ottenere risultati molto interessanti, in quanto raggruppa per cluster le biblioteche che hanno caratteristiche simili e ne evidenzia le performance commisurandole per gruppi omogenei.

Per poter utilizzare questo modello era necessario avere a disposizioni informazioni ulteriori sulle biblioteche aderenti a NILDE. Tipicamente in questo schema di analisi si cerca di ricavare i dati sugli addetti complessivi o dedicati allo specifico servizio di document delivery (in ore o persone), dati economici e dati sulla consistenza del patrimonio. Grazie alla collaborazione di ACNP, è stato possibile ottenere i dati sulla consistenza dei periodici, ma per le sole biblioteche NILDE che sono in ACNP. Il dato, inoltre, è la fotografia del solo anno 2008.

Questo tipo di analisi richiede quindi una maggiore disponibilità di informazioni, che però attualmente risulta assai complesso ricavare. E' auspicabile che in futuro si possa giungere a ottenere in modo più semplice i dati che non si è in grado di ricavare autonomamente, ad esempio il numero di addetti per biblioteca (o almeno per specifici gruppi di biblioteche, come quelle di ACNP). La strada alternativa è quella di mettere in atto ricerche più mirate e di tipo qualitativo, grazie all'uso di questionari. Tale ricerche però richiedono uno sforzo di collaborazione molto elevato e una fase di rielaborazione dei dati decisamente più complessa. Non si esclude comunque di attivare anche questo strumento di analisi.

Veniamo quindi agli indicatori esaminati.

Turn around time (TT), che NILDE calcola come tempo di giacenza o di evasione della richiesta, ovvero il tempo intercorso dal ricevimento della richiesta alla chiusura della transazione da parte della biblioteca fornitrice; non è invece attualmente rilevabile dal software il dato sul ricevimento da parte della biblioteca richiedente, con relativa chiusura della transazione (a differenza di quanto accade ad esempio in SOL per le richieste di prestito interbiblitecario):

TT=S 1-n (data evasione – data richiesta)/n (totale richieste)

Fill Rate or Success Rate (SR), è il tasso di successo, ovvero la percentuale dei documenti forniti sul totale delle richieste ricevute.

Gli indicatori rilevati e i criteri di riferimento per la valutazione degli stessi traggono spunto dagli studi condotti da Mary Jackson per l'Association of Research Libraries (ARL) e il Council on Library and Information Resources (CLIR) nella seconda metà degli anni novanta [9].

 

Analisi dei dati

Figura 2: Il Fattore di Reciprocità calcolato per gruppi di biblioteche Nilde, 2005-2009.

L'indicatore di reciprocità negli scambi (RF) è la spia del grado di collaborazione della singola biblioteca, più si avvicinerà al valore 1, più indicherà equilibrio tra richieste inoltrate e documenti forniti; scendendo sotto tale soglia indicherà che la biblioteca è debitrice, salendo che è più fornitrice. Si sono definiti dei valori di riferimento entro i quali comprendere gli indicatori espressi dalle singole biblioteche.

RF<0,4 forte squilibrio negativo - probabilmente di carattere strutturale (alcuni casi critici)

0,6>RF>0,4 squilibrio medio - quadro eterogeneo

1 >RF>0,6 equilibrio o quasi equilibrio

RF>1 da equilibrio a forte squilibrio positivo - alcune biblioteche forti creditrici

La figura 2 evidenzia una sostanziale stabilità nel tempo per le biblioteche con RF più basso (worst100), mentre migliorano nettamente le prestazioni delle biblioteche con RF più alto (best100). Da questo elemento, al quale non sono associati i relativi volumi di scambio, non è possibile comprendere se la complementarietà tra i due gruppi si possa leggere come un fattore di squilibrio potenzialmente dannoso per il sistema o piuttosto come un fattore strutturale, legato al patrimonio disponibile di ogni biblioteca, difficilmente modificabile.

Con la figura successiva vediamo come in realtà i due gruppi esaminati svolgono per numero di transazioni una parte minoritaria del lavoro all'interno del network. Inoltre, la loro quota percentuale tende a scendere nel tempo.

Figura 3: Percentuale di transazioni sul totale per best100 e worst100. Anni 2005 e 2008 a confronto.

In attesa di ulteriori confronti, possiamo concludere che al momento il network sembra trainato in prevalenza (almeno da un punto di vista quantitativo) da biblioteche che offrono prestazioni medie con situazioni di relativo equilibrio. Quasi il 74% delle transazioni viene espletato da questa ampia tipologia di biblioteca. Il fatto che una gran parte del lavoro stia sulle spalle di tante biblioteche medie è un fattore di relativo equilibrio che può infondere fiducia per il futuro.

Nel 2009 la quota sul totale delle transazioni (richiesti+forniti) si riduce ancora a 11,5% per le best100, si rileva invece una leggera risalita (13,7%) per le worst100. E' probabile che le biblioteche più debitrici siano anche quelle che registrano un minor accesso a risorse elettroniche e maggiori riduzioni del budget e che, di conseguenza, vedano aumentare la distanza dalle altre in termini di accesso alle risorse documentali. Solo indagini mirate permetteranno di comprendere meglio tale fenomeno.

Figura 4: Tempo medio di giacenza per Nilde (all) e nei due sottogruppi (worst e best), 2005-2008.

Per questo indicatore di performance non è stato ancora calcolato il dato 2009 nei gruppi best e worst, mentre conosciamo il TT di sistema nel 2009 (1,03) e quello provvisorio per il 2010 (0,93), entrambi risultati estremamente lusinghieri. E' estremamente significativo il TT delle biblioteche con RF più basso (colonna blu); queste biblioteche, probabilmente penalizzate da uno scarso patrimonio di periodici, da scarsa visibilità nei cataloghi, forse da unità di personale ridotte, realizzano un performance significativa abbassando i tempi di evasione da 4,5 (2005) a 1,7 giorni (2008). In attesa che il dato del 2009 confermi tale andamento, si può concludere che la partecipazione ad un network che richiede comportamenti virtuosi genera effetti positivi anche nelle realtà meno sviluppate.

La figura 5, relativa al tasso di successo, mostra risultati più contradditori.

 

Figura 5: Tasso di successo (SR) nelle richieste Nilde (all) e nei gruppi (best, worst), 2005-2009.

Il dato mostra che nel corso del quinquennio si sono registrate oscillazioni significative in tutti i gruppi, molto probabilmente in maniera non correlata alla tipologia di biblioteca espressa dal valore RF che le caratterizza. Il sistema nel suo complesso (all) ottiene buoni risultati – il dato provvisorio del 2010 (87%) è ancora più confortante – ma restano molti interrogativi su quali strategie adottare per abbassare la percentuale di richieste inevase. Il rafforzamento formativo del personale addetto al servizio, una migliore localizzazione di alcune tipologie di risorse (periodici electronic-only) nei cataloghi, permetteranno nel futuro di ottenere un tasso di successo più alto. E' significativo che nel periodo gennaio-maggio 2010 la sola voce "riferimento bibliografico errato" (9,3% della cause di insuccesso) si è tradotta in oltre 6100 richieste fallite.

Si ricorda nuovamente che le figure non riportano le biblioteche con RF nullo a causa dei motivi sopra descritti. La stabilità del tasso di insuccesso (attorno al 13% del totale delle richieste) testimonia la necessità di intervenire su questo fattore.

Per meglio rappresentare il comportamento delle biblioteche, si è concentrata l'attenzione su una cross-section di dati relativa all'anno 2008; purtroppo solo per questo anno si è potuto confrontare puntualmente il dato dei periodici posseduti [10] e le corrispondenti biblioteche NILDE. La variabili analizzate sono: periodici posseduti (pos), RF, tasso di successo (SR) e tempo medio di giacenza (TT). [11]

Il diagramma di dispersione del campione prodotto dall'incrocio tra posseduto medio delle biblioteche e corrispondente RF, considerato come costante di riferimento pari a 1, propone quattro gruppi differenti di biblioteche, successivamente studiati per i comportamenti relativi a TT e SR.

Figura 6: Per una migliore rappresentazione della dispersione del campione analizzato si omettono dalla rappresentazione grafica i dati degli "high severe outliers" [12] (50 biblioteche) che rendono non agevole la visualizzazione del grafico.

L'analisi fattoriale, pur con le sole due variabili posseduto e RF, permette di indagare i quattro sottogruppi prodotti dall'incrocio dei due fattori. A titolo d'esempio si mostrano solo i diagrammi dei primi due gruppi:

Gruppo A, con alto RF e alto posseduto.

Figura 7: Diagramma della distribuzione delle biblioteche appartenenti al gruppo A.

Nel gruppo si rilevano 113 posizioni. SR=87,55%, TT=1,27. Biblioteche con TT che supera i 6 giorni=2,7% (3 posizioni).

Gruppo B, con alto RF ma basso posseduto.

Figura 8: Diagramma della distribuzione delle biblioteche appartenenti al gruppo B.

Nel gruppo B si rilevano 161 posizioni. SR=86,03% TT=1,21. TT che supera i 6 giorni=4,9% (8 posizioni).

Nei quattro gruppi (C e D qui non presentati) si rilevano i seguenti comportamenti: tutti i cluster esprimono valori medi omogenei per il TT tra 1,2 e 1,9 giorni.

I valori del tasso di successo variano invece sensibilmente dall'87% per i gruppi A e B a circa l'81% per C e D. In ogni gruppo alcune biblioteche eccedono di 6 giorni il tempo medio per espletare la fornitura dei documenti. L'indicatore di performance TT è quello probabilmente più influenzato positivamente dalle buone pratiche messe in atto e dall'appartenenza al network, non a caso in tutti i gruppi si osserva un risultato omogeneo.

Si prevede lo sviluppo dell'analisi attraverso un'ulteriore suddivisione dei cluster, considerando come riferimenti in ogni singolo diagramma l'incrocio dei valori medi TT e SR espressi da quel gruppo, in questo modo si potrebbero individuare chiaramente altre quattro tipologie di comportamento all'interno di ogni gruppo, di per sé già reso omogeneo sulla base di fattori determinati.

Il lavoro di ricerca è solo all'inizio, si sono anche predisposte analisi per area geografica, solo a titolo d'esempio si presenta la figura 9 con la ripartizione delle biblioteche per grandi aree:

Figura 9: Distribuzione per area geografica della biblioteche Nilde. Confronto tra 2005 e 2009.

La distribuzione geografica mette in evidenza un chiaro allargamento della rete, e il suo dispiegarsi con una copertura a carattere nazionale. Si nota una crescita significativa di biblioteche dell'area sud (sud e isole), con oltre il 124 % di aumento tra 2005 e 2009.

Nelle ultime figure alcuni indicatori sono presentati distinti per area geografica, il dato è stato calcolato per il periodo 2005-2008.

Figura 10: Forniti, ripartizione % per area geografica, 2005 e 2008 a confronto.

 

Figura 11: Richiesti, ripartizione % per area geografica, 2005 e 2008 a confronto.

Dalle figure 10 e 11 emerge una significativa differenza quantitativa tra nord e restanti aree geografiche, ed è auspicabile che il sensibile incremento delle biblioteche di area meridionale possa produrre un riequilibrio nel sistema degli scambi.

Nell'ultima figura qui presentata si rilevano gli indicatori di performance distinti per area. In questo caso non si registra la tendenza degli indicatori a divaricarsi per area geografica; a fine periodo l'indicatore TT è in linea per tutte le aree, in perfetta corrispondenza con i risultati provenienti sia dall'analisi descrittiva che da quella fattoriale. Per l'indicatore SR si rileva un piccolo arretramento nell'area sud tra 2005 e 2008.

Figura 12: Indicatori di performance per area, 2005 e 2008 a confronto.

4. Conclusioni

Da questo lavoro di analisi dei dati provenienti dal network, si possono trarre le prime parziali conclusioni.

Ringraziamenti:

Un ringraziamento sentito a tutti i colleghi del Comitato delle Biblioteche Nilde, a Silvana Mangiaracina e allo staff di Nilde per i suggerimenti e il confronto costante sui risultati, a Vincenzo Verniti e Orietta Bonora (ACNP) per la preziosa collaborazione, a Gianluca Ciciriello per il lavoro di analisi svolto con il software statistico STATA.

Gustavo Filippucci, Biblioteca del Dipartimento di Chimica "G. Ciamician" - Università di Bologna, e-mail: gustavo.filippucci@unibo.it


Note

[1] Network Inter-Library Document Exchange <http://nilde.bo.cnr.it/index.php>.

[2] Per una sinstesi del progetto BiblioMIME: S. Mangiaracina Il sistema NILDE: obiettivi, stato dell'arte, risultati della sperimentazione, Bibliotime, 2003, 6 (2) <http://didattica.spbo.unibo.it/bibliotime/num-vi-2/mangiara.htm - nota*

http://didattica.spbo.unibo.it/bibliotime/num-vi-2/mangiara.htm>.

[3] Per le condizioni economiche e le modalità per la sottoscrizione ai servizi Nilde cfr. <http://nilde.bo.cnr.it/2010/cond_economiche2010.html>.

[4] http://www.nlbconference.com/ilds/programme.htm

[5] G. Filippucci, E. Bernardini, S. Mangiaracina, F. Brunetti, E. De Carolis, P. Domina, M. Fasano, E. Fuschini, M. Grazioli, R. Magno, S. Olimpieri, P. Salamone, S. Stabene, Strategies and alliances into action to improve national collaboration in Strategic Alliances and Partnerships in Interlending and Document Supply 11th Interlending and Document Supply IFLA Conference in Germany / Hannover: 20 – 22 October 2009.

[6] Integrazione del modello NILDE utente, rilascio di successive versioni con nuove funzionalità e tools, prossimo lancio della nuova release NILDE 4.0 a partire da gennaio 2011.

[7] Il dato 2010 indica a metà anno 728 biblioteche iscritte e un volume di oltre 73600 articoli forniti, confermando il costante trend in crescita della fig. 1.

[8] Regolamento NILDE: <http://nilde.bo.cnr.it/index.php?st=11>.

[9] M. E. Jackson, Measuring the performance of ILL and DD services", "ARL Report", 1998, <http://www.arl.org/bm~doc/illdds.pdf>. Per un'analisi puntuale sulle performance relative al document delivery: Margie Jantti; Council of Australian University Librarians (CAUL), Document delivery performance, 2003. <http://www.caul.edu.au/caul-doc/publications.html#perfind>.

[10] Il dato sui periodici posseduti dalle biblioteche Nilde è stato fornito da ACNP.

[11] Dati elaborati il software statistico STATA, <http://www.stata.com/stata9>.

[12] Per una trattazione sul significato del termine outlier in statistica si rimanda a: Moore, D. S,. McCabe, G. P. Introduction to the practice of statistics, 3. ed., New York, Freeman, 1999.




«Bibliotime», anno XIII, numero 2 (luglio 2010)

Precedente Home Successiva


URL: http://static.aib.it/aib/sezioni/emr/bibtime/num-xiii-2/filippucci.htm