1. Misurazione e valutazione come strumenti di gestione, cambiamento e sviluppo Maurizio di Girolamo Biblioteca di Ateneo Universit degli Studi di Milano Bicocca Seminario AIB 13 novembre 2008
2. Oggi parliamo di valutazione La valutazione: una brutta parola o tante parole da mettere insieme? Tutto quello che avremmo voluto sapere ma che non abbiamo mai osato chiedere ancora Una sola domanda tante possibili risposte
5. La valutazione 竪 l'insieme delle attivit per esprimere un giudizio per un fine decisionale ; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, 竪 ci嘆 che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte. (Claudio Bezzi) http://www.valutazione.it
6. La teoria: levoluzione dello Scientific management La Misurazione (H. Ford, F. Taylor, 1920-30) PDCA = Plan, do, check, act (E. Deming, 1940-50) MBO = Manage by objective (P. Drucker, 1950-60) ABC = Activity base costing (1970-80) Balance Scorecard (Norton-Kaplan 1990-2000)
7. La teoria applicabile alla pratica: i principi guida del New Public Management Decentramento e autonomia della gestione Controllo delle spese Informatizzazione Misurazione delle prestazioni Valutazione e incentivazione del personale Valutazione dellimpatto delle politiche adottate La governance nella PA < http://www.governance.formez.it />
8. La performance come Controllo di legittimit (adempimento burocratico) anni 80 Efficienza manageriale (efficienza, economicit, qualit) anni 90 Creazione di valore pubblico (risultati, effetti, impatti) anni 2000 Misurare per decidere La misurazione delle performance per migliorare le politiche pubbliche e i servizi (2007) <http://www.cantieripa.it/inside.asp-id=513.htm>
9. La valutazione come sviluppo lineare Peter Brophy, Assessing library value and performance, Milano, novembre 2007
10. La valutazione come ciclo Il ciclo logico del monitoraggio e della valutazione ( Vecchi, Forum PA 2005 ): Obiettivi Input Attuazione Monitoraggio efficienza, qualit efficacia interna rilevanza Variabili intervenienti Valutazione Prodotti (output) Risultati (outcome) Impatti (impact) utilit, sostenibilit PROBLEMI COLLETTIVI = CONDIZIONI INDESIDERATE
11. Le prospettive della valutazione Prospettiva esterna Utenti Focus sulla qualit Focus sullimpatto Prospettiva interna Biblioteca Focus sui processi Focus sui prodotti Approccio quantitativo Approccio qualitativo
12. Quali misure e per quale scopo Joseph R. Matthews, The Balanced Scorecard in Public Libraries, September 2006
14. E noi? GIM (Gruppo Interuniversitario per il Monitoraggio dei sistemi bibliotecari di ateneo) < http:// gim.cab.unipd.it / > BIC (Biblioteche Italiane Certificate) < http://www.comune.empoli.fi.it/ bic / index.html >
15. Gli strumenti Efficienza Costi/benefici Prodotti Processi Efficacia Customer satisfaction Impatto Outcome Risultati Approccio quantitativo Indicatori finanziari Activity based costing Diagramma di Pareto ROI, Contingent valuation Approccio qualitativo Questionari Interviste, focus group Mystery shopping Approccio misto Balance scorecard
16. Lanalisi delle attivit Efficienza Efficacia Progetti Prodotti Gestione monografie - ordini Gestione monografie - catalogazioni Gestione periodici Coordinamento ILL/DD Gestione sale e collezioni Reference Prestito Formazione e comunicazione Gestione Web Gruppi di lavoro interateneo Manutenzione del catalogo Gestione sistemi informativi Gestione ILS Sviluppo organizzativo Risorse elettroniche Coordinamento
17. e la frustrazione del bibliotecario Langolo del buon umore 1
20. He uses statistics as a drunken man uses lampposts - for support rather than illumination A. Lang Langolo del buon umore 2
21. Statistics are like bikinis. What they reveal is suggestive, but what they conceal is vital Aaron Levenstein Langolo del buon umore 3
22. La valutazione nei Sistemi Bibliotecari di Ateneo (1) Inizio rilevazioni quantitative: seconda met anni 90 (MURST) e nuovo impulso 2002-2003 (GIM) Indagini customer satisfaction: episodiche, soprattutto negli ultimi 3-4 anni Approccio qualitativo: molto scarso, se si eccettuano specifici ambiti di applicazione , Maurizio di Girolamo, Perch辿 misuriamo?油: i sistemi bibliotecari di ateneo alle prese con il monitoraggio, tra entusiasmi e frustrazioni, Convegno AIB 2007, < http://www.aib.it/ aib / congr /c54/mh.htm3 >
23. La valutazione nei Sistemi Bibliotecari di Ateneo (2) Periodicit annuale con eccezioni sporadiche (spese, performance, carichi di lavoro) Controllo di gestione poco diffuso negli atenei e assente per gli SBA Rapporto SBA NdV problematico (con lodevoli eccezioni)
24. La valutazione nei Sistemi Bibliotecari di Ateneo (3) Rapporto centro-periferia per raccolta ed elaborazione dati Coesistenza di dati imputati manualmente e dati derivati da sistemi informativi Sperimentazioni e analisi a livello decentrato (biblioteche di dipartimento)
25. La valutazione nei Sistemi Bibliotecari di Ateneo (4) Il monitoraggio come adempimento burocratico Le resistenze dello staff Le resistenze dei consigli scientifici Le eccezioni positive
26. La valutazione nei Sistemi Bibliotecari di Ateneo (5) Dati assoluti in serie storica Benchmarking interno Confronto con standard (GIM e non solo) Risorse elettroniche Indagini di customer satisfaction Mancata correlazione fra analisi quantitative e qualitative
27. La valutazione nei Sistemi Bibliotecari di Ateneo (6) Relazioni e rapporti annuali Condivisione con lo staff e gli stakeholder Pubblicazione dei dati e delle analisi (Intranet vs Internet) Occasioni particolari (comunicazioni, pubblicazioni, ) Eccezione: le indagini di customer
28. La valutazione nei Sistemi Bibliotecari di Ateneo (7) Atteggiamento difensivo Analisi quantitative Atteggiamento proattivo Analisi qualitative Comunicazione come condivisione
29. La valutazione nei Sistemi Bibliotecari di Ateneo (8) Ripartizione dei finanziamenti fra le strutture Distribuzione del personale Definizione e monitoraggio degli obiettivi di struttura e dei dirigenti Valutazione di singoli servizi, forniture Politica delle collezioni (cartacee ed elettroniche) Monitoraggio della formazione interna/esterna
30. La valutazione nei Sistemi Bibliotecari di Ateneo (9) Difficolt di rapporto fra SBA e resto dellAteneo Mancanza di tempo/risorse da dedicare al monitoraggio Sottovalutazione dellimportanza della misurazione in termini di pianificazione del cambiamento
32. Le indagini di OCLC Lavvento del Web e la sempre maggiore confidenza degli utenti nei confronti della rete, stanno, in effetti, rendendo evidente il fenomeno crescente della disintermediazione, o forse pi湛 propriamente iperintermediazione, informativa I motori di ricerca sono il punto di riferimento in assoluto pi湛 utilizzato, dal quale, secondo il report del 2005, ben l84% degli intervistati parte per le proprie ricerche, contro l1% di quelli che si rivolgono, inizialmente, al sito web della biblioteca Il 90% poi si ritiene soddisfatto dellinformazione ottenuta attraverso i search engines , soprattutto rispetto alla quantit e alla qualit delle informazioni ottenute Andrea Marchitelli, AIB Notizie, 20, 2008 < http://www.aib.it/ aib /editoria/n20/0413.htm3 > Il cambiamento 竪 una questione di SOPRAVVIVENZA
33. LIBQUAL+ Brown University Librarys Experience with LibQUAL+ BLC Output Measures Workshop May 27, 2003 Boston Public Library
36. Would you recommend us to a friend? < http://www.oclc.org/ nextspace /005/1.htm >
37. Pochi ma buoni Measuring quality油:油performance measurement in libraries油/油Roswitha Poll, Peter te Boekhorst.油-油2nd rev. ed.油-油M端nchen油:油K. G. Saur,油2007 The油evaluation and measurement of library services油/油Joseph R. Matthews.油-油Westport (Conn.)油:油Libraries Unlimited,油2007 Measuring library performance油:油principles and techniques油/油Peter Brophy.油-油London油:油Facet,油2006 The measure of library excellence / Despina Dapias Wilson, Theresa del Tufo and Anne E.C. Norman, Jefferson (N.C.)油;油London油:油McFarland,油c2008
