Css son solid_spesi_bene_aline
- 1. Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare lItalia Sono soldi ben spesi? Perch辿 e come valutare lefficacia delle politiche pubbliche Aline Pennisi Ministero delleconomia e delle finanze - RGS 14 giugno 2011
- 2. principali messaggi del libro bianco circoscrive il concetto di valutazione (termine generalmente utilizzato per indicare attivit molto diverse) o valutare lefficacia delle politiche intesa come capacit di produrre gli effetti desiderati individuare i motivi del ritardo italiano nellintrodurre la valutazione degli effetti come strumento di aiuto alle decisioni presentare a un pubblico non specialista alcuni dei metodi disponibili per la valutazione degli effetti la valutazione contribuisce anche a migliorare la qualit e vivacit del dibattito pubblico, con benefici in termini di: o maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo status quo o maggiore capacit di esplicitare i bisogni della societ lapproccio priviliegato 竪 quello controfattuale e, in particolare, dellesperimento randomizzato (RCTs) si focalizza lattenzione su singoli interventi con popolazioni di beneficari omogenei e trattamento tendenzialmente uniforme
- 3. buone motivazioni per valutare lefficacia delle politiche There is nothing a Government hates more than to be well-informed; for it makes the process of arriving at decisions much more complicated and difficult. -- John Maynard Keynes per i politici o legittimazione e accountability nei confronti di cittadinanza / elettori o maggiori capacit negoziali con parti che vestono interessi conflittuali per i policy-makers (disegnano la politica, scrivono le norme) o migliore capacit di decidere come allocare le scarse risorse disponibili tra diverse opzioni di intervento o spinta a sperimentare / individuare meccanismi innovativi per rispondere ai bisogni della societ o maggiore fiducia nellamministrazione da parte dellopinione pubblica ma anche per i practitioners e service providers (gli insegnanti, gli operatori sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il trattamento) o hanno spesso domande pi湛 semplici e meno multi-dimensionali a cui rispondere (pi湛 adatte ai RCTs) o le modalit effettive di attuazione di un intervento nascondono spesso dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)
- 4. la valutazione va disegnata assieme allintervento Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di disegnare gli interventi, ma porta anche molti benefici in termini di: razionalizzazione del disegno dellintervento o esplicitando le varabili-risultato o introducendo sin dallinizio varianti del trattamento da testare o rendendo pi湛 trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione casualmente) riduzione dei costi della valutazione o orientando i sistemi di gestione e monitoraggio dellintervento in maniera da fornire dati indispensabili per la valutazione o RCTs possono fornire evidenze forti con campioni piccoli e (per gli effetti di breve) in tempi relativamente rapidi confronto con problemi (imprevisti) in corso di attuazione o per garantire la validit dellesperimento diventa fondamentale porsi il problema della non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel gruppo di trattamento . gettando luce su dettagli dellimplementazione
- 5. anche con una valutazione controfattuale 竪 a volte difficile fornire risposte sul che fare? le evidenze possono essere ambigue o addirittura contraddittorie o un caso classico della letteratura, Minneapolis Domestic Violence Experiment, nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What Works Clearinghouse) se leffetto 竪 zero vuol dire davvero che lintervento non funziona? o il dosaggio potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunit di practitioners) o anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie nellintento di capire perch辿 un effetto si produce o meno se leffetto 竪 positivo, lo stesso intervento funzioner a regime e/o altrove? o il problema pi湛 grosso dellapproccio controfattuale 竪 la cd. validit esterna Miglioramento delle competenze degli studenti in matematica WWC: 492 valutazioni relative a 32 interventi, di cui solo 29 sperimentali (RCT) Evidenza Evidenza Effetti quantificati Totale "debole" "forte" Nessun effetto intercettabile 13 3 16 Effetti misti 6 6 Effetti potenzialmente positivi 3 3 Effetti positivi 2 2 4 Totale 18 11 29 Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - pi湛 di uno studio, pi湛 di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)
- 6. valutazione degli effetti e riqualificazione della spesa Le sfide per la riqualificazione della spesa sono due: o migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei servizi o sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della societ (competenze, immigrazione, invecchiamento, innovazione tecnologica, ambiente, ) lapproccio del Libro bianco enfatizza il contributo della valutazione al secondo aspetto, tuttavia pu嘆 essere utile anche per il primo o spingere alla misurazione della quantit e qualit dei servizi erogati (senza la quale 竪 difficile analizzare lefficienza produttiva e organizzativa) o individuare correttivi alle modalit operative esistenti (per es., capire come migliorare il targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania) E per嘆 importante non restringere il campo della valutazione agli interventi sperimentali e replicabili (molte politiche hanno popolazioni di beneficiari eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri strumenti per fornire utili indicazioni ) 6
- 7. opportunit per la valutazione degli effetti E pi湛 semplice avviare grandi stagioni di valutazione in good times o maggiore disponibilit di risorse finanziare con cui sperimentare nuovi interventi o risorse finanziare e tempo da dedicare alla valutazione degli interventi ma 竪 tanto pi湛 necessario oggi per imparare come evitare i cd. tagli lineari alla spesa o esistono molti presupposti in tal senso a cui per嘆 non sono ancora conseguiti risultati visibili: - normativa sullAIR/VIR - Relazione sullo stato della spesa che ciascun Ministro invia al Parlamento annualmente entro il 15 giugno (legge n. 244/2007) - lintroduzione di un programma (prima straordinario e ora permanente) di analisi e valutazione della spesa pubblica affidato al Ministero delleconomia e delle finanze e la recente istituzione di Nuclei di analisi e valutazione della spesa. Come ambito di collaborazione tra ciascun amministrazione e il MEF/RGS, con compiti di individuazione delle aree di inefficienza della spesa e di inefficacia delle politiche perseguite 7
- 8. ricercatori e funzionari pubblici Potrebbero essere i protagonisti principali di un cambiamento verso una maggiore pratica di valutazione delle politiche. Oltre a impegni dallalto, possono essere maggiormente mobilitati dal basso ricercatori o la comunit accademica 竪 chiamata a contribuire ma i ricercatori sono guidati da ci嘆 che 竪 pubblicabile su riviste internazionali (interventi specifici al contesto italiano e interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono studi che replicano precedenti valutazioni ) funzionari pubblici o per essere utilizzata (e pi湛 facilmente accettata), la valutazione deve essere fatta anche dallinterno delle amministrazioni (meglio competenze pi湛 diffuse o luoghi deputati di eccellenza?) o naturalmente serve anche acquisire strumenti pratici per affidare una valutazione allesterno (dallelaborazione ed espressione di domande di valutazione, alla selezione dei valutatori, alla gestione del processo, alla diffusione dei risultati) e per questo esistono spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre moduli ad hoc nelle scuole SSEF e SSPA) 8
- 9. offerta: migliorare qualit e accessibilit dei dati open government data o superare le difficolt di diffusione di microdati amministrativi e di indagini o favorire la creazione di dati longitudinali (nel rispetto della privacy) indispensabili in molti campi come quello dellistruzione e delle politiche sociali per seguire nel tempo gli effetti o rendere i dati accessibili a TUTTI, non solo ai ricercatori accreditati o curare la maggiore fruibilit via internet (cfr. il successo dellindagine OECD-PISA) o ricordando che queste azioni portano benefici di per s辿 (prima ancora dei risultati delle valutazioni): - costringono gli annunci politici ad essere pi湛 fattuali - incoraggiano la creazione di una domanda di valutazione - favoriscono lo sviluppo di studi condotti in modo spontaneo 9
- 10. domanda: adempimenti normativi e clausole valutative Regolamenti UE per la politica di coesione: occasioni per il 2014-2020 o Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in termini della diffusione di una pratica di valutazione e di disponibilit di risorse per farla, anche perch辿: - mentre la valutazione ex-ante e in itinere sono poste sotto la responsabilit dei singoli Stati Membri, la valutazione ex-post (quindi quella di impatto) rientra esclusivamente nella responsabilit della Commissione Europea e non degli Stati Membri Clausole valutative nelle norme che definiscono lintervento o linserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata natura sperimentale, favorisce lintroduzione del disegno della valutazione sin dal disegno dellintervento o pi湛 che introdurre clausole sunset, occorre orientare le clausole valutative in maniera da assicurare: - la disponibilit dei dati necessari e la loro accessibilit a terzi - un sistema di governance della valutazione per mettere assieme i funzionari pubblici e i ricercatori 10
- 11. domanda: creare incentivi per lutilizzo della valutazione la fissazione di tetti di spesa pluriennali per le amministrazioni e target quantificati o la stagione di evidence-based policy nel UK 竪 stata accompagnata dagli accordi di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di revisioni della spesa (spending reviews) e tetti di spesa per i budget dei Ministeri. Questo tipo di impianto favorisce: - la definizione degli obiettivi misurabili associati ai principali programmi di spesa, ossia unesplicitazione degli effetti desiderati - la responsabilizzazione dei dirigenti pubblici rispetto al raggiungimento di risultati con un vincolo finanziario complessivo, creando maggiore pressione per lindividuazione di interventi efficaci - la riforma delle legge di contabilit e finanza pubblica (n. 196/2009) contiene alcuni elementi da valorizzare in tal senso (voto parlamentare a livello di programma di spesa, univoca identificazione tra programma e CDR, indicatori da associare ai programmi, programmazione pluriennale, delega allart.40 con tetti di spesa, ) o il maggiore decentramento dei servizi e lattuazione del federalismo fiscale creano le condizioni per sperimentare un laboratorio di politiche diversificate e per sviluppare un nuovo ruolo tra centro e periferia sul raggiungimento di risultati a fronte di un vincolo rigido sulle risorse trasferite (LEP e obiettivi di 11 servizio)