многомерный подход к измерению деятельности программ
1 like498 views
Многомерный подход к измерению деятельности программ по оказанию социальных услуг Measuring the Performance of Human Service Programs Lawrence L. Martin, Peter M. Kettner, 2010
More Related Content
Similar to многомерный подход к измерению деятельности программ (20)
More from Эволюция и Филантропия (20)
многомерный подход к измерению деятельности программ
- 1. Многомерный подход к измерению деятельности программ по оказанию социальных услуг Measuring the Performance of Human Service Programs Lawrence L. Martin, Peter M. Kettner, 2010
- 2. 2 Глоссарий Эффективность, производительность Effectiveness, efficiency, Performance, KPI, productivity Английская терминология, перевод разный Разное употребление терминов в РФ (аудит эффективности счетной палаты, пр) А что у нас? Стандарты по оценке 2
- 3. 3 Цепочка создания социального результата 3 Вход Деятель ность Немедле нный результа т Отложенн ый результат 1 порядка Социаль ный эффект Отложенн ый результат 2 порядка Влияние контекста На что мы нацелены Целевая аудитор ия Фокус измерений в 90-е годы По материалам McLaughlin Основа для стандарта
- 4. 4 Что такое измерение деятельности Измерение деятельности (performance measurement) - это регулярный сбор информации и предоставление отчета о: производительности (efficiency), качестве (quality) и результативности (effectiveness) программы. 4
- 5. 5 Базовая модель систем 5 Исходные ресурсы Продукты, услугиПрограмма Обратная связь Исходные ресурсы Продукты, услуги Программа Расширенная модель систем Качество Социальный Результаты (outcomes) Качество Производительность (Productivity, efficiency) Результативность (effectiveness)
- 6. 6 Основные понятия Исходные ресурсы (inputs) - все, что использует система (программа соц.услуг) для достижения своих целей. Ресурсы и сырье (фонды, сотрудники, приспособления, технические средства, клиенты), которые включаются в программу. Процесс – план деятельности или методология предоставления услуги, включающий потребление исходных ресурсов и превращение их в продукцию. Продукция (outputs) – все, что производит программа. Часто соотносится с единицами услуг. Результаты (outcomes) – изменение, которое произошло вследствие осуществления программы – преднамеренно и непреднамеренно Обратная связь – данные и информация об эффективности системы, которые повторно вводятся в систему как дополнительный входящий параметр. 6
- 7. 7 Определение трех направлений в измерении Измерение эффективности Определение Пример Производительность (efficiency) Продукция / исходные ресурсы Суммарная стоимость программы фостерной опеки / число дней услуги фостерной опеки Качество (quality) Продукция, соответствующая стандарту качества / суммарная продукция либо Продукция, одобренная потребителями / суммарная продукция Число или процент доставленной на дом еды, которая была доставлена горячей Результативность (effectiveness) Отношение отложенных результатов (outcomes) к исходным ресурсам Общая стоимость программ усыновления / количество достигнутых совершенных усыновлений 7
- 8. 8 Производительность (efficiency) Фокус на количестве продукции, охвате целевой аудитории. Критика: «Можно очень производительно делать неправильные вещи» Зачем измерять: - Требования управления: чтобы каждый доллар был израсходован таким образом, чтобы как можно больше подходящих клиентов получили услугу. - Обсуждения производительности или продуктивности лежат в основе большей части контрактов, основанных на эффективности (performance-based), гонорарных способах оплаты (fee-for-service), управляемой мед. помощи (managed care programs), и других стратегиях фондов. - Акцент на производительности необходим, чтобы противостоять убеждению некоторых стейкхолдеров, что социальные программы непродуктивны. Только около 11% американцев верят, что организации социальной помощи мудро тратят деньги, делая доброе дело. 8
- 9. 9 Качество (quality) Фокус на соотнесении характеристик продукции/услуг со стандартами качества. Сейчас от большинства программ ждут регулярной оценки качества оказываемых услуг и соотнесения, сравнения с услугами других организаций. Теория управления качеством: продуктивность (productivity) растет, когда программа обеспечивает высококачественные услуги, и падает, когда услуги имеют низкое качество. → При высоком качестве услуг должен быть результат: меньше ошибок, меньше бумажной работы, меньше времени уходит на повторную обработку, более рады доноры, более удовлетворены клиенты, ниже цены, лучше репутация. 9
- 10. 10 Результативность (effectiveness) Фокус на отложенных результатах (outcomes) – результатах, достижениях, воздействиях. Результативность часто считается высшей формой подотчетности об эффективности. Оценка результативности не связана с одноразовым замером результатов, достижений или воздействий. Идея в том, что социальные программы не должны быть разнесены с их социальным контекстом. Поэтому оценка эффективности направлена не на установление причинно-следственных связей, а скорее на базовые практические вопросы. Например: Какие результаты достигаются программами какого типа? Ориентированная на результативность программа стремится максимизировать результат по отношению к исходным ресурсам. 10
- 11. 11 Итак, учет и измерение эффективности: 1. Продвигают клиент-центрированность, делая центральным компонентом эффективности программы результаты для клиента 2. Обеспечивают общий язык администраторам, чтобы они могли обмениваться суждениями о производительности, качестве и полезности программы 3. Дают администраторам возможность длительно наблюдать программы, чтобы выявлять «точки воздействия» и улучшать услуги 4. Могут повышать боевой дух сотрудников, которые получают обратную связь о том, каким клиентами и насколько помогли. 11
- 12. 12 Отчеты SEA (Service Efforts and Accomplishments reporting) В рамках Правительственного совета стандартов расчетов (Governmental Accounting Standards Board, GASB ) инициатива SEA (Service Efforts and Accomplishments reporting initiative), 1993, 2008: запуск аналогичной отчетности в регионах для разных программ, не только социального обеспечения, для отдельных штатов и локального управления. Отчет SEA об услуге состоит из 3 элементов: 1) Затраты (Service efforts): - Финансовая информация (общая стоимость в долларах) - Нефинансовая информация (Количество эквивалентов ставок; Другие данные, например, количество рабочих часов) 2) Достижения (Service accomplishments): - Продукция (outputs) (Объем оказанных услуг) - Качество (Количество или доля от общего объема услуг тех, что соответствуют стандарту) - Результаты (outcomes) (оценки результатов, достижений, воздействий, полных или частичных) 3) Отношение затрат и достижений - Измерение производительности (Отношение объема оказанных услуг к затраченным ресурсам, которое можно оценивать через а) стоимость услуги; услугу в ставках; услугу в рабочих часах) - Измерение результативности (Отношение полученных результатов, достижений, оказанных воздействий к затраченным ресурсам, которое можно оценивать через а) стоимость результата; б) результат в ставках; в) результат в рабочих часах). 12
- 13. 13 Service efforts Усилия: это вложенные в программу ресурсы. SEA измеряет усилия тремя способами: а) общая стоимость программы; б) эквивалент программы в рабочих ставках; в) общее число рабочих часов. Усилия Пример Общая стоимость $750000 Полные ставки 22 Рабочие часы 45760 13
- 14. 14 Service accomplishments Достижения: а) продукты (продукты и те продукты, которые соответствуют стандартам качества), б) социальные результаты. Достижения Пример Продукты • количество оказанных услуг на единицу анализа • количество оказанных завершенных услуг • 27500 часов консультирования и тренинга для родителей • 225 родителей прошли программы целиком Качество - Количество оказанных услуг, соответствующих стандарту качества По меньшей мере 85% завершивших обучение родителей (191) оценили программу как полезную или очень полезную. Результаты - Результаты, достижения, воздействия программы По меньшей мере про 112 родителей не будет поступать информации о насилии и пренебрежении ребенком минимум 2 года 14
- 15. 15 Service efforts and accomplishments ratio Отношение достижений к усилиям 1. Расчет SEA Пример Оценка производительности a)Стоимость единицы услуги b)Единиц услуги на ставку c) Стоимость завершенной услуги d) Завершенных услуг ( на ставку) $27.27 ($750000 / 27500) 1250 (27500/22 ставки) $3333 ($750000/225) 10,23 (225/22) 2. Оценка полезности a) Стоимость результата b)Результат на ставку $6696,42 ($750000/112) 5,01 (112/22) 3. Интерпретации a) Средняя стоимость часа тренинга - $27.27 b) Каждый тренер проводит в среднем 1850 часов тренинга c) Средняя стоимость завершенной программы для семьи - $3,3333 d) У каждого тренера 10,23 семей завершают программы e) Стоимость того, что в семье не пренебрегают ребенком и не проявляют насилия по отношению к нему в течение 2 лет - $6696 f) Среднее количество полезных результатов на каждого тренера 5. 15
- 16. 16 Обзор методов измерения деятельности Измерение производительности Промежуточные - Время (единица услуги) - Эпизод или контакт (единица услуги) - Материал (единица услуги) Финальные - Завершенные программы Измерение качества Измерение качества продукта на выходе Удовлетворенность клиента Измерение социального результата Промежуточные - количественные - стандартизованные методики измерения - шкалы уровня функционирования (Level of functioning (LOF) scales) - удовлетворенность клиента Финальные - количественные - стандартизованные оценки - шкалы уровня функционирования (LOF scales) 16