Исследование деятельности социально ориентированных нко в регионах проектаBDA26 августа 2015 г. в Новосибирске состоится конференция
«Настоящее и будущее НКО: риски и перспективы»
На конференции будут представлены вопросы по основным направлениям деятельности НКО, повышению их организационной устойчивости и стандартизации услуг, а также развитию межсекторного социального партнерств.
Оценка социальных программ для пожилых: базы показателей и инструментовЭволюция и Филантропия Оценка социальных программ для пожилых: базы показателей и инструментов
Создание системы измерения и оценки социального воздействияЭволюция и Филантропия Тренинг, проводимый ЭиФ (E&P) 20.09.2016 в рамках Международной научно-практической конференции
«Доказательный подход к проектированию и оценке результатов программ в сфере детства»
20-22 сентября 2016 г. г. Москва
Результаты входного анкетирования в программу ПИОНЭволюция и Филантропия В презентации отражены результаты входного тестирования в программу, мотивация, уровень знаний в области оценки, персональный опыт в оценке программ, организационный потенциал.
«Особенности проведения независимого мониторинга и оценки социальных проектов...Elena PreblaginaПрезентация выступления на Всероссийской конференции «Оценка социальных результатов программ, проектов и услуг в сфере детства», Москва, 11-13 ноября 2014г.
Обзор зарубежного опыта: общие подходы к оценке социальных программ для старш...Эволюция и Филантропия Круглый стол «Социальные инвестиции в программы поддержки старшего поколения в России. Как добиться системности и результативности», Москва, 24.11.2016
Обзор зарубежного опыта по оценке, в т.ч. в сфере защиты детстваЭволюция и Филантропия Обзор зарубежного опыта по оценке и измерению результатов программ, в т.ч. в сфере защиты детства. Подготовлено АНО "Эволюция и Филантропия", 2015
Monitoring Evaluation_Social Partnership Projects_DTEKAnna DanylyukMonitoring and Evaluation of the social partnerships projects at DTEK (CSR effectiveness session, GC Network Ukraine)
Тренинг тренеров. Осознанный выбор профессииMarina KovalevskayaКурс обучения тренеров, педагогов, психологов, работников образования. Прохождение курса гарантирует овладение знаниями, умениями и навыками в области ведения и организации программы “Осознанный выбор профессии” для подростков.
Программа содержит 3 модуля, которые последовательно позволяют участникам ознакомиться с принципами построения активных форм обучения, изучить специфику тренинга “Осознанный выбор профессии”, освоить его составные части и блоки, получить супервизию.
Инструменты МиО качества образования Т.ТретьяковаАлтынбек ШайдылдаевМониторинг и оценки (МиО) являются инструментами управления, позволяющими выявить реальное воздействие стратегий, программ, проектов на изменение ситуации в соответствии с заданными параметрами.
Создание системы измерения и оценки социальных результатовЭволюция и Филантропия Презентация представлена в рамках Тренинга "Построение системы измерения и оценки социальных результатов", 2 марта, 2017год в рамках реализации Программы «Система измерения и оценки для программ в области социального сиротства» на средства субсидии Комитета общественных связей г.Москвы при финансовой поддержке Фонда Тимченко.
Оценка социального воздействия. Зарубежный опыт.Эволюция и Филантропия Презентация подготовлена для Форума Уральского федерального округа 20-21 июня 2017, секция «Развивающая ресурсная инфраструктура для социального сектора».
Обзор зарубежного опыта: общие подходы к оценке социальных программ для старш...Эволюция и Филантропия Круглый стол «Социальные инвестиции в программы поддержки старшего поколения в России. Как добиться системности и результативности», Москва, 24.11.2016
Обзор зарубежного опыта по оценке, в т.ч. в сфере защиты детстваЭволюция и Филантропия Обзор зарубежного опыта по оценке и измерению результатов программ, в т.ч. в сфере защиты детства. Подготовлено АНО "Эволюция и Филантропия", 2015
Monitoring Evaluation_Social Partnership Projects_DTEKAnna DanylyukMonitoring and Evaluation of the social partnerships projects at DTEK (CSR effectiveness session, GC Network Ukraine)
Тренинг тренеров. Осознанный выбор профессииMarina KovalevskayaКурс обучения тренеров, педагогов, психологов, работников образования. Прохождение курса гарантирует овладение знаниями, умениями и навыками в области ведения и организации программы “Осознанный выбор профессии” для подростков.
Программа содержит 3 модуля, которые последовательно позволяют участникам ознакомиться с принципами построения активных форм обучения, изучить специфику тренинга “Осознанный выбор профессии”, освоить его составные части и блоки, получить супервизию.
Инструменты МиО качества образования Т.ТретьяковаАлтынбек ШайдылдаевМониторинг и оценки (МиО) являются инструментами управления, позволяющими выявить реальное воздействие стратегий, программ, проектов на изменение ситуации в соответствии с заданными параметрами.
Создание системы измерения и оценки социальных результатовЭволюция и Филантропия Презентация представлена в рамках Тренинга "Построение системы измерения и оценки социальных результатов", 2 марта, 2017год в рамках реализации Программы «Система измерения и оценки для программ в области социального сиротства» на средства субсидии Комитета общественных связей г.Москвы при финансовой поддержке Фонда Тимченко.
Оценка социального воздействия. Зарубежный опыт.Эволюция и Филантропия Презентация подготовлена для Форума Уральского федерального округа 20-21 июня 2017, секция «Развивающая ресурсная инфраструктура для социального сектора».
Отчет о базовых замерах показателей программы ПИОНЭволюция и Филантропия Программа “Система измерения и оценки программ в области социального сиротства: онлайн-сервис, экспертная поддержка и вдохновляющие кейсы» направлена на рост числа СО НКО г. Москвы, реализующих программы в сфере социального сиротства, внедряющих в свою деятельность практику измерения и оценки социальных результатов.
Добровольчество ради воздействия Эволюция и Филантропия Передовая практика международного корпоративного добровольчества. Подготовлено для видеоконференции, октябрь 2009.
Стратегическое управление в российских НКОЭволюция и Филантропия Материал 2009 года. Подготовлен на основе опроса участников конференции Форум Доноров.
Программа «Система измерения и оценки для программ в области социального сиро...Эволюция и Филантропия Презентация программы: Система измерения и оценки для программ в области социального сиротства: онлайн-сервис, экспертная поддержка и вдохновляющие кейсы. Краткое название : ПИОН ( Планирование, Измерение и ОцеНка)
Информация о программе "Система измерения и оценки для программ в области соц...Эволюция и Филантропия Выступление О.Евдокимовой в рамках установочного семинара 10 февраля 2017.
Итоги конференций по оценке 2016 - взгляд E&PЭволюция и Филантропия Говорим о международных конференциях по оценке в сообществе Форум Доноров, 16.11.2016
Платформа: результаты и показатели для социальных проектовЭволюция и Филантропия Платформа предлагает перечни международных социальных результатов и показателей по темам (на русском языке, со ссылками)
Обзор рейтинговых-организацийЭволюция и Филантропия В материале представлены критерии и методы отбора и оценки наиболее известных рейтинговых организаций: Charity Navigator, BBB Wise Giving Alliance, American Institute of Philanthropy, Forbes Magazine. Материал 2008 года.
Опыт Фонда Тимченко по организации Всероссийского конкурса "Семейный фарватер"Эволюция и Филантропия Презентация представлена на круглом столе «Грантовые конкурсы: возможные формы сотрудничества доноров по вопросам оценки», Москва, 22.09.2016 в рамках Международной научно-практической конференции
«Доказательный подход к проектированию и оценке результатов программ в сфере детства» 20-22 сентября 2016.
10 моделей финансирования НКОЭволюция и Филантропия Уильям Ландес Фостер (William Landes Foster), Питер Ким (Peter Kim), Барбара Кристиансен (Barbara Christiansen), Stanford Social Innovation Review
весна 2009 г. http://www.ssireview.org/articles/entry/1230/
Частные фонды. определение и анализ эффективности филантропической деятельностиЭволюция и Филантропия Обзор зарубежного опыта, в основном, на примере частных фондов США.
Как сформулировать краткую сфокусированную "рекламную" информацию pitchЭволюция и Филантропия Термины, как построить разговор с донором: рекомендации и возможные ошибки.
Создание общей ценности (Creating Shared Value): конкретные кейсыЭволюция и Филантропия По материалам Инициативы «Создание общей ценности»
http://sharedvalue.org/
оценка дружественная детям результаты исследования
1. ОЦЕНКА, ДРУЖЕСТВЕННАЯ
ДЕТЯМ: ПРЕДВАРИТЕЛЬНЫЕ
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
РОССИЙСКИХ НКО
ПодзаголовокДарья Шамрова,
координатор исследовательских проектов, докторант Школы социальной
работы Университета штата Мичиган -12 Ноября 2014 года-
2. Содержание:
О проекте (3)
Методы (4)
Участники исследования (5)
Состояние дел в оценке: практики НКО в сфере детства (7)
Факторы, влияющие на развитие оценки (8)
Оценка, дружественная детям: конструируем новый концепт (9)
Модель оценки, дружественной детям (10)
Как потратить миллион долларов на оценку? (18)
Ключевые области развития (19)
Что дальше? (20)
Благодарности (21)
2
3. О проекте
Целью этого исследования является концептуализация и построение модели оценки
дружественной детям, а также определение факторов, способствующих и препятствующих ее
использованию в некоммерческих организациях в России.
Время проведения: этап сбора данных в период с 26 мая по 13 июля 2014 года
Участники: 14 интервью с представителями некоммерческих организаций и групповое
интервью с 5 консультантами в области оценки
Критерии для участия:
(1) являться некоммерческой организацией, работающие с детьми,
(2) так или иначе проводить оценку программ, осуществляют мониторинг результатов и/или
собирают обратную связь с привлечением стейкхолдеров
(3) иметь согласие руководства организации на проведения исследования.
Продолжительность интервью около 1 – 1.45 часа
Грант на исследование предоставлен Факультетом социальных наук Университета штата Мичиган
Партнеры исследовательского проекта: Благотворительный фонд «Культура Детства» и Evolution
& Philanthropy
3
4. Методы сбора данных и анализ
Сбор данных: качественная методология «заземленной теории» на основе 14
глубинных интервью с представителями некоммерческого сектора,
дополнительная информация собиралась в виде предоставленных участниками
примеров внутренних документов, годовых отчетов, сайтов, социальных медиа и
другого доступного онлайн-контента
Анализа данных: применялось полное транскрибирование, построчное открытое
кодирование, вторичное кодирование для конденсации данных, объединение
вторичных кодов в темы, выявление групп кластеров, сопоставление кодов для
выявление общих трендов и анализа различий (Charmaz, 2014).
Общий объем материала к анализу: 170 страниц печатного текста
Программное обеспечение для анализа данных: Dedoose 5.1.26
Права участников исследования защищены Institutional Review Board при
Университете штата Мичиган.
4
5. Участники исследования: ключевые характеристики
28 участников: 23 представителя НКО
(14 некоммерческих организации,
работающих в сфере детства)
и 5 внешних консультантов по оценке
Программные
менеджеры, 8
Психологи, 2, 8%
PR-специалисты,
1, 4%
Директор по
развитию, 2, 9%
Специалисты по
оценке/исследов
аниям/методисты
, 3, 13%
Программный
директор, 2, 9%
Президент/Испол
нительный
директор, 5, 22%
Распределение участников по должностям
Ключевые группы детей-
благополучателей:
- Дети-сироты в учреждениях и
в приемных семьях,
выпускники детских домов
- Уязвимые группы молодежи
- Дети с особенностями
развития (инвалидностью,
генетическими синдромами)
- Дети, пережившие травмы, в
т.ч. Сексуальную эксплуатацию
- Дети с вредными привычками
- И другие.
5
7. Состояние дел в оценке: практики НКО в сфере детства
Какие оценочные практики используются в НКО в сфере детства?
Исследования целесообразности реализации программы (feasibility studies)
Анализ причин социальной проблемы (rootcause analysis)
Оценка потребностей
Оценки качества услуг
Оценки эффективности процесса реализации программ
Самооценки
Эмпирические оценки «до и после»
Индикаторные оценки результативности
Экспертные оценки результативности
Бенчмаркинг
Аудит соответствия международным, национальным и профессиональным стандартам качества
предоставления услуг
Оценка социально-экономической эффективности
Оценка влияния (пилотные проекты)
Системность и целостность?
7
8. Факторы влияющие на развитие оценки в целом, и оценки,
дружественной детям, в частности.
Восприятие оценки как
инструмента контроля и
наказания
Недостаток средств на
проведение оценки
Недостаток знаний и навыков в
оценке
Сложности в выборе
подходящего инструментария
для сбора данных с учетом
специфики детства
Низкий приоритет
финансирования среди доноров
Нехватка сотрудников
Поддержка со стороны доноров,
как финансовая так и
экспертная
Профессиональные сотрудники
Гуманистические ценности как
часть организационной
культуры
Рефлексия как часть
организационной культуры
поддерживается со стороны
руководства и сотрудников
Выделенное финансирование на
оценку
Международный опыт и
экспертиза
Оценка,
дружественная
детям
НЕГАТИВНЫЕ ФАКТОРЫ ПОЗИТИВНЫЕ ФАКТОРЫ
8
9. Оценка, дружественная детям: конструируем новый концепт
Что понимается под «дружественный детям»?
Дружественный детям – это характеристика объекта, определяющая учет
интересов и потребностей детей в соответствии с Конвенцией о правах
ребенка и предполагающий вовлечение детей в принятие решений как
активных стейкхолдеров (James & James, 2012)
Что Мы понимаем под «оценкой, дружественной
детям»?
ПРОЕКТ: Оценка, дружественная детям – это гуманистический подход в
оценке, сфокусированный на (1) ценности реализации прав ребенка
участвовать в принятии решений и быть услышанным, (2)
ответственности взрослых в обеспечении условий для реализации этих
прав и (3) на уважении к детству как особому этапу в жизни человека.
9
10. Модель оценки, дружественной детям (проект):
Ребенок как ключевая ценность организации
Этические правила
Мультидисциплинарная
команда специалистов
Программный дизайн,
дружественный детям
Осмысленное вовлечение
детей в оценку
Использование инструментов
сбора данных, адаптированные
под специфику детей
Обеспечение прозрачности целей,
задач, процессов и результатов
оценки для ребенка
Необходимые действия:Необходимые условия:
10
11. Ребенок как ключевая ценность организации
Для НКО, работающих с детьми, сами дети должны быть
частью их ценностей, философии и корпоративной культуры
Ребенок не объект оценки, а ее субъект
Осознание потенциала к развитию для каждого ребенка
Возможные области институционализации:
- Корпоративный кодекс этики
- Декларация о ценностях
- Исследования/Аудиты соответствия корпоративных ценностей с ценностями сотрудников
11
12. Этические правила
Ненанесение вреда
Конфиденциальность информации между ребенком и оценщиком
Защита детей от манипуляции взрослых, пытающихся повлиять на результаты оценки
Выстраивание доверительных отношений с ребенком
Возможные области для институционализации:
- Этические кодексы
- Этические комитеты
12
14. Программный дизайн, дружественный детям
Детей привлекают к разработке программы
Детей спрашивают о потребностях в рамках планирования программы
Дети определяют свои собственные цели для достижения по
результатам программы
Учет специфики восприятия ситуации глазами детей
Возможные области для институционализации:
- Политики разработки проектов и программ
- Паспорта программ
- Стандарты оценки/Стандарты планирования программ
- Формы заявок на финансирование
«Под этим я понимаю, проекты ориентированы на ребенка, проекты которые ценят
ребенка как человека, как личность, которые учитывают его мнение и желания и
способствуют его личностному росту».
14
15. Осмысленное вовлечение детей в оценку
Участие детей в оценке не системно
Решение об участии ребенка принимается взрослыми (право ребенка на участие =
решение взрослых)
Организация участия детей требует подготовки и дополнительных ресурсов
Чаще привлекаются подростки и старшие дети
Роль в которых привлекаются дети различны: от источника информации до помощника
оценщика
Возможные области для институционализации:
- Стандарты оценки/Стандарты планирования программ
- Формы заявок на финансирование
- Формы отчетности по грантам
- Политики сбора данных с участием детей
- Договор на внешнюю оценку
«И для меня всегда вопрос того, чтобы это было разумно. Потому что иногда это делается, к
сожалению, для галочки. И дети к чему-то привлекаются, не очень понятно, зачем им это. И не
очень понятно, как использовать это».
15
16. Использование подходящий инструментов для сбора
данных
Факторы, влияющие на выбор инструмента:
Возраст
Уровень когнитивного, речевого, эмоционального,
социального развития, включая наличие специфических
особенностей развития
Культурная принадлежность
Уровень влияния событий, повлекших психологическую
травму
Возможные области для институционализации:
- Стандарты оценки/Стандарты планирования программ
- Технические задания на проведения оценки
- Политики сбора данных с участием детей
Принципы проведения измерения:
• Оценка результатов развития ребенка следует
проводить относительно его индивидуальной
динамики
• С осторожностью использовать соотнесения
показателей развития ребенка со стандартами
«нормальности»
• Выработка критериев успешности достижения
социального результата для конкретной группы
детей и конкретной программы
Традиционные методы сбора данных:
- Интервью
- Фокус-группы
- Анкетирование
- Наблюдение
Альтернативные методы сбора данных:
- Диагностические игры
- Проективные методики
- Использование видео материалов для
фасилитации дискуссии (кинолектории)
16
17. Обеспечение прозрачности оценки для детей
Возможные области для институционализации:
- Стандарты оценки/Стандарты планирования программ/Стандарты коммуникации
- Технические задания на проведения оценки
- Политики сбора данных с участием детей
Оценка, дружественная детям, может включать следующие коммуникационные составляющие:
(1) Обсуждение с ребенком:
- Зачем ему нужно принимать участие в оценке?
- Что будет если он не согласиться?
- Как будет использована полученная информация?
- Кто будет иметь к ней доступ?
- Как ему сообщат о результатах?
(2) Подготовка отчета об оценке, специально ориентированного на ребенка как ключевого
благополучателя.
17
18. Как потратить миллион долларов на оценку?
Чего хотят НКО?
Что им посоветовали сделать консультанты по
оценке?
18
1. «Не бежать тратить деньги на оценку»
2. Посвятить время целеполаганию и
планированию в оценке
3. Инвестировать в выстраивание устойчивой
системной деятельности внутри
организации
4. Развивать образовательные возможности в
оценке для своего персонала
5. Создавать площадки для обмена опытом в
области оценки и поддержание открытого
диалога об оценке, дружественной детям, в
профессиональном сообществе.
1. Широкомасштабную оценку ситуации в области детского
благополучия
2. Сравнительный анализ результативности программ из
одной проблемной области
3. Оценка эффективности государственных программ
профилактики социального сиротства
4. Разработка специализированных инструментов
измерения социального результата
5. Оценка эффективности использования ресурсов
6. Пролонгированные исследования социальных
результатов для детей
7. Специалиста по оценке
8. Оценка исходного состояния показателей социального
результата (baseline)
9. Оценка профилактических программ в сфере детства
10. Повышение уровня квалификации в области оценки
19. Ключевые области развития:
1. Часто у оценки нет пользователя
2. Оценка по запросу различных стейколдеров требует больших ресурсов: НКО пытаются
сфокусироваться на удовлетворении информационных потребностей внешних стейкхолдеров
(государства, доноров), что зачастую смещает фокус внимания с внутренних запросов в
развитии организации.
3. Такой перераспределение усилий на использовании оценки для внешней отчетности влечет за
собой недостаток таких усилий для внутренней рефлексии и управление изменениями внутри
организации. Готовность к рефлексии и самооцениванию часто зависит от этапа развития
организации: чем больше опыта у организации, тем больше возникает эта необходимость, тем
вероятнее, что оценка будет использоваться как инструмент развития.
4. Оценка воспринимается как инструмент контроля и наказания, особенно, этот вопрос
становится острым, если НКО необходимо оценить результаты детей в государственных
учреждениях
5. Существуют разрывы в логике достижения социальных результатов и эффектов, что зачастую
может быть связано с недостаточными развитием культуры социального проектирования
6. Формальной институционализации оценки, дружественной детям, недостаточно. Важно еще
иметь определенную организационную культуру и профессиональный замотивированный
персонал. 19
20. Ключевые выводы:
Включения ребенка в оценку будет
поддерживаться там, где есть подготовленная
для этого почва в организационной культуре;
Ценностей организации и формальной
институционализации недостаточно для
распространения оценки, дружественной детям,
необходимо соотносить ценности сотрудников с
ценностями организации и вкладываться в
развитие потенциала оценки, в целом.
Ограничения исследования:
Данное исследование не стремиться
к репрезентативности. Полученные
качественные данные могли бы
быть усилены анализом
административных документов и
отчетов об оценке. В силу
конфиденциальности некоторых
ресурсов выполнение анализа не
продставляется возможным.
Библиография:
• Charmaz, K. (2014). Constructing
Grounded Theory (Second Edition
edition.). Thousand Oaks, CA: SAGE
Publications Ltd.
• James, A. L. (2012). Competition or
integration? The next step in childhood
studies? Childhood, 17(4), 485–499.
doi:10.1177/0907568209350783
Что будет дальше?
20
1. Обсуждаем результаты и их применение?
2. Вырабатываем рекомендации для различных
стейкхолдеров
3. Аккумулируем и публикуем кейсы с лучшими
практиками
21. БЛАГОДАРНОСТИ!!!
14 организациям и 23 представителям, которые в силу ограничений
конфиденциальности остались не названными. Спасибо вам огромное!!! Без вас не
было бы этого исследования!!!
5 консультантам по оценке: без вашего участия, совета и помощи все было бы
гораздо сложнее!!!
Мои прекрасным партнерам из БФ «Культура детства» и Evolution & Philanthropy,
которые помогали в целеполагании и дизайне этого исследования – Татьяна
Подушкина и Ольга Евдокимова!!!
Эльвире Гарифулиной и фонду Семьи Тимченко за помощь в организации
группового интервью!!!
21
22. Спасибо за внимание!
Даша Шамрова
Координатор исследовательских проектов, докторант Школы
социальной работы при Университете штата Мичиган
Email: dashamrova@yahoo.com
22
www.linkedin.com/in/shamrova
http://www.slideshare.net/DariaShamrova
Skype name: dashamrova
*При использовании материалов из этого исследования ссылка на источник обязательна.