Позитивные изменения. Том 3, № 4 (2023). Positive changes. Volume 3, Issue 4(2023) - Редакция журнала «Позитивные изменения»

• количество посетителей клубных формирований.

Если проект заявляется с высоким баллом по шкале данного критерия, то необходимы будут следующие данные для оценки:

• Конкретный показатель, на который направлено действие проекта, по которому ведется статистический учет;

• Показатели до, во время и после реализации проекта.

Динамика должна отражать направленность проекта — снижать негативные показатели, увеличивать позитивные показатели.

7. Территориальная согласованность

Критерий отражает то, насколько проект направлен на решение проблемы, имеющей высокую актуальность для территории.

Для оценки территориальной согласованности проекта необходимо проанализировать охват аудитории, которая получила доступ к социальной технологии, направленной на решение актуальной для территории проблемы или проблем.

Для оценки может использоваться количественный анализ проектов, направленных на решение проблем, актуальность которых для территории подтверждена внешними источниками, например, указанных в индексе качества жизни в регионе и другим подобным индексам. Например, «N% успешно завершенных грантовых проектов были направлены на решение проблем, имеющих высокую подтвержденную актуальность для региона».

Следующая группа критериев, с 8 по 11, относится к группе «гигиенических», т. е. отражающих общие рекомендации для любого социального проекта.

8. Наличие доказательной базы используемой социальной технологии

Проект основан на социальной технологии (практике), которая обоснована с точки зрения научных теорий и концепций, результатов научных исследований в данной области, а также на основании мнений и опыта благополучателей.

9. Наличие системы мониторинга

По ходу реализации проекта проводится регулярный сбор данных о его реализации — ведется статистика (обращений, количества оказанных услуг, посетителей, звонков), сбор обратной связи (анкетирование, интервью) и т. п.

Данная модель может быть внедрена в других регионах, а отдельные ее элементы — критерии, индикаторы, подходы к разработке диагностического инструментария — использованы при разработке моделей оценки федеральных проектов и программ.

10. Наличие показателей для оценки эффективности проекта

Для проекта разработана и используется система показателей (индикаторов) оценки его эффективности для каждого этапа реализации; данные показатели описаны, разработана методология для их оценки (инструменты и порядок сбора данных).

11. Наличие системы сбора данных и контроля медиаприсутствия

В некоммерческой организации в целом и на уровне проекта в частности разработана и внедрена система оценки медиаэффективности — сбора и анализа данных об отражении проекта в СМИ (традиционных, социальных медиа). Данные регулярно собираются, анализируются, результаты анализа оперативно учитываются в дальнейшем взаимодействии со СМИ.

В отношении критериев «гигиены оценки» (8–11) даются рекомендации только для тех, по которым получены низкие оценки (1 или 2). Пример рекомендаций для критерия 8 — наличие доказательной базы используемой социальной технологии:

Таблица 1. Пример набора индикаторов для одного из приоритетных направлений

В случае, если проект реализуется впервые, не имеет опыта апробации и внедрения (например, на другой территории или для другой целевой аудитории), рекомендуется:

• проведение кабинетного исследования, основанного в том числе на научных и иных источниках данных, которое позволит доказательно сформировать видение того, каких результатов можно ожидать при реализации данного проекта, использования заложенной в ней социальной технологии;

• проведение опроса стейкхолдеров, потенциальных благополучателей, направленного на выявление потенциальных угроз, сложностей и т. п., а также предварительной оценки характера и качества изменений, которых можно достичь в ходе реализации проекта, условий, требуемых для таких изменений. Такой опрос является обязательным в случае, если благополучателями являются аудитории, имеющие ограничения в предоставлении обратной связи (например, дети, люди с ментальными нарушениями, ограничениями когнитивной сферы и т. п.)

В случае, если проект уже был реализован ранее, но это не позволило сформировать необходимую доказательную базу, рекомендуется проведение опроса как минимум трех групп стейкхолдеров, имевших отношение к реализации проекта — например, представителей проектной команды, представителей благополучателей, финансирующей организации, партнерских организаций, государственных органов и т. п. Целью опроса является ответ на вопрос о возможных «точках роста» проекта, его результатах и условиях получения этих результатов. Рекомендуется также проведение кабинетного исследования, как и в первом случае (первичной реализации проекта).

Результатом должно стать наличие доказательной базы, используемой социальной технологии (практики) — обоснование с точки зрения научных теорий и концепций, результатов научных исследований в данной области, а также на основании мнений и опыта благополучателей.

ОЦЕНКА ПРОЕКТА В СООТВЕТСТВИИ С СИСТЕМОЙ ИНДИКАТОРОВ СОЦИАЛЬНОГО ВОЗДЕЙСТВИЯ

Вторым компонентом модели является оценка на основании индикаторов социального воздействия.

На основании анализа конкурсных заявок прошлых лет, а также существующих тематических направлений поддержки был разработан набор индикаторов, отражающих качественные характеристики воздействия проекта. Пример набора индикаторов для одного из приоритетных направлений представлен в Таблице 1.

В случае, если разработанный список индикаторов, по мнению проектной команды, не позволяет описать воздействие проекта (либо в случае изменения тематических направлений, поддерживаемых Фондом), есть алгоритм дополнения заданного списка. Для новых индикаторов предлагается использование универсальной формулы по типу: «Какие изменения произошли в области?.. Как вы оцениваете вклад проведенного проекта в эти изменения? Как эти изменения касаются вас?» Количественные шкалы для оценки изменений приводятся аналогично тем, которые используются для основного (универсального) списка индикаторов.

В качестве источника формулировок индикаторов рекомендуется привлечение стейкхолдеров проекта. В качестве них могут выступать:

• государство — муниципалитеты, политики (представители партий, депутаты) и представители исполнительной власти;

• гражданское общество — волонтерские центры, НКО и университеты;

• рынок — представители бизнеса и государственных корпораций;

• непосредственные благополучатели.

Следует убедиться, чтобы в исследовании соблюдался принцип триангуляции — проверки выводов исследования через интервью с представителями не менее трех групп стейкхолдеров (например, благополучатели, их семьи, представители администрации, бизнеса, вовлеченные в проект и т. п.).

В качестве основы для сбора данных от благополучателей предлагается использовать анкету в форме протокола оценки воздействия. Ее можно использовать для интервью или анкетирования (при помощи онлайн или офлайн инструментов).

ИНТЕГРАЛЬНАЯ МОДЕЛЬ ОЦЕНКИ

Особенностью поставленной Фондом задачи была также разработка интегральной модели оценки. Интегральная оценка относится к оценке воздействия всех проектов, получивших грантовую поддержку. В рамках итогового отчета собираются все показатели по охватам проектов и типам воздействия, которое было оказано. В интегральной оценке фиксируются три группы данных: универсальные критерии социального воздействия на базе УОП, индекс значимости изменений на основании анализа индикаторов, интегральный протокол качественной оценки воздействия проектов (опционально). Алгоритм работы с ними выглядит следующим образом:

• Оценка проектов по универсальным критериям социального воздействия на базе УОП;

• Агрегирование данных по индексу значимости изменений;

• Проведение отдельного исследования о совокупном воздействии проектов на развитие территории с использованием протокола качественной оценки воздействия.

Для дальнейшего развития интегральной оценки показателей социального воздействия на базе УОП возможно применять анализ по типу эконометрического моделирования. Это возможно будет реализовать при накоплении общей базы показателей, между которыми можно предполагать причинно-следственные связи.

ЗАКЛЮЧЕНИЕ

В заключение хотелось бы отметить ряд характеристик разработанной модели, на которые, на наш взгляд, важно обратить внимание.