Мониторинговые исследования в благотворительном секторе: что это такое и зачем они нужны

С помощью мониторинга НКО могут объективно оценивать результаты своей работы, отслеживать, как менялись социальные проблемы в течение нескольких лет, и даже предлагать законодательные инициативы. Но такие исследования нельзя проводить без строгого соблюдения методики, иначе высок риск получить некорректные результаты.

Что такое мониторинговое исследование?

Мониторинговое исследование — это исследование, в рамках которого сбор данных происходит на постоянной или регулярной основе, что позволяет поэтапно отслеживать изменения и наблюдать за динамикой в изучаемых процессах, общественном мнении, результатах деятельности фонда. 

Пример такого исследования — ежегодный опрос среди НКО-партнеров, с которыми сотрудничает фонд «Нужна помощь». Опрос посвящен оценке взаимодействия с нашей организацией, использования наших продуктов и так далее. Этот мониторинг помогает всем направлениям фонда регулярно учитывать обратную связь и видеть, в какую сторону меняется ситуация.

Особенной методологии для мониторинговых исследований нет. Исследователи используют привычный инструментарий: анкетирование, интервью, наблюдение, сбор пользовательской статистики.

Результаты мониторинга часто являются составляющей отчетности, например, по гранту.

Чем мониторинговые исследования лучше разовых?

Регулярное исследование дает больше возможностей для интерпретации полученных результатов (количества, доли, соотношения чего-либо). 

Мониторинг подразумевает накопление результатов и задает своего рода норму для оценки, от которой мы можем отталкиваться и с которой можем сравнивать получаемые результаты в дальнейшем.  

Разберем это на примере ежегодного опроса «Профессиональная благотворительность в развитии» фонда «Нужна помощь». В 2022 году 6% российских интернет-пользователей жертвовали мигрантам и беженцам. У читателя неизбежно возникает вопрос: это много или мало? В разовом исследовании мы получили бы единственный вывод: уровень поддержки этой целевой группы небольшой относительно других нуждающихся — детей с инвалидностью, бездомных, детей-сирот и так далее. 

Так как это исследование ежегодное, мы видим динамику: доля россиян, которые жертвуют мигрантам и беженцам, с 2021 до 2022 года выросла с 2 до 6%. Поэтому мы можем сделать вывод не только о росте уровня поддержки, но и о влиянии событийного контекста весны 2022 года на готовность населения поддерживать эту категорию нуждающихся.

В результате мониторинга можно предположить, почему произошли те или иные изменения, благодаря ситуационному и событийному контексту. Разовые исследования чаще просто констатируют факт, который фиксирует положение дел здесь и сейчас.

Нужны ли мониторинговые исследования всем НКО?

Мониторинговые исследования нужны организациям, чья работа, проекты или программы требуют постоянного отслеживания изменений, чтобы развивать и масштабировать проект. Лоббировать интересы подопечных, принятие закона, продвигать важные инициативы в секторе легче, имея на руках данные мониторинга: они позволяют действовать, опираясь на факты, а не на домыслы. 

Если организация небольшая, а ее цель в настоящий момент — адресная помощь людям в конкретном районе, не стоит тратить ресурсы на подобные исследования. На этом этапе развития организации мониторинг не нужен. 

Если у некоммерческой организации нет своих специалистов для проведения мониторинга, можно обратиться к сторонним исследовательским компаниям. 

Обязательные критерии мониторинга

• Установленная периодичность.

Важно определить цели исследования, ресурсы для его проведения и понять, какая именно регулярность подходит фонду: ежемесячная, ежеквартальная, ежегодная, один раз в два года и так далее. 

Например, каждый месяц делать опрос о мотивах участия населения в благотворительности нет смысла: они устойчивы и не меняются часто. При этом «средний чек» пожертвования более изменчив, поэтому его можно отслеживать ежемесячно.

• Соблюдение и фиксация методики исследования.

Главная цель мониторинга — отслеживание изменений (то есть динамики), понимание, как было и что изменилось. Это накладывает ограничение на смену инструментария: формулировки вопросов и шкал с ответами, выборки исследования (респонденты, аудитория, которую мы изучаем), метода (face-to-face-опрос или онлайн-опрос). 

Пример: ежегодный мониторинг благотворительной организации N включал вопрос о степени удовлетворенности программой благополучателей, которые в ней участвовали. Изначально удовлетворенность измерялась по шкале «удовлетворен», «не удовлетворен», «затрудняюсь ответить». В этом году было принято решение расширить шкалу ответов и сделать ее более подробной: «полностью удовлетворен», «скорее удовлетворен», «отчасти удовлетворен, отчасти нет», «скорее не удовлетворен», «полностью не удовлетворен», «затрудняюсь ответить». В этом случае сопоставить результаты прошлого и текущего годов сложно, разница в соотношении положительных и отрицательных оценок может быть вызвана не объективными причинами (качеством программы и эффективностью оказанной помощи), а изменением шкалы ответов. 

Мы можем добавлять новые вопросы и менять старые, особенно если мониторинг длится несколько лет. За это время ситуация, деятельность фонда и контекст неизбежно меняются. Однако после этого мы теряем возможность использовать предыдущие исследования для сравнения.

Методика мониторингового исследования должна быть максимально четко прописана, а также зафиксирована и сохранена. Чем точнее ее воспроизведут, тем релевантнее будут результаты исследования.

Кроме того, ответственный за сбор данных может уйти из команды. Без сохраненных документов мониторинга (анкеты, инструкции, шаблоны, таблицы, критерии отбора целевой аудитории и респондентов) продолжать исследование трудно. 

Хранить данные можно в любом облачном сервисе. Главное — организовать систему, в которой легко ориентироваться и искать файлы. Это особенно важно, так как в мониторинговых исследованиях за годы проведения накапливается большой объем информации. Анкеты, методика, изменения и другие исследовательские шаги нужно фиксировать и упорядочивать. 

• Определение исходного и целевого значений.

У исследования может быть конкретная цель по измерению достижения какого-либо уровня, состояния и/или импакта от деятельности благотворительной программы и/или проекта.

Например, цель фонда — двукратный рост доли благополучателей, которые обратились за помощью. В таком случае в мониторинге нужно зафиксировать исходное (до реализации программы) и целевое (желаемое) значения. В мониторинге также могут быть и промежуточные результаты, если в них есть потребность и проект существует достаточно долго. 

Важно ставить перед фондом достижимые цели, иначе мониторинг покажет, что они не выполняются, несмотря на все усилия. Может появиться желание изменить методику, чтобы улучшить отчетность, после чего в большинстве случаев будет нельзя сравнить результаты прошлых и будущих мониторингов.

• Продуманная система мотивации к участию.

Сейчас люди неохотно соглашаются участвовать в исследованиях, так как воспринимают их как информационный шум из-за множества рекламных рассылок и уведомлений. 

Если предполагается, что участники должны проходить опрос регулярно, их важно удержать. Придумайте небольшие подарки: денежное поощрение, мерч фонда или книги. Есть и более сложная мотивация — бесплатный доступ к результатам исследования, консультации специалистов фонда, экспертное сопровождение.

Например, каждой организации — участнику исследования «Оценка уровня организационного развития» проекта «Пульс НКО» бесплатно предоставляется индивидуальный отчет об оценке уровня организационного развития конкретной НКО на фоне сектора в целом. Так организация получает сложную коммерческую услугу бесплатно, просто за участие в мониторинге.

Как не ошибиться с интерпретацией результатов мониторинга?

Самое главное — точно соблюдать методологию исследования, так как ее изменение влияет на результаты. 

Кроме того, можно сопоставлять полученные выводы с результатами коллег по сектору, других некоммерческих организаций. Сравнение результатов схожих социальных проектов дает понимание, как деятельность фонда выглядит на фоне остальных — лучше или хуже. Если результаты слишком хороши или плохи, нужно задуматься: это следствие работы фонда или свидетельство ошибки в сборе и анализе данных? 

Другой способ проанализировать итоги мониторинга — обратиться за верификацией к стороннему эксперту, у которого нет мотивации приукрасить их. Такую экспертизу можно получить на бесплатной (волонтерство, pro bono) и коммерческой основе. 

Нужно ли публиковать результаты мониторинга? 

Решение о публикации мониторинга каждый фонд принимает сам. Если такая возможность есть, лучше выложить данные исследования.

Во-первых, в перспективе это позволит создать открытую базу с объективной оценкой социальных проектов. Фонды смогут сравнивать результаты исследований и соотносить себя с коллегами по сектору.

Во-вторых, небольшие организации, у которых нет средств на исследование, смогут узнать больше о проблемах, с которыми сталкиваются похожие фонды. 

При публикации важно указать, менялась ли методика сбора данных. Если вы изменили выборку или шкалу ответов, это отразится на результате. Без дисклеймера об ограничениях и смещениях в методике читатель может сделать неверные выводы об итогах исследования. Кроме того, подробное указание методики — признак хорошего тона в любых исследованиях, повышающий доверие к их результатам.

Где найти средства на проведение мониторинга?

На проведение мониторингового исследования НКО может получить госсубсидии на конкурсной основе. Кроме того, можно обратиться к коммерческим компаниям, которые поддерживают социальные инициативы.

Исследовательские университеты и кафедры могут на волонтерской основе разработать методологию исследования, например в рамках практики или дипломной работы. Это позволит снизить расходы на мониторинг. 

Как найти партнера для мониторинга?

Некоторые данные (например, о пожертвованиях) удобнее собирать с помощью партнеров. Успешность поисков зависит от идеи проекта: если вы ею горите и готовы заражать других, все получится. Стоит быть проактивными: писать интересующим организациям, убеждать в важности вашей работы. С проектом «Бенчмаркинг НКО» мы сами обратились к CloudPayments. 

Важно подумать о мотивации потенциального партнера: что фонд может предложить за участие и в каком объеме. Это может быть пиар, экспертиза, доступ к целевой аудитории. 

Примеры мониторинговых исследований, посвященных сектору НКО и благотворительности

• «Бенчмаркинг НКО» — совместный социальный проект фонда «Нужна помощь» и сервиса CloudPayments по мониторингу показателей фандрайзинговой деятельности некоммерческих организаций, отражающих динамику благотворительных пожертвований в России.
• «Профессиональная благотворительность в развитии» — ежегодный опрос фонда «Нужна помощь» совместно с агентством онлайн-исследований Tiburon Research, посвященный динамике участия российских интернет-пользователей в благотворительности.
• «Пульс НКО» — первое долгосрочное и регулярное исследование НКО, которое проводит Центр оценки общественных инициатив ИППИ НИУ ВШЭ при экспертной поддержке фонда «Нужна помощь».
• «Если быть точным» — дата-платформа, посвященная исследованию социальных проблем в России. В разделе «Проблемы» отражается динамика изменений социальных проблем.
• CAF World Giving IndexНекоммерческая организация включена в реестр НКО, выполняющих функцию иностранного агента   — сравнительный анализ финансового и нефинансового участия в благотворительности жителей разных стран (некоммерческая организация включена в реестр НКО, выполняющих функции иностранного агента). 

Спасибо, что дочитали до конца!

• Теги:
• Для НКО
• Исследования