В мае текущего года Счетная палата РФ запустила ежегодный конкурс практик и инициатив применения доказательного подхода к принятию управленческих решений (конкурс по доказательной политике) среди государственных (муниципальных) органов, а также команд государственных (муниципальных) служащих. Статья расскажет об основных подходах, критериях оценки программ и проектов, являющихся важной частью доказательной политики.
Дарья Александровна ЦЫПЛАКОВА, директор Департамента исследований и методологии Счетной палаты Российской Федерации
Игорь Александрович ЯРЕМЕНКО, референт Департамента исследований и методологии Счетной палаты Российской Федерации
Идея о том, что основой для принятия управленческих решений должны становиться доказательства, полученные по результатам глубокой, последовательной оценки программ и проектов, не нова. Стандарты оценки проектов и программ, принципы, критерии, требования к качеству разрабатывает целый ряд организаций по всему миру: международные организации (группы по оценке ООН, Всемирного банка, ОЭСР, ИНТОСАИ), государственные органы (стандарты по оценке государственных проектов и программ Административно-бюджетного управления США, Научного совета по оценкам во Франции), национальные сообщества по оценке (Европейское сообщество, Канадское сообщество, Ассоциация специалистов по оценке программ и политик в России), а также высшие органы аудита.
Результаты такой оценки могут не только помочь определить эффективность реализации проектов и программ, но также способствовать принятию обоснованных решений в части улучшения качества проектов и программ. Согласно Руководству ИНТОСАИ по оценке государственных политик, оценка «становится все более важной в рамках общественных обсуждений, поскольку политическим деятелям необходима доказанность для принятия решений».
Стандарты оценки госпроектов и программ, как правило, определяют принципы и нормы оценки (например, полезность оценки, ее независимость, прозрачность, профессионализм и т.д.), требования к качеству (необходимость привлечения заинтересованных сторон, формирования контрольных групп, требования к охвату оценки, содержанию отчета и рекомендациям и т. д.), а также критерии оценки (то есть используемые для сравнения эталоны). Именно проведение глубокой оценки по необходимым критериям, то есть оценки под разными углами, с использованием передовых методов, позволит сделать обоснованный вывод относительно успешности проекта или программы, как фактической, так и потенциальной. В комплексе такие критерии позволяют выявить те пробелы и риски, которые могут помешать реализации конкретной меры. Также данные критерии дают возможность сформулировать рекомендации по устранению упомянутых пробелов и рисков.
Каждая конкретная оценка проекта или программы предполагает выбор необходимого набора критериев и, как следствие, набора вопросов, рекомендаций по итогам оценки. Среди критериев оценки чаще всего встречаются такие как релевантность (актуальность) проекта или программы; достижение результатов; согласованность с другими проектами, программами, стратегиями; эффективность (как соотношение между затраченными ресурсами и полученными результатами); влияние на итоговые эффекты; устойчивость. Набор из шести критериев составляет одну из наиболее известных рамок оценки — OECD-DAC. Но в зависимости от целей и задач оценки могут использовать и иные критерии, например, критерий равенства возможностей.
Содержание основных критериев
Оценка релевантности (актуальности) отражает степень, в которой цели, задачи (запланированные результаты), меры отвечают потребностям и интересам потенциальных выгодоприобретателей (групп граждан и организаций), мировым, государственным, институциональным потребностям, в том числе с учетом изменения тех или иных обстоятельств. Оценка релевантности предполагает исследование возможных компромиссов между различными приоритетами (потребностями).
Оценка результатов, в российских источниках, часто указываемая как «результативность» (важно различать с термином «результативность», принятом в бюджетном законодательстве), прежде всего, направлена на исследование достижения или возможности достижения целей, задач (запланированных результатов) меры.
Оценка согласованности показывает, насколько другие меры (проекты, программы) поддерживают или подрывают рассматриваемую меру (нейтральны к мере), и наоборот.
Оценка эффективности показывает, оправдано ли использование ресурсов достигаемыми результатами. Основной акцент — на оценке альтернатив: альтернативных методов достижения результатов, альтернатив при выборе используемых ресурсов, упущенных возможностей, которые могли бы привести к лучшим результатам и (или) к меньшим затратам.
Оценка влияния — это оценка итоговой значимости (итоговых эффектов) меры. Оценка направлена на выявление социальных, экологических и экономических последствий меры, которые являются более долгосрочными или более широкими по охвату, чем те, которые исследуются при оценке результатов.
Конкурс по доказательной политике
Целью конкурса Счетной палаты является поддержка доказательной политики и формирование базы лучших практик доказательного подхода в государственном и муниципальном управлении (решений на основе практического использования надежных и достаточных доказательств). В широком смысле, это использование результатов научных исследований и аналитики данных для определения того, что действительно работает, а что нет.
Проекты будут оцениваться по двум номинациям:
1. Доказанные эффекты — практики и инициативы по оценке проектов, программ с высокой степенью доказательности, включая пилотирование и экспериментирование для оценки;
2. Моделирование — практики и инициативы по применению экономико-математических методов и моделей для реализации и оценки мер государственной политики (проектов, программ).
В конкурсе могут принять участие федеральные госорганы, органы власти регионов и местного самоуправления, а также команды госслужащих. Заявки принимают до 13 августа включительно.
Подробнее о критериях оценки проектов и сроках проведения конкурса читайте на странице конкурса — ach.gov.ru/page/contest-SPRF-2021.
Оценка устойчивости включает оценку финансовых, экономических, социальных, экологических и институциональных мощностей, необходимых для поддержания получаемых от меры выгод и преимуществ во времени.
Оценка по каждому такому критерию — это сложный процесс, представляющий собой, по сути, самостоятельное исследование. В частности, чтобы оценить актуальность мер для выгодоприобретателей (граждан и организаций), достаточно часто требуется применение качественных методов (индивидуальных и фокус-групповых интервью и так далее). При этом такая актуальность может быть для начала оценена в рамках реализации пилотных проектов, программ на определенной территории.
Рецепт успеха
Набор критериев может зависеть от этапа реализации проекта или программы. Например, на этапе планирования и запуска проекта или программы наиболее актуальны критерии релевантности и согласованности, а после завершения проекта более информативным для принятия обоснованных решений может быть исследование фактической эффективности.
Так, на этапе планирования особое внимание в рамках доказательного подхода к принятию управленческих решений следует уделять формированию и формулированию целей и задач, планированию результатов программ и проектов, в том числе в рамках оценки релевантности (актуальности). Важно знать реальные потребности и проблемы сторон, заинтересованных в тех или иных мерах, выявить потенциальные противоречия между такими потребностями до того, как дело дойдет до осуществления конкретных мер.
Филиппинский опыт
При оценке влияния мероприятий по землеустройству на Филиппинах рассматривались их средне- и долгосрочные последствия. Для этого был использован ряд методов: анализ панельных данных, качественные методы (интервью, фокус-группы), обзор научной литературы, анализ документов по планированию землепользования, а также пространственные данные и информация.
Специалисты по оценке провели комплексную реконструкцию теории изменений в рамках данных мероприятий, а также количественно измерили итоговые эффекты сразу в нескольких областях. Панельные данные включали 3 тысячи домохозяйств (из 100 муниципалитетов, 11 провинций региона Висайя), которые были собраны в два момента времени (2012 и 2016 годы). Данные включали домохозяйства, получившие помощь от германского агентства по развитию GIZ, и домохозяйства, не получившие помощи. Методология оценки влияния также включала квазиэкспериментальный метод, метод псевдорандомизации (propensity score method), в рамках которого для домохозяйств подбирались их статистические близнецы на основе анализа данных по нескольким десяткам характеристик муниципалитетов и домашних хозяйств.
Приведем пример. В рамках анализа механизмов венчурного и прямого инвестирования, осуществляемого с использованием средств федерального бюджета, выявлены следующие основные проблемы в сфере функционирования венчурного рынка в России:
- отсутствует спрос со стороны крупного бизнеса на инновационные технологические продукты;
- проблемы привлечения частных инвестиций (от негосударственных фондов и бизнес-ангелов), так как частные инвесторы предпочитают в основном инвестировать на стадиях расширения;
- сложности привлечения иностранных инвестиций (так как отсутствует значительное количество историй успеха, российский рынок воспринимается как более рискованный, значительная роль государственных средств в развитии экосистемы отпугивает зарубежных инвесторов);
- непрозрачность и непредсказуемость ситуации на венчурном рынке.
Таким образом, необходима приоритизация целей и задач, планируемых результатов проекта или программы (в том числе под имеющиеся проблемы), и соответствующая подборка таких мер, которые реально направлены на их достижение. В этой связи именно предварительная («ex-ante» оценка) представляет наибольший методологический вызов. В рамках такой оценки закладывается фундамент будущей фактической эффективности (или неэффективности): если среди различных альтернатив (вариантов и комбинаций мер) выбраны некорректные, не бьющие точно в цель, будет иметь место как недостижение таких целей, так и безрезультативное использование ресурсов.
Немаловажной в рамках применения доказательного подхода является оценка влияния, которая, как правило, требует проведения как качественных, так и количественных исследований, построения эконометрических, симуляционных моделей с целью прогнозирования или тестирования исследовательских гипотез.
На базе обновленных стандартов
Счетная палата активно внедряет стандарты и методы оценки проектов и программ для реализации полномочий по стратегическому аудиту и аудиту эффективности. В конце
При разработке стандарта СГА 105 «Стратегический аудит» классический набор критериев оценки (релевантность, достижение результатов, согласованность, влияние, устойчивость) был расширен критериями состоятельности стимулов (сбалансированность системы стимулов (намерений) к достижению результатов) и обоснованности (обоснованность достижения целевых параметров стратегических целей). Обновленный стандарт СГА 104 «Аудит эффективности» делает акцент на оценке эффективности в рамках последующего («ex-post») аудита реализованных мер.
В основу двух стандартов положена логическая схема, отражающая весь процесс: от целеполагания и до получения результатов самого высокого уровня (итоговых эффектов) (рисунок). Критерии оценки направлены как раз на то, чтобы «под разным углом» взглянуть на такие процессы.
Так, например, оценка эффективности — это оценка соотношения между затраченными ресурсами и полученными непосредственными и (или) конечными результатами. Оценка влияния — это качественная или количественная оценка вклада реализованных мероприятий в рассматриваемые конечные результаты или итоговые эффекты.
В совокупности указанные стандарты обеспечивают учет и развитие передовых международных подходов к оценке проектов и программ, построены на лучшем российском и зарубежном опыте прикладной оценки проектов и программ. Проведение внешнего государственного аудита (контроля) на основе таких стандартов к тому же обеспечивает развитие практики доказательного подхода при принятии управленческих решений. Выстроенный в строгом соответствии с их положениями аудит обеспечит получение доказанных результатов, аргументированных выводов, предложений (рекомендаций) Счетной палаты по принятию необходимых управленческих решений. В итоге такой аудит будет вкладом в развитие методологических и практических подходов к оценке проектов и программ.
Несмотря на то, что стандарты были утверждены относительно недавно, уже можно отметить итоги их применения в деятельности Счетной палаты. В рамках аудита эффективности реализации мероприятий, направленных на инфраструктурное развитие сельских территорий и обеспечение сельского населения благоустроенным жильем[1], выявлено, что несмотря на строительство объектов инфраструктуры (газораспределительных сетей), значительная часть таких объектов фактически не была введена в эксплуатацию. Либо же ввод их в эксплуатацию не привел к сокращению числа сельских жителей, не обеспеченных сетевым газом. Таким образом, реализованная мера, с одной стороны, не в полной мере соответствовала потребностям и интересам граждан, которым недостаточно построенных газораспределительных сетей, а важно именно подключение к сетям. С другой стороны, она не была согласована с иными необходимыми (дополнительными) мерами по подключению домовладений к сетям. Указанное привело к неэффективности использования бюджетных средств: трате ресурсов при отсутствии значимого для граждан результата.
Другой пример: оценка реализуемости достижения стратегических целей в части ликвидации объектов накопленного вреда окружающей среде. В рамках проведенного анализа выполнения мероприятий, обеспечивающих экологическую безопасность Российской Федерации в части ликвидации объектов накопленного вреда и формирования комплексной системы обращения с твердыми коммунальными отходами,[2] было выявлено, что даже при достижении результата федерального проекта «Чистая страна» будут ликвидированы только наиболее крупные свалки в черте городов. В результате есть риск недостижения цели, поставленной Указом Президента РФ от 7 мая 2018 года № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года».
Реализация доказательной политики через всестороннюю оценку проектов и программ — шаг к качественной их проработке на предварительном этапе, своевременному появлению информации для корректировки уже реализуемых программ и проектов. Задача по оценке проектов и программ на уровне высоких стандартов доказанности — это не только задача Счетной палаты Российской Федерации и контрольно-счетных органов. В первую очередь, это задача государственных (муниципальных) органов, ответственных за принятие решений в той или иной сфере. Ведь самое важное — не потерять время, ресурсы на работу с проектами и программами, которые не принесут обществу необходимых и нужных результатов.
[1] Контрольное мероприятие «Аудит эффективности реализации мероприятий, направленных на инфраструктурное развитие сельских территорий и обеспечение сельского населения благоустроенным жильем в
[2] Экспертно-аналитическое мероприятие «Анализ выполнения мероприятий, обеспечивающих экологическую безопасность Российской Федерации, в части ликвидации объектов накопленного вреда и формирования комплексной системы обращения с твердыми коммунальными отходами».
