Счетная палата провела второй конкурс по доказательному подходу. Основная цель конкурса заключается в выявлении лучших практик и инициатив по обоснованию управленческих решений в федеральных и региональных органах государственной власти, органах местного самоуправления посредством применения научно-исследовательских методов анализа данных.
Анастасия Игорьевна Ким, заместитель начальника инспекции по аудиту национальных целей департамента исследований и методологии Счетной палаты
Доказательная политика предполагает получение научно обоснованных доказательств о том, какие проекты и программы результативны и при каких обстоятельствах, в том числе за счет синтеза доказательств, полученных из различных источников. Опора на доказательства возможна на любом этапе планирования и реализации государственной политики. Принципы доказательной политики стали более узнаваемыми и понятными сегодня, но проектов по доказательной политике все еще достаточно мало. На этом этапе ценными являются даже описательные статистики данных, которые были собраны для обоснования управленческого решения. В то же время важно подчеркнуть, что конкурс Счетной палаты — не конкурс научно-исследовательских работ, значимым критерием оценки является факт управленческого решения, принятого по результатам анализа.
Помимо готовности со стороны стейкхолдеров принимать корректные управленческие решения по итогам проведенного анализа, внедрение доказательного подхода в ведомствах требует наличия квалифицированных кадров, специализирующихся на анализе данных. Это во-первых. Во-вторых, необходимо наличие данных достаточно высокого качества, чтобы использовать их как доказательство. Безусловно, недостаток компетенций частично может перекрываться эффективными каналами коммуникации с научно-экспертным сообществом, университетами, однако и компетенции собственно государственных служащих играют важную роль. Например, умение формулировать задачи для решения, понимать и интерпретировать результаты научных исследований, критически относиться к этим результатам.
Внутренняя кухня
В первом конкурсе мы больше времени уделили тому, чтобы объяснить содержание и подходы доказательной политики, найти общий язык с представителями аналитических подразделений ведомств. В этом году мы сделали больший упор на усиление организационной составляющей, выстроили процессы, сделали процедуры конкурса более прозрачными как для участников, так и для экспертов и членов конкурсной комиссии.
Статистика конкурса
В 2022 году на конкурс поступило более 80 заявок от 64 команд. Как и в 2021 году, большая часть заявок, 60%, пришла из региональных ведомств. Отличием конкурса в этом году стало более активное участие муниципалитетов. Если в прошлом году было всего две заявки от органов местного самоуправления, то в этом — уже 16, и что особенно важно — муниципальные заявки заняли призовые места и были отдельно отмечены конкурсной комиссией.
В первую очередь мы прописали регламент экспертной оценки заявок, определили роль и функции конкурсной комиссии. Эксперты, которые оценивали заявки по критериям, — это методологи и профильные специалисты Счетной палаты. Состав конкурсной комиссии открытый: туда также вошли внешние эксперты по оценке программ (проектов) и анализу данных.
Заявки проходили несколько этапов отбора — первичный скрининг на предмет соответствия формальным требованиям к заполнению формы, оценку по критериям и интервью.
Для прохождения в финал конкурса заявка должна была набрать средний балл по критериям 2,75 балла — этот порог отсекал около 70% заявок. Дополнительно у членов конкурсной комиссии было право предложить в финал конкурса не более двух заявок, не набравших минимального количества баллов, в каждой номинации. Победителей и призеров конкурсная комиссия выбирала коллегиально, основываясь на экспертных заключениях.
Мы также изменили номинации конкурса — в этом году номинации совпадают с вопросами аудита, который проводит Счетная палата на разных этапах реализации мер государственной политики в той или иной области.
Лучшие практики доказательного подхода
Рисунок. Номинации конкурса Счетной палаты по применению доказательного подхода к принятию управленческих решенийНоминация «Анализ проблем»
На этапе исследования проблемы, ее формализации и оценки ее масштабов очень важна работа по сбору и анализу данных, полученных из различных источников, в том числе социологических, количественных и качественных исследований, их качество, понимание «физических» процессов, которые стоят за ними.
По заявкам, которые мы получили в рамках номинации «Анализ проблем», мы видим, что наиболее актуальным инструментом сбора данных для ведомств остаются опросы населения. Однако опросы часто чувствительны к методологии и процедуре их проведения: к выборке респондентов, формату опроса, формулировкам вопросов и т. д. К сожалению, зачастую в заявках пока не хватает методологической корректности при реализации такого типа исследований, и выводы, которые делаются на основе таких опросов, могут оказаться смещенными в пользу тех или иных групп населения. В то же время у региональных ведомств есть преимущество по организации сбора административных данных. Так, Управление экономического развития Липецкой области представило на конкурс анализ данных Департамента образования администрации города Липецка. В ходе анализа была выявлена большая дифференциация в заработных платах по одинаковым должностям в различных учреждениях (в отдельных случаях — до семи раз) города, неравномерное распределение премий между управленческим, основным и обслуживающим персоналом, а также различия в подходах к формированию штатной численности управленческого и обслуживающего персонала.
Номинация «Прогнозирование и перспективная оценка»
В целом мы видим серьезные наработки ведомств в области прогнозирования и перспективной оценки. Например, в Министерстве лесного хозяйства и охраны объектов животного мира Приморского края представили инициативу по анализу архивной космической съемки территории края со спутников TERRA и AQUA (Modis) из открытых источников за период с 2011 по 2020 год. Эта практика позволила с
Также первое место в этой же номинации присуждено практике по перспективной оценке законопроекта по монетизации льгот по оплате ЖКУ Управления экономического развития Липецкой области. Анализ данных о получателях льгот показал, что данная мера ухудшит положение значительной части льготников и потребует дополнительных бюджетных затрат (в итоге реформа была отклонена).
На уровне постановки вопросов много заявок посвящено отношениям регионов с муниципалитетами, где регионы рассказывают о своих практиках по планированию финансирования муниципальных образований, по оценке эффективности предоставленных трансфертов. Муниципалитеты, в свою очередь, делятся своим опытом выстраивания процессов для повышения эффективности реализации своих программ и привлечения ресурсов из регионального и федерального бюджетов.
Номинация «Экономическая оценка (оценка эффективности)»
Решением конкурсной комиссии номинация «Экономическая оценка (оценка эффективности)» признана несостоявшейся. С точки зрения Счетной палаты под эффективным механизмом государственной политики понимается механизм с оптимальным соотношением потраченных ресурсов и полученных результатов. Более того, эффективность меры должна рассматриваться не сама по себе, а в сравнении с альтернативными мерами. Пока в ведомствах по большей части ориентируются именно на привычную практику анализа «план/факт» для оценки программ и политик, а инициативы по мониторингу конечных целей находятся на очень ранних этапах развития.
Номинация «Анализ данных для модернизации процессов»
Около трети всех заявок, поступивших на конкурс, были направлены в рамках номинации «Анализ данных для модернизации процессов». Проекты в этой номинации предполагают анализ данных для улучшения процессов реализации мер государственной политики. В практике Счетной палаты есть примеры аудита, выявившего, что именно недочеты, связанные с непосредственной реализацией отдельных мер государственной политики, — нехватка ресурсов, недостаточно проработанные инструкции и методики для сотрудников, — приводили к тому, что мера не работала. Почти все присланные заявки содержали практики по оптимизации работы своих ведомств и/или подведомственных организаций, что тоже очень важная и нетривиальная задача.
Что меняется в ведомствах? Во-первых, активно внедряются цифровые решения, и уже на их основе оптимизируются рабочие процессы, что позволяет в разы снижать временные и человеческие затраты на реализацию тех или иных функций. Во-вторых, внедряются риск-ориентированный подход и проектные принципы работы. В-третьих, выстраиваются более прозрачные стимулы работы для сотрудников, эффективные коммуникационные каналы между ведомствами, общественными организациями и населением.
В номинации победила заявка Министерства цифрового развития Удмуртской Республики, где сотрудники смогли при помощи маркетинговых методов исследований оптимизировать работу многофункциональных центров по предоставлению дистанционных услуг населению.
Номинация «Оценка влияния»
Наконец, мы получили несколько сильных заявок по оценке влияния с применением квазиэкспериментальных методов — разности-в-разностях, панельные регрессии, сопоставление на основании индекса соответствия (propensity score matching) — на разных стадиях реализации.
Федеральная служба по труду и занятости (Роструд) в
Министерство экономики Краснодарского края представило на конкурс инициативу по оценке эффективности субсидий на модернизацию инфраструктуры в рамках краевой программы по развитию жилищно-коммунального комплекса. Коллеги сравнили тепло- и водоснабжающие компании, получившие субсидирование из регионального бюджета в период
Банк России поделился своим подходом к оценке эффективности макропруденциальных мер по ограничению рисков потребительского кредитования в России.
Интерес представляют и другие практики и инициативы, поступившие на конкурс в этом году. Они будут опубликованы в отдельном сборнике на сайте Счетной палаты до конца года.
