Версия для печати 8737 Материалы по теме
Об оценке удовлетворенности пользователей статистической информацией и деятельностью органов государственной статистики
Пашинцева
Пашинцева Н.И.

Заместитель начальника Управления
сводных статистических работ и
общественных связей Федеральной
службы государственной статистики

В условиях стремительной информатизации общества актуальной задачей для системы государственной статистики является использование современных информационных технологий для представления статистических данных с целью не только максимального удовлетворения потребностей пользователей статистики, но и лучшего понимания широкой публикой опубликованных официальных статистических данных.
Обеспечение всех групп пользователей полной, достоверной и своевременной статистической информацией о социальном, экономическом, демографическом и экологическом положении страны – это одна из самых главных задач Федеральной службы государственной статистики.
В этих условиях важнейшим показателем деятельности российской статистической службы становится оценка качества статистической информации пользователями, выражающаяся в их удовлетворенности этой информацией и в уровне доверия к ее производителю.
Круг пользователей статистической информации весьма широк и охватывает такие разные их группы, как органы государственной власти всех уровней, коммерческие либо некоммерческие организации, учебные заведения и исследовательские организации, средства массовой информации, граждане, международные организации, иностранные правительственные организации и частные компании. Несмотря на разнообразие информационных запросов, пользователям всех категорий должен быть обеспечен равный доступ к статистическим данным, что является одной из центральных задач государственной статистики.
В настоящее время в рамках Федеральной целевой программы «Развитие государственной статистики России в 2007–2011 годах» проводится работа по формированию системы обследований, направленных на всестороннее изучение удовлетворенности пользователями качеством статистической информации. Основополагающим методологическим  положением при разработке инструментария этих обследований было следующее: статистическая служба в своем взаимодействии с пользователями должна ориентироваться на общепринятые критерии оценки качества статистической информации, сформулированные в официальных документах Евростата, ОЭСР и других международных организаций (релевантность, конфиденциальность, объективность, доступность и четкость, достоверность данных, оперативность и пунктуальность).
Цель проводимых обследований – совершенствование практики распространения статистической информации на основе обеспечения обратной связи с ее пользователями, определения их потребностей в статистической информации на федеральном и региональном уровнях, а в конечном счете улучшение качества статистических данных и повышение доверия к официальной статистике.
Национальные статистические службы в настоящее время активно используют разнообразные методические подходы при проведении обследований для оценки удовлетворенности различных групп потребителей предоставляемой статистической информацией.
По результатам анализа соответствующего зарубежного опыта были выбраны несколько стран с наиболее апробированными на практике подходами к оценке удовлетворенности пользователей различными аспектами результатов деятельности статистических служб и уровня доверия к ним. Так, было принято решение использовать как опыт стран, ориентированных на оценку уровня удовлетворенности пользователей услугами и деятельности статистических служб (прежде всего, разработанные шведской статистической организацией), так и специальные подходы, предназначенные для оценки уровня доверия к статистической системе – в этом направлении наиболее интересные результаты получены статистическим офисом Великобритании.
Методические и организационные основы проведения обследований удовлетворенности пользователей статистической информацией и деятельностью органов государственной статистики, а также предложения по построению индекса удовлетворенности и индекса доверия пользователей были разработаны специалистами Института статистических исследований и экономики знаний Государственного Университета–Высшей школы экономики.
При разработке инструментария российских обследований (оцениваемые параметры качества, формулировки вопросов и др.) принималась во внимание также  национальная специфика. В этих целях был проведен контент-анализ различных отечественных публикаций, характеризующих деятельность органов государственной статистики и публикуемую ими информацию.
Инструментарий обследований предполагает комплексное изучение различных сторон деятельности статистической службы и различных характеристик получаемой статистической информации. При этом одновременно оценивается как уровень удовлетворенности предоставляемой информацией и услугами, так и уровень доверия к ее производителю.
В обследованиях определяется степень использования респондентами в своей профессиональной деятельности статистических данных по различным предметным областям (рынок труда, уровень жизни населения, демография, социальная сфера, цены и тарифы, экономика, охрана окружающей среды).
Статистические данные оцениваются по таким параметрам, как актуальность данных и их надежность, детализированность данных и оперативность выхода, периодичность представления и сопоставимость во времени. Изучаются также такие аспекты статистических данных, как легкость чтения и понимания материалов, наличие методических комментариев, графического представления информации, легкость ее дальнейшего использования.
Респонденты дают оценку различным каналам распространения статистической информации (веб-сайт, получение данных по электронной почте, по телефону, коммерческие заказы статистической информации по запросам клиентов). В специальном блоке вопросов рассматриваются профессиональные качества сотрудников службы, отвечающих за распространение статистической информации (доброжелательность, их компетентность), соответствие продукции заказу, сроки его выполнения и др.
Для изучения доверия пользователей к публикуемым статистическим данным выделяется группа важнейших показателей. К ним относятся: уровень безработицы, численность населения, денежные доходы населения, темпы инфляции, темпы роста валового внутреннего продукта. Применительно к каждому из отобранных показателей респондент отвечает на вопрос о том, насколько опубликованные значения позволяют судить о реальной ситуации в соответствующих областях.
Обобщающая оценка деятельности статистической службы предлагается в заключительном разделе анкеты. В этих целях респонденту предлагается согласиться или не согласиться со следующими утверждениями: статистическая служба предлагает информацию хорошего качества; статистическая информация отражает наиболее заметные социально-экономические явления, статистическая служба представляет беспристрастные данные. В заключение, предлагается вопрос, характеризующий общий уровень удовлетворенности деятельностью статистической службы.
 При ответах на вопросы анкеты применяются единообразные шкалы от 1 до 10, где 1 соответствует наихудшей оценке и 10 –самой высокой оценке.    
Перечисленные вопросы анкеты используются для построения индекса удовлетворенности и индекса доверия пользователей. При построении этих индексов применяется набор частных индексов. Каждый из частных индексов в свою очередь конструируется непосредственно на основе исходных индикаторов, соответствующих вопросам анкеты.
Для построения индекса удовлетворенности пользователей используются восемь частных индексов (в скобках указано количество исходных индикаторов, используемых при их построении): оценка качества статистической информации (6 исходных индикаторов);  оценка качества представления статистических данных (6 индикаторов): оценка информации, размещенной на сайте (4 индикатора); оценка обслуживания клиентов, получающих информацию по электронной почте и телефону (4 индикатора); оценка сотрудников статистической службы (5 индикаторов); оценка доверия к важнейшим статистическим показателям, публикуемым статистической службой  (5 индикаторов);  общая оценка статистической службы (3 индикатора); средний балл для общей удовлетворенности статистической службой.
Например, для определения индекса качества статистической информации используются шесть исходных индикаторов, которым соответствуют вопросы анкеты, характеризующие: актуальность данных, их надежность, детализированность данных, оперативность их выхода, периодичность представления данных; сопоставимость во времени различных данных. При построении частных индексов применяются равные веса.
В формировании индекса доверия пользователей участвуют три исходных индекса, отражающие оценку качества статистической информации, оценку доверия к важнейшим статистическим показателям и общую  оценку статистической службы.
В алгоритме  расчета индексов удовлетворенности и доверия пользователей применяются  весовые коэффициенты, определенные на основе экспертных оценок. При построении индекса удовлетворенности пользователей используются равные веса. При  определении индекса доверия применяется вес 0,5 для индикатора, характеризующего уровень доверия к важнейшим показателям, а два других частных индикатора входят с весом 0,25. Каждый сводный индекс рассчитывается как среднее арифметическое значение индивидуальных индексов респондентов.
Индексы удовлетворенности и доверия пользователей определяются на основе национальных обследований пользователей статистической продукции и услуг по выборке, репрезентирующей их все важнейшие группы.
Обследование пользователей статистической информации предполагается проводить с регулярностью  один раз в год во всех федеральных округах. Обследование организуется независимой научно-исследовательской организацией социологического профиля, отбираемой на конкурсной основе.
В 2008 году в первом национальном обследовании приняли участие около 900 респондентов: представители органов исполнительной власти различных уровней, бизнеса, научно-исследовательских организаций и средств массовой информации. Обследование было выполнено компанией «Ромир-мониторинг». Для обследования были отобраны группы пользователей, которые в своей деятельности используют официальную статистическую информацию, характеризующую различные аспекты (экономический, демографический, социальный) жизни общества  
Данное обследование было проведено в шести центрах федеральных округов Российской Федерации: Москва, Санкт-Петербург, Ростов-на-Дону, Нижний Новгород, Екатеринбург, Новосибирск.
Полевой этап проводился в октябре-ноябре 2008 года. Сбор информации осуществлялся с использованием методов телефонного интервью, самозаполнения анкет и личного интервью. Анкета состояла из 20 вопросов, на ее  заполнения уходило около 30 минут.
На основе полученной информации были  рассчитаны индекс удовлетворенности и индекс доверия пользователей к официальной статистической информации за 2008 год.  В таблице 1 представлены результаты расчетов этих индексов и их составляющих компонентов.

Табл. 1. Расчет индекса удовлетворенности пользователей официальной статистической информацией


Показатель

Значение показателя

Средняя оценка качества статистической информации

7.24

Средняя оценка качества представления статистических данных

7.40

Средняя оценка информации, размещенной на сайте статистической службы

7.04

Средняя оценка обслуживания клиентов, получающих информацию
по электронной почте и телефону

7.82

Средняя оценка работы сотрудников статистической службы

8.42

Средняя оценка доверия к важнейшим статистическим показателям,
публикуемым Росстатом

6.84

Средний балл для общей оценки статистической службы

7.19

Средний балл для оценки деятельности Росстата в целом

6.92

Индекс удовлетворенности пользователя

7.36

Индекс доверия пользователей

7.03

Согласно полученным результатам,  индекс удовлетворенности пользователей составил 7,36 и индекс доверия пользователей – 7,03 (1 – соответствует минимальному значению и 10 – максимальному уровню), что свидетельствует о достаточно высоком уровне доверия к официальной статистической информации и органам государственной статистики.
Наибольшие значения индекса удовлетворенности пользователей характерны для представителей федеральной и муниципальной власти (7,41 и 7,49 соответственно). Наименьшие значения индекса удовлетворенности характерны для представителей научных организаций (7,21).
Наиболее высокие оценки получили такие аспекты как, работа сотрудников статистической службы (8.42), уровень обслуживания с использованием электронной почты и по телефону (7,82), и качество представления статистических данных (7,40). Наиболее низкие оценки характерны для уровня доверия к ключевым показателям (6.84) и информации, размещенной на сайте статистической службы (7.04). Общая оценка качества статистической информации (7,24) близка к среднему уровню удовлетворенности.
Наиболее высокими оказались оценки работы сотрудников статистической службы и качества обслуживания у представителей органов исполнительной власти. Хуже оценивают работу сотрудников статистических служб и качество обслуживания представители научных организаций и средств массовой информации.
Все категории пользователей примерно одинаково оценили качество всей статистической информации по сравнению с оценкой информации, размещенной на сайте. Наиболее критичными при оценке качества информации были представители научных организаций и региональных органов власти. Информацией, размещенной на сайте Росстата, менее всего удовлетворены представители научных организаций и муниципальной власти, наиболее высокой была оценка пользователей, работающих в федеральных органах власти и СМИ.
Оценки различных параметров качества данных приведены на  диаграмме 1.
Наиболее высокие оценки получили такие параметры как надежность и актуальность данных. Более половины респондентов высоко оценивают данные параметры, а еще около 40% достаточно позитивно. Далее по степени убывания следуют следующие характеристики: детализированность данных и периодичность представления данных. Наиболее критично оценивается оперативность выхода статистических данных. 

рис 1
Диаграмма 1. Сводная диаграмма оценки различных параметров качества
статистических данных, предоставляемых Росстатом.


Примечание: предполагается, что  «Оценивают низко (плохо)» те, кто дал оценку от 1 до 3 (из десяти), «Оценивают средне» – оценка от 4 до 7, «Оценивают высоко (хорошо)» – оценка от 8 до 10.
Сводные оценки различных параметров качества данных, предлагаемые разными группами пользователей, приведены на диаграмме 2.  

рис 2



Диаграмма 2. Сводная диаграмма средних оценок параметров качества данных различными целевыми группами.
Оперативность выхода данных получила минимальный средний балл из всех оцениваемых параметров (6.97). Представители региональной власти оценили данный параметр ниже среднего уровня по выборке (6.39), в то время как наиболее высокая оценка данного параметра наблюдается среди представителей бизнес-структур (7.4). Наиболее высокую среднюю оценку получил такой параметр качества информации как надежность данных (в целом по выборке 7.48 балла). По другим параметрам качества данных наблюдаются достаточно близкие оценки у представителей различных групп пользователей.
С целью выявления общего мнения потребителей статистических услуг о Росстате им было предложено несколько утверждений. Уровень согласия или несогласия с ними респондентов является показателем общего отношения пользователей к Федеральной службе государственной статистики (см. диаграмму 3).

рис 3
Диаграмма 3. Согласие с утверждениями о деятельности Росстата

Примечание: здесь и далее при анализе считалось, что «Не согласны» те, кто дал оценку от 1 до 3 (из десяти), «Не полностью согласны» – оценка от 4 до 7, «Согласны» – оценка от 8 до 10.
С утверждением о том, что Росстат предоставляет статистическую информацию хорошего качества, согласилось боле половины опрошенных (53%), частично согласны с данным утверждением  40% и лишь 6% выразили свое несогласие.
Более половины респондентов согласны с тем, что предоставляемые статистические данные отражают наиболее заметные тенденции в обществе, не согласны с данным утверждением  только  7% участников обследования.
Чуть меньше половины респондентов считают, что Росстат предоставляет беспристрастные данные, примерно столько же отмечают, что Росстат регулярно предоставляет потребителям свои информационные материалы и услуги.
В целом деятельностью Росстата довольны более трети респондентов (38%), чуть более половины опрошенных довольны ее частично (52%). И лишь небольшой процент респондентов сказали  о своей неудовлетворенности деятельностью Росстата (5%), а остальные затруднились с ответом.
Наиболее  высокий средний балл удовлетворенности деятельностью Росстата в целом у представителей федеральной власти (7.26), а наименьший – у представителей бизнеса (6.70).
Индекса доверия пользователей по результатам обследования за 2008 год составил 7.03. Диаграмма 4 иллюстрирует, как меняется уровень доверия к основным статистическим показателям.

рис 4
Диаграмма 4. Доверие к основным статистическим показателям.

Примечание: здесь и далее при анализе считалось, что «Не доверяют» те, кто дал оценку от 1 до 3 (из десяти), «Частично доверяют» – оценка от 4 до 7, «Доверяют» – оценка от 8 до 10.

Наибольшую степень доверия респонденты испытывают к статистическим данным о численности населения. Значение этого индекса составляет 7,54. Более половины опрошенных доверяют этим данным, а еще треть респондентов частично доверяют. Далее следуют темпы роста валового внутреннего продукта (6,93), денежные доходы населения (6,74) и уровень безработицы (6,70). Меньше всего доверия у респондентов вызывает информация об уровне инфляции (6,31). Доверяют ей только треть (34%), в то время как не доверяют 15%, а остальные доверяют лишь частично.
Полученные результаты свидетельствуют о достаточно высоком уровне удовлетворенности и доверия пользователей к официальной статистической информации, о позитивной оценке различных сторон деятельности статистической службы, прежде всего его сотрудников, и предлагаемых услуг.
При этом следует учитывать, что обследование пользователей в 2008 году проводилось в условиях, когда уже в достаточно сильной мере начали проявляться кризисные процессы в российской экономике. В подобной ситуации естественно ожидать более критичных оценок деятельности всех органов государственной власти и снижения уровня доверия к государственной статистике в частности. 
В 2009 году индекс доверия пользователей к официальной статистической информации по итогам проведенного обследования различных групп пользователей составил 102,9%.
В таблице приведены результаты проведенных 2008-2009 гг пилотных обследований:

Показатель

2008 г.

2009 г.

Итоговый общий средний индекс удовлетворенности пользователя (Q)

7.36

7.71

Индекс доверия ( C )

7.03

7.42

Составляющие индексы



Средняя оценка качества статистической информации

7.24

7.50

Средняя оценка качества представления статистических данных

7.40

7.90

Средняя оценка информации, размещенной на сайте статистической службы

7.04

7.50

Средняя оценка обслуживания клиентов, получающих информацию
по электронной почте и телефону

7.82

7.90

Средняя оценка работы сотрудников статистической службы

8.42

8.44

Средняя оценка доверия к важнейшим статистическим показателям,
публикуемым Росстатом

6.84

7.24

Средний балл для общей оценки статистической службы

7.19

7.70

Средний бал для оценки деятельности Росстата в целом (общая
удовлетворенность)

6.92

7.50

Результаты двух обследований свидетельствуют о достаточно высоком уровне удовлетворенности и доверия к официальной статистической информации (оценка 10 соответствует максимальному уровню удовлетворенности и доверия, 1 – абсолютной неудовлетворенности).
Прослеживается отчетливая тенденция как к увеличению общего уровня доверия к статистическим данным (разность составляет около 0.5), так и их составляющим. При этом прирост общих оценок удовлетворенности и индекса доверия составляет 4,7-5,5%. Если перевзвесить полученные результаты 2009 года, используя структуру выборки 2008 года (в прошлом году всего было обследовано 872 представителя различных групп пользователей),  то общий индекс доверия в 2009 году составит 7.57, а прирост общей оценки удовлетворенности - 2,9%.
 В заключении следует отметить, что проведение обследований пользователей помогает  Росстату лучше оценивать потребность и уровень удовлетворенности статистическими данными у различных категорий пользователей, определять степень их доверия к официальной статистической информации.
Полученная информация по итогам проведенных обследований пользователей и накопленный методический опыт будут использованы Росстатом для дальнейшего развития системы обследований удовлетворенности пользователей деятельностью Росстата и качеством статистической информации.

Поделиться