Удовлетворенность потребителей государственных программ: маркетинговые методы оценки тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Удовлетворенность потребителей государственных программ: маркетинговые методы оценки"

УДОВЛЕТВОРЕННОСТЬ ПОТРЕБИТЕЛЕЙ ГОСУДАРСТВЕННЫХ ПРОГРАММ: МАРКЕТИНГОВЫЕ МЕТОДЫ ОЦЕНКИ

Специальность 08.00.05 - Экономика и управление народным хозяйством (маркетинг)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

14 ОКТ 2015

Москва 2015

005563376

Работа выполнена на кафедре маркетинга фирмы в ФГАОУ ВПО «Национальный исследовательский университет «Высшая школа экономики».

Научный руководитель: доктор экономических наук, профессор,

Липсиц Игорь Владимирович

Официальные оппоненты: Шерешева Марина Юрьевна,

доктор экономических наук, профессор, ФГБОУ ВПО «Московский государственный университет имени М.В. Ломоносова», профессор кафедры прикладной институциональной экономики

Латышова Людмила Сергеевна,

кандидат экономических наук, доцент, ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», Институт отраслевого менеджмента, заведующая кафедрой маркетинга и торгового дела

Ведущая организация: ФГБОУ ВПО «Государственный университет управления»

(ГУУ)

Защита состоится «11» ноября 2015 г. в 15 часов 30 минут на заседании диссертационного совета Д212.196.04 при ФГБОУ ВПО «Российский экономический университет им. Г.В. Плеханова» по адресу: 117997, г. Москва, Стремянный пер., 36, ауд.353.

С диссертацией можно ознакомиться в Научно-информационном библиотечном центре имени академика Л.И. Абалкина ФГБОУ ВПО «Российский экономический университет им. Г.В. Плеханова» по адресу: 117997, г. Москва, ул. Зацепа, д.43 и на сайте организации: http://ords.rea.ru.

Автореферат разослан «09» октября 2015 г.

Ученый секретарь диссертационного совета Кандидат экономических наук, / > доцент /^¡г^уъ-^

Мусатова Жанна Борисовна

1 ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В связи с внедрением в Российской Федерации с 2004 года программного метода регулирования расходов, заметно повысилась конкуренция за бюджеты между государственными программами и продвигающими их институтами государственной власти, а равно возникла необходимость оценки программ по каждому аспекту. Исходя из этого, все более насущной становится потребность изучать интересы всех потребителей программ, что возможно только на основе имеющихся маркетинговых технологий и их адаптации к конкретным задачам данной сферы, то есть государственных программ.

Очевидно, что деятельность государственных органов оказывает существенное влияние на эффективность экономики страны и социально-экономическую стабильность, что логично порождает необходимость в оценке и улучшении такой деятельности. Для этого хорошо подходят маркетинговые технологии оценки удовлетворенности потребителей, отработанные на самых различных рынках товаров и услуг. Однако в настоящее время маркетинговые методы и технологии в государственном секторе в России применяются крайне мало. Напротив, в зарубежной практике многие государственные услуги оказываются в рамках процедур, в которых вполне отчетливо просматриваются элементы маркетинга рыночно ориентированных организаций.

В Российской Федерации основными параметрами оценки деятельности государственных органов пока является экономическая и социальная эффективность. Но в составе этих показателей отсутствует анализ мнения всех групп потребителей как внутренних, так и внешних, а значит, получаемая таким образом оценка носит субъективный характер, отражая мнения самих исполнителей программ, то есть внутренних потребителей, и зачастую не отражая объективной информации о результатах проведенной работы и ее восприятия внешними потребителями -клиентами той или иной программы. Между тем многочисленные зарубежные исследования подтверждают, что наиболее объективную информацию такого рода можно получить лишь на основе расчета и анализа показателей (индексов) удовлетворенности различных групп потребителей.

Причиной, по которой оценка результатов деятельности на основе показателей качества и удовлетворенности не проводится в отечественной практике, является то, что при попытке внедрения данного подхода государственные органы сталкиваются с рядом непростых вопросов. Первым из них является сама возможность переноса модели оценки качества услуг, используемой частными компаниями, в сектор предоставления государственных услуг. На сегодняшний день в отечественной литературе нет единой точки зрения по вопросу применимости концепции измерения удовлетворенности в государственном секторе. Более того, в отечественной литературе в данный момент даже отсутствуют масштабные исследования, посвященные данной тематике, тогда как зарубежными исследователями выполнена большая масса работ, посвященных изучению удовлетворенности клиентов государственных услуг. Аналогичные исследования очевидно необходимы и в

России, поскольку только Fia их основе возможно установить, каким образом наиболее эффективно может быть реализована данная концепция и какие условия необходимы для ее практической реализации.

Таким образом, актуальность диссертационного исследования определяется недостаточной изученностью проблем применения маркетинговых методов оценки удовлетворенности потребителей в государственном (некоммерческом) секторе, в том числе отсутствием в России эмпирических исследований, посвященных изучению удовлетворенности потребителей государственных программ. Исследование удовлетворенности клиентов-потребителей государственными программами, а также изучение факторов, оказывающих влияние на эту удовлетворенность в российских реалиях, представляет как научный, так и практический интерес и является актуальной темой.

Степень разработанности проблемы. Выбранная тема исследования затрагивает в первую очередь маркетинг в части измерения удовлетворенности. Среди масштабных исследований в данной сфере необходимо отметить ученых Р. Брента (R. Brent), Дж. Брюэра (G. Brewer), П. Брауна (Р. Brown), Б. Эниса (В. Enis), П. Готлиба (P. Gottlieb), П. Грэхэма (P. Graham), Ч. Корунка (Ch. Korunka), П. Котлера (Р. Kotler), А. Андреасена (A. Andreasen), П. Лавдея (P. Loveday), С. Офэрчелая (С. O'Fairchellaigh,), Ч. Политга (Ch. Pollitt), К. Шедлера (К. Schedler), Е. Шарпа (Е. Sharpe), Р. Уокера (R. Walker) и др. Непосредственно изучению маркетинговых аспектов качества государственных услуг посвящены работы М. Брэди (М. Brady), Дж. Черчиля (G. Churchil), Л. Гастера (L. Gaster), А. Матея (A. Matei), П. Родригеса (P. Rodriguez).

Наряду с исследованиями, посвященными применению маркетинговых подходов в сфере государственного управления, стоит отметить особое направление, в фокусе которого лежит изучение удовлетворенности различных групп потребителей: внешних, то есть населения и организаций, и внутренних, к которым относятся персонал и исполнители в государственном секторе. Среди наиболее значимых работ стоит выделить исследования Дж. Парк (J. Park), К. Форнелла (С. Forneil), М. Джонсона (М. Johnson), С. Мизраи (S. Mizrahi), Г. Никополау (G. Nikolopoulou), Р. Оливера (R. Oliver), Г. Ван Рызина (G. Van Ryzin), Йи (Yi.), Р. Харли (R. Hurley) и др. В ряде работ по оценке удовлетворенности потребителей предметом исследования становились государственные реформы, услуги и отдельные программы в различных странах. К таким работам следует отнести труды О. Каллерос (О. Calleros), Р. Джианнокаро (R. Giannoccaro), И. Квон (Y. Kwon), П. Манолидзас (P. Manolitzas), Т. Миллер (Т. Miller), П. Памсеук-Манхурун (Р. Ramseook-Munhurrun), Ш. Йонг (S. Yong), К. Лии (С. Lee) и др. Помимо интереса маркетингового академического сообщества к проблеме оценки удовлетворенности деятельностью государственных органов, исследованием данной проблемы занимаются крупные экономические организации, например ОЭСР (OECD), ЕИГУ (EIPA) и др.

Большой вклад в развитие отечественной научной мысли по вопросам применения маркетингового подхода в государственном секторе внесли E.H. Матвеева, Д.А. Бармин, Р.В. Савкина, С.П. Яковлев и др. Вопросы оценки со стороны клиентов-потребителей в рамках государственных программ рассматриваются в работах Б.В.

Зацепина, A.B. Иванова, Л.Р. Клиновенко, Т.В. Макаровой.

Информационной базой исследования послужили труды современных отечественных и зарубежных исследователей по изучаемой проблеме, материалы всероссийских и международных научно-практических конференций, нормативно правовые акты и законы в сфере программного планирования, отчеты международных организаций, таких как Программа развития ООН (ПРООН), Организация экономического сотрудничества и развития (ОЭСР), Европейский институт государственного управления (БИТУ), исследования Фонда «Общественное мнение», отчеты Федеральной службы государственной статистики, обзоры в сфере энергетики и энергосбережения.

Область диссертационного исследования соответствует п. 9. Содержание этой области исследования: «методы и формы управления маркетинговой деятельностью в организации в современных условиях развития российской экономики и глобализации рынков», объект исследования: «внешние (покупатели и клиенты) и внутренние (персонал) потребители», п. 9.29. «Маркетинг некоммерческих организаций», п. 9.3. «Управление маркетинговой деятельностью, направления и формы организации маркетинга и их адаптация к изменяющимся рыночным условиям в экономике России и на глобальных рынках» паспорта специальности 08.00.05 «Экономика и управление народным хозяйством» (Маркетинг).

Цели и задачи исследования

Целью диссертационной работы является разработка методики оценки удовлетворенности потребителей государственных программ в Российской Федерации.

Для достижения поставленной цели в диссертации были определены следующие задачи:

1. Проанализировать ключевые теоретические подходы к оценке удовлетворенности потребителей в государственном секторе, в том числе государственными программами.

2. Выявить тенденции развития зарубежных практик оценки удовлетворенности потребителей и изучить особенности существующей модели оценки государственных программ в России.

3. Разработать методику оценки удовлетворённости потребителей государственных программ в России.

4. Опробовать методику оценки удовлетворенности потребителей на примере Программы «Энергоэффективность и развитие энергетики».

5. Проанализировать зависимость конечной удовлетворенности программой от удовлетворенности различными показателями программы.

6. Разработать практические рекомендации по совершенствованию существующей методики оценки государственной программы с учетом удовлетворенности её потребителей.

Объектом исследования выступают потребители государственных программ. К внешним потребителям относятся адресаты и конечные потребители программ, к внутренним - исполнители программ, то есть государственные служащие.

Предметом исследования является удовлетворенность внутренних и внешних

потребителей государственных программам в России.

Теоретической и методологической основой исследования стали работы отечественных и зарубежных авторов, посвященные измерению удовлетворенности различных групп потребителей в государственном управлении, оценке качества государственных услуг, определению влияния удовлетворенности клиентов на эффективность государственных реформ. В исследовании был использован ряд методов, включая метод научной классификации, систематизации, с целью выявления основных тенденций развития государственного управления как в России, так и за рубежом. Для обработки собранных количественных данных применялись методы статистического анализа, в том числе метод моделирования структурными уравнениями (МСУ), основным преимуществом которого является конфирматорный дедуктивный характер построения модели с последующим изучением соответствия эмпирических данных разработанной модели. Дополнительным преимуществом метода МСУ также является учет корреляционных и факторных взаимосвязей внутри системы регрессионных уравнений, что дает более полное описание связей всех изучаемых элементов и позволяет получать модель более достоверную при работе в реальных условиях.

Гипотеза диссертационного исследования заключается в предположении о том, что существует взаимосвязь между удовлетворенностью на различных этапах разработки и реализации государственной программы и общей удовлетворенностью различных групп потребителей этой программой. Кроме того, выдвигается гипотеза, что удовлетворенность программой может быть связана с удовлетворенностью деятельностью Правительства, которая может влиять на итоговые оценки по программе. Предполагается, что такие параметры программы, как актуальность выбора проблем, рациональность и масштаб программы, удовлетворенность процессом реализации, координация и оперативность реализации программы, удовлетворенность результатами, количественные и качественные результаты, а также удовлетворенность деятельностью правительства оказывают влияние на общую удовлетворенность программой.

Информационной базой исследования послужили работы современных отечественных и зарубежных исследователей по изучаемой проблеме, материалы всероссийских и международных научно-практических конференций, нормативно-правовые акты и законы в сфере программного планирования, отчеты международных организаций, таких как Программа развития ООН (ПРООН), Организация экономического сотрудничества и развития (ОЭСР), Европейский институт государственного управления (ЕИГУ), исследования Фонда «Общественное мнение», отчеты Федеральной службы государственной статистики, обзоры в сфере энергетики и энергосбережения.

Основой для разработки методики оценки удовлетворенности послужили результаты интервью и анкетирования экспертов в области энергосбережения, принимавших участие в принятии программы «Энергоэффективность и развитие энергетики», а также исполнителей программы - высших чиновников из аппарата Минэнерго. Непосредственно эмпирическое исследование было проведено в июле -августе 2014 года на основе результатов анкетирования жителей г. Хабаровска по

вопросам подпрограмм по установке приборов учета и энергосберегающих ламп в квартирах. Данный регион был выбран по следующим причинам. Хабаровск является федеральным и краевым центром, обладает системой обособленных министерств, в том числе и Министерством энергетики. Структура населения города Хабаровска близка к среднегородской структуре населения России, кроме этого, Хабаровск неоднократно участвовал в качестве тестового региона по ряду государственных проектов, связанных с реформами. По итогам исследования были обработаны 312 анкет.

Научная новизна работы. Наиболее существенные научные результаты, полученные лично автором, заключаются в следующем:

1. Автором предложена классификация подходов к оценке удовлетворенности потребителей на примере государственных программ в зависимости от цели оценки удовлетворенности, роли потребителей в оценке и места оценки удовлетворенности в системе государственного управления. Это позволило сформировать наиболее актуальный подход к оценке удовлетворенности потребителей, заключающийся в учете мнения как внутренних, так и внешних потребителей и показать существующий разрыв в вопросе применения маркетинговых методов оценки в государственном секторе между Россией и зарубежными странами.

2. Выявлены ключевые показатели, позволяющие оценивать удовлетворенность потребителей на различных этапах жизненного цикла (далее -ЖЦ) программы в России, ряд показателей, заимствованных из корейской модели, исключен на основании эмпирического анализа как статистически незначимый. Изученные показатели легли в основу методики оценки удовлетворенности потребителей государственных программ по направлению «Инновационное развитие и модернизация экономики» и позволили измерять и оценивать сильные и слабые стороны программы по каждому показателю.

3. Разработан методический подход к оценке удовлетворенности потребителей государственных программ, объединяющий сильные стороны американской методики оценки удовлетворенности конечных потребителей (ACSI -American Customer Satisfaction Index) в части наличия причинно-следственных связей между элементами модели и Корейского индекса удовлетворенности различных групп потребителей государственных реформ (NCSI - New Customer Satisfaction Index) в части учета мнения различных групп потребителей программы и оценки удовлетворенности на различных этапах ЖЦ программы, что позволило учесть особенности структуры государственных программ в России, заключающиеся в наличии четырех этапов ЖЦ программы и определенных показателей оценки на каждой из этапов ЖЦ.

4. Разработана и эмпирически проверена методика оценки удовлетворенности потребителей государственных программ на группе внешних потребителей «Конечные потребители - население». С помощью метода моделирования структурными уравнениями подтверждена модель взаимосвязи удовлетворенности потребителей программой в целом с удовлетворенностью потребителей на каждом из его этапов, использование МСУ в анализе позволило избежать ограничений классических методов статистического анализа и учесть факторные и корреляционные взаимосвязи внутри

системы регрессионных уравнений.

5. На основании модели взаимосвязи разработана иерархическая система индексов, которая может быть использована в системе оценке государственных программ для проведения сравнительного анализа по регионам и временным интервалам в рамках программы «Энергоэффективность и развитие энергетики».

Теоретическая и практическая значимость исследования. Результатом диссертационного исследования является разработанная методика оценки удовлетворенности потребителей государственных программ, в результате опробования которой предложена модель влияния. В данной модели доказано, что удовлетворенность потребителей на каждом этапе ЖЦ программы имеет прямое влияние на конечную удовлетворенность программой, наибольшее влияние на удовлетворенность программой в целом оказывает удовлетворенность реализацией и удовлетворенность результатами программы. Предложенные выводы и рекомендации по усовершенствованию существующей системы оценки удовлетворенности потребителей государственных программ могут быть использованы на практике.

Практическая значимость результатов исследования заключается в том, что на основании полученной модели была разработана иерархическая система индексов, которая может быть использована в системе оценке государственных программ для проведения сравнительного анализа по регионам и временным интервалам в рамках программы «Энергоэффективность и развитие энергетики». Также разработанная методика помогает определить слабые места в государственной программе, что может использоваться для принятия управленческих решений. Кроме этого, предложенные методические рекомендации могут служить основой для разработки подобных систем оценки по другим программам, так как включает универсальный набор показателей государственной программы. Методические материалы исследования могут быть использованы в научно-исследовательских работах и учебных целях. Внедрение результатов работы было произведено в Ассоциации «Краевой центр содействия предпринимательству» г. Хабаровск, ОАО «Дальневосточная генерирующая компания» филиал «Хабаровская теплосетевая компания», ФГБОУ ВПО «Хабаровская государственная академия экономики и права».

Ограничения исследования. Тестирование методики было проведено по одной подпрограмме в рамках программы «Энергоэффективность и развитие энергетики» на количественном уровне по группе клиентов «Конечные потребители - население» в количестве 312 респондентов по одному городу и на качественном уровне по группе внутренних потребителей «Исполнители - государственные служащие». Также дополнительно привлекались эксперты в области изучаемой программы. На основании полученных данных делать обобщения и переносить полученные результаты на все государственные программы представляется не совсем корректным, при этом для государственных программ по направлению «Инновационное развитие и модернизация экономики», так как они обладают схожей структурой построения и механизмом реализации, это допустимо. В этой связи требуется дальнейшее изучение данного вопроса и тестирование разработанной

методики в других регионах по программе «Энергоэффективность и развитие энергетики», а также на других программах этого направления, реализуемых в РФ.

Апробация результатов исследования. Результаты исследования представлены на общероссийских и международных научно-практических конференциях, в частности: 4-я ежегодная научная конференция «Современный менеджмент: проблемы, гипотезы, исследования», состоявшаяся в октябре 2012 года; 11-я Международная научно-практическая конференция «Проблемы непрерывного образования: проектирование, управление, функционирование», состоявшаяся в апреле 2013 года; 5-я ежегодная научная конференция «Современный менеджмент: проблемы, гипотезы, исследования», состоявшаяся в октябре 2013 года, IV Международная научно-практическая конференция «Социально-экономическое развитие регионов России», состоявшаяся в мае 2014 года.

Элементы методики оценки удовлетворенности потребителей, а также ключевые положения используются в учебном процессе в области организации и проведения маркетинговых исследований на факультете «Менеджмент» в рамках курса лекций по дисциплинам «Маркетинг-менеджмент» и «Методы и модели анализа маркетинговой информации» в «НИУ Высшая школа экономики» и на факультете «Международные экономические отношения» по курсу «Маркетинг», «Маркетинговые исследования», «Методы исследования в менеджменте» Хабаровской государственной академии экономики и права. Рекомендации, выработанные в ходе исследования, а также элементы разработанной методики были применены на практике в AHO «Центр поддержки и развития СО НКО» г. Липецк и в практической деятельности Ассоциации «Краевой центр содействия предпринимательству» г. Хабаровск при оценке качества предоставляемых услуг конечным потребителям. Результаты исследования и разработанная методика частично используются в деятельности ОАО «Дальневосточная генерирующая компания» филиала «Хабаровская теплосетевая компания».

Публикации. По теме исследования автором подготовлены и опубликованы статьи и доклады в 6 печатных работах общим объемом 2,2 печатных листа, в том числе 3 статьи (1,1 печатных листа) в научных журналах, рекомендованных ВАК РФ.

Структура диссертации. Диссертационная работа (172 страницы) состоит из введения, трех глав, заключения, списка литературы, включающего 126 источников (в том числе 98 источников на иностранных языках) и 3 приложения. Диссертация содержит 20 рисунков и 31 таблицу.

ВВЕДЕНИЕ

ГЛАВА 1 МАРКЕТИНГОВЫЙ ПОДХОД В ГОСУДАРСТВЕННОМ УПРАВЛЕНИИ

1.1 Маркетинг в сфере государственного управления.

1.2 Подходы к оценке удовлетворенности потребителей государственных услуг.

1.3 Российский опыт оценки деятельности государственных органов: проблемы и возможности.

ГЛАВА 2 РАЗРАБОТКА МОДЕЛИ ОЦЕНКИ УДОВЛЕТВОРЕННОСТИ ПОТРЕБИТЕЛЕЙ ГОСУДАРСТВЕННЫХ ПРОГРАММ

2.1 Анализ эффективности целевых программ как фактор оценки деятельности государственных органов в России.

2.2 Методические подходы к оценке удовлетворенности деятельностью государственных органов в зарубежных странах.

2.3 Особенности оценки удовлетворенности потребителей в государственном секторе в России и за рубежом.

2.4 Разработка модели оценки удовлетворенности государственными программами в России на базе индекса N081.

ГЛАВА 3 ИССЛЕДОВАНИЕ УДОВЛЕТВОРЕННОСТИ РАЗЛИЧНЫХ ГРУПП ПОТРЕБИТЕЛЕЙ ГОСУДАРСТВЕННОЙ ПРОГРАММОЙ

«ЭНЕРГОЭФФЕКТИВНОСТЬ И РАЗВИТИЕ ЭНЕРГЕТИКИ»

3.1 Основные характеристики и особенности федеральной программы «Энергоэффективность и развитие энергетики».

3.2 Методика проведения опроса по измерению удовлетворенности государственной программой.

3.3 Оценка удовлетворенности группы «Население» программой «Энергоэффективность и развитие энергетики»: анализ анкетных данных.

Разработка практических рекомендаций по совершенствованию системы оценки государственных программ с целью повышения их качества.

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЯ

1 ОСНОВНЫЕ ПОЛОЖЕНИЯ И РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Разработана классификация подходов к оценке удовлетворенности

потребителей на примере государственных программ в зависимости от цели оценки, роли потребителей в ней и места оценки удовлетворенности в системе государственного управления. В рамках поставленных задач рассмотрена эволюция взглядов ученых на проблему оценки качества государственных услуг и измерения удовлетворенности деятельностью государственных органов. По результатам проведенного анализа автором предложена классификация подходов, методов и показателей оценки в зависимости от стадии развития системы оценки удовлетворенности, ее места в общей системе государственного управления и роли различных групп потребителей в этой оценке. Предложенная автором классификация представлена в таблице 1.

Таблица 1 - Классификация подходов к оценке деятельности государственного сектора на основе измерения качества и удовлетворенности

Стадии развития методик по оценке государственного сектора Основная цель системы оценки Роль потребителей в оценке государственного сектора Место методики в обшей системе гос. управления и контроля Подход к измерению результатов оценки Примеры стран, использующих методику

Методики на основе оценки качества Анализ деятельности государственного сектора Чизкая или отсутствует Система оценки качества ка к до п ол н итсл ьн ы й источник информации о деятельности госсектора Servqual, Servperf. эазница между оценкой восприятия и ожидаемой оценкой - Маврикий - Италия - Греция - Китай

Методики на основе индексог удстлствзренносги Повышение качества предоставления государственных услуг Существенная только для конечных потребителей Система оценки работы местных структур власти л государственных служащих Оценка на базе американского индекса удовлетворенности ACS! (American customer satisfaction index) США

Система оценки мнений граждан-покупателей о различных государственных :лужбах Оценка на базе канадского общего измерителя удовлетворенности (ССМТ - Canadian Common Measurement Tool) Канада

Система для сбора анализа и распространения информации об имидже предпочтениях и воспринимаемом качестве, также о лояльности потребителей и сотрудников правительственных организаций Оценка на базе обшевропейского индекса удовлетворенности потребителей EPS [European Performance Satisfaction Index) 11 европейских стран

Продолжение таблицы 1

Методики на основе частных индексов удовлетворенности с учете* различных групп потребителей Достижения определенных стандартов качества в сфере государственного управления, учет мнения потребителей и корректировка деятельности на основе этих мнений Значительная Система анализа и отчетности правительств ю Программе развития Организации Объединенных Наций [ПРООН) Измерение результатов на базе кастомизированных индексов с учетом специфики каждой страны (DESDE Lo Local. MIDAMOS ^ ар-) -Индия, Бангладеш - страны Центральной Америки [Мексика. Парагвай. Чили) -африканские страны - страны Ближнего Востока [Пакистан. Афганистан) - европейские страны (Босния и Герциговина, Румыния)

Система оценки реформ и целевых программ, на базе которое формируется оценка деятельности государственных органов Измерение результатов на базе нового индекса удовлетворенности (NCSI - New Customer Satisfaction index] оценивает удовлетворен н ость грех труп г потребителей: населения и адресатов реформ: экспертов в области государственного регулирования и внутренних потребителей-разработчиков ^ исполнителей Южная Корея

Возможность применения того или иного подхода для исследования влияния удовлетворенности различных групп потребителей на общую удовлетворенность государственными программами в России, в том числе на различных этапах реализации программ, ограничена в связи с особой структурой государственного управления в России, основанной на использовании государственных программ. По аналогии с жизненным циклом (ЖЦ) товара или фирмы в маркетинге автором было сформулировано определение ЖЦ государственной программы, как время существования государственной программы на рынке, промежуток от осознания ключевых проблем и поиска методов их решения до прекращения программы и оценки ее результатов. Исходя из этого была разработана авторская методика оценки государственной программы с учетом влияния удовлетворенности внешних и внутренних потребителей на различных этапах ЖЦ программы на общую удовлетворенность программой, включающая как количественные, так и качественные данные.

2. Выявлены основные показатели, позволяющие оценивать удовлетворенность потребителей на различных этапах жизненного цикла программы в России. Ключевой особенностью при разработке методики для российского рынка, в отличие от зарубежных методик, являлось наличие в российской практике государственного управления метода программного планирования, который подразумевает определенные этапы жизненного цикла

программы. В процессе сравнительного анализа ключевых показателей, используемых при оценке удовлетворенности потребителей в государственном секторе за рубежом, было выявлено, что наиболее близкую структуру индекса, схожую со структурой оценки государственных программ в России, имеет Корейский индекс оценки удовлетворенности реформами (рисунок 1). Данный анализ показал, что в Корее выделяют 3 этапа ЖЦ реформы, а в России 4 этапа программы, при этом ключевые показатели реформ весьма схожи с показателями программ. На основе экспертного опроса было заключено, что многие из корейских показателей могут быть использованы в разрабатываемой модели без изменения, так как они являются укрупненными аналогами показателей оценки российских государственных программ.

Корея (NCSI) Россия

Этапы ЖЦ Показатели измерения Показатели измерения Этапы ЖЦ

Отражение разнообразных Приоритетность (актуальность) Разработка проблемы, целей и содержания программы

интересов н мнений Масштабность

Рациональность *-— Анализируемость (пок-ли и ср-еа проверки), прогноз, методика

соззмэдя Концепция Стратегическое

План планирование

Результативность Индикаторы и разраоотка принципов реализации

Финансирование

Воспринимаемое качество Эф-ть на этапе планирования и недостатки программы

Инициативность — Информирование в СМИ

Процесс рсаъоали Координация между различными органами и организациями исполнительной власти <---- Доп. средства привлечение, затраты на капремонт и НИОКР Управление программой и контроль

Оперативность процесса Мониторинг и соблюдение сроков за ходом ее

реализации Экономия текущая

Воспринимаемое качество Анализ дирекции программы

процесса Экспертные проверки и недостатки

Оценка результата Количественные результаты >___ Факт, результаты (сроки, достижение плана) Оиен ка результатов

Качественные результаты Кач. результаты (продолжать ли программу) хода

Воспринимаемое качество результатов — Воспринимаемое качестао результатов (от экспертов н аудиторов) и недостатки реализации программы

Рисунок 1 - Сравнительная характеристика показателей оценки деятельности государственного сектора в Корее и России с учетом этапов ЖЦ

Распределение данных показателей по этапам ЖЦ программы в России на данном этапе работы было сделано условно, правильность этого распределения проверялась в процессе эмпирического исследования, проводимого в целях тестирования методики.

3. Разработан методический подход к оценке удовлетворенности потребителей государственных программ. Разработка методики автором осуществлялась по результатам анализа научно-исследовательских работ и эмпирических исследований оценки государственного сектора за рубежом и оценки государственных программ в России, а также с учетом проведенных полуструктурированных интервью с четырьмя экспертами в области программы

энергосбережения и тремя исполнителями программы из числа высших чиновников. За основу были взяты две методики: американская АС81, адаптированная для государственных услуг, и Корейский индекс N081, предназначенный для оценки проводимых реформ. С учетом проведенного анализа сильных и слабых сторон различных методик оценки удовлетворенности, применяемых в зарубежной практике для элементов государственного сектора, в основу разрабатываемой методики в России были положены ключевые показатели оценки, используемые в корейской методике, проводимой по этапам ЖЦ реформы. Кроме этого, наряду с оценкой удовлетворенности внешних потребителей - клиентов программы, как это осуществляется в методике СБ1, было предложено изучать удовлетворенность внутренних потребителей (исполнителей программы - государственных служащих), как это делается в корейской методике. В рамках предлагаемой методики необходимо оценивать государственные программы на основе анкетирования различных групп клиентов, к которым относятся конечные потребители и исполнители программы, и рассчитывать показатели удовлетворенности каждой группой потребителей и показатели качества программы, на различных этапах ее реализации.

Анализ, согласно данной методике, осуществляется на основе общей удовлетворенности программой, расчета показателей оценки на различных этапах жизненного цикла программы и дополнительного показателя, характеризующего удовлетворенность результатами деятельности Правительства (рисунок 2). Показатель удовлетворенности деятельностью Правительства был внедрен в целях определения уровня влияния удовлетворенности населения деятельностью властей на удовлетворенность программой в целом и ее показателями. В корейской методике в качестве такого «влияющего» показателя использовался общий индекс удовлетворенности населения. В связи с тем, что такой индекс в России не измеряется на регулярной основе, автором было предложено внедрить другой показатель и изучить его влияние эмпирически при дальнейшем исследовании. Статистический анализ данных также включает расчет корреляции между показателями оценки программы на различных этапах ЖЦ и общей удовлетворенностью программой, а также оценкой деятельности Правительства. Влияние каждого из показателей программы на общую оценку проверяется на основе конфирматорного факторного анализа. Для определения взаимосвязи между удовлетворенностью показателями программы и общей удовлетворенностью были построены регрессионные уравнения, объединенные в систему посредством моделирования структурными уравнениями (МСУ). Использование метода МСУ по сравнению с классической регрессией обусловлено тем, что он дает возможность рассчитывать несколько уравнений регрессии, объединенных в систему, при этом одновременно присутствует возможность учета корреляционных и факторных взаимосвязей между элементами модели. Моделирование структурными уравнениями позволяет выявить влияние удовлетворенности отдельными показателями программы на результаты и удовлетворенность программой в целом.

удовлетворенности потребителей на различных этапах реализации ГП на общую удовлетворенность программой

4. Разработана и эмпирически проверена методика оценки удовлетворенности потребителей государственных программ на группе внешних потребителей - «население».

На основании полученных данных в результате опроса населения в городе Хабаровске был проведен анализ с целью проверки поставленных гипотез. В рамках корреляционного анализа, было выявлено, какие показатели программы взаимосвязаны с оценкой деятельности Правительства и удовлетворенностью программой в целом. В итоге были получены некоторые пары влияния, которые представлены в таблице 2. В целях исключения недостатков классического корреляционного анализа и изучения взаимосвязи в системе, мы воспользовались методом структурных уравнений и получили следующие результаты. Связи с высоким значением на уровне 0,01, выявленные ранее в процессе корреляционного анализа, подтвердились (в таблице 3 выделены жирным шрифтом), а с высоким значением на уровне 0,05 не подтвердились. Дополнительно была выявлена связь между удовлетворенностью правительством (Gov) и инициативностью (Init). Корреляция между дисперсией Gov и IdSat высокая и имеет значение 0,3, корреляция между дисперсией Gov и OvSat также значительна и равна 0,177.

Таблица 2 - Результаты корреляционного анализа данных по опросу населения (жирным помечены значимые корреляции по итогам анализа с помощью структурных уравнений)

Rat Operl Coord 1 Coord2 SatReal SatReal2 SatRez OvSat IdSat Gov

OvSat 0,228" 0.1 0,232" 0,143" 0,310" 0,267" 0,271" 1 0.078 0J08"

IdSat 0,169" 0.14 0,081 -0.059 0,134' 0.113 0,331" 0.078 1 0378"

Gov 0,141' 0.186' 0,247" 0.091 0,178" 0,106 0.257" 0,308" 0,378" 1

Таким образом, были выявлены взаимосвязи между показателями программы и общей удовлетворенностью (OvSat) и удовлетворенность в сравнении с идеалом (IdSat). В части влияния дополнительной переменной Gov, была доказана ее значимая связь с другими показателями программы, что подтвердило необходимость учета этой переменной и включения ее в модель. Следующим шагом исследования была проверка предположения, что показатели удовлетворенности на каждом этапе ЖЦ программы (LifeCycle Satisfaction - LcS) оказывают значительное влияние на общую удовлетворенность программой. Кроме того, было доказано, что несколько показателей объединяются в определенные факторы, которые схожи с этапами ЖЦ программы. Для проверки правильности объединения показателей в группы по этапам жизненного цикла был проведен факторный анализ с помощью продукта SPSS Statistics. На основе анализа с вращением Варимакс было выделено 19 групп факторов. С помощью диаграммы каменистой осыпи были выделены четыре фактора, объясняющие большую часть дисперсии и являющиеся более значимыми. С помощью матрицы повернутых компонентов были выделены показатели, которые отнесены в 4 группы факторов (таблица 3):

• «Удовлетворенность этапом отбора проблем» (фактор F1);

• «Удовлетворенность этапом процесс реализации» (фактор F2);

• «Удовлетворенность этапом оценка реализации» (фактор F3);

• «Удовлетворенность этапом оценка результатов программы» (фактор F4).

Часть показателей не была отнесена в эти группы по причине низких факторных

нагрузок среди них инициативность (Init), оперативность (Орег2), количественные результаты первой программы (KolRezl). Неопределенности относительно величины факторных нагрузок и правильного набора переменных были сняты посредством применения конфирматорного факторного анализа (КФА) в рамках МСУ, который позволил однозначно определить факторы, распределить переменные, относящиеся к каждому из них, и, более того, выявить корреляционные связи между полученными факторами.

На заключительном этапе анализа была получена структурная модель, объединяющая влияние латентных факторов Fl, F2, F3, F4 (удовлетворенность этапами ЖЦ) и показателей программы на общую удовлетворенность программой (рисунок 3). Удовлетворенность программой в целом (OvSat) в ней являлась эндогенным конструктом, показатели пригодности модели высокие, что говорит о хорошем соответствии модели эмпирическим данным. Структурная модель подтверждает гипотезу о существовании латентных факторов, связанных с показателями программы, позволяет сделать вывод, что эти факторы весьма схожи с этапами ЖЦ программы.

Таблица 3 - Матрица повернутых компонентов

Компонент

Отбор Оценка Оценка Процесс реализации

проблем результатов программы реализации

Актуальнсть (Act) 0.896

Масштабность (Mas) 0,895

Результативность (Rez) 0,866

Удовлетворенность в сравнении с 0,771

иеалом (IdSat)

Удовлетворенность деятельностью 0,714

правительства (Gov)

Удовлетворенность результатами 0,564

(SatRez)

Общая удовлетворенность (OvSat) 0,54

Удовлетворенность реализацией 0,728

(SatReal2)

Рациональность (Rat) 0,647

Качественные результаты 0,596

подпрограмма 1 (KachRezI)

Удовлетворенность реализацией 0,315

подпрограмма 1 (SatReall)

Количественные результаты 0,684

подпрограмма 2 (KolRez2)

Координация подпрограмма 1 0,638

(Coord I)

Качественные результаты 0,529

подпрограмма 2 (KachRez2)

Оперативность подпрограмма 1 0,386

(Operl)

Координация подпрограмма 2 0,277

(Coord2)

Метод выделения: анализ методом главных компонентов.

Метод вращения: Варимакс с нормализацией Кайзера.

О характере взаимосвязи и силе связей между каждым латентным фактором и общей удовлетворенностью программой возможно судить на основе регрессионных весов. Фактор F1 «Удовлетворенность этапом отбор проблем» в наименьшей степени влияет на общую удовлетворенность программой (OvSat), где регрессионный вес составил -0,048 при P-value 0,384 (так как статистическая значимость равна 0,384, таким образом наличие отрицательной связи однозначно утверждать нельзя, поэтому данная связь может принимать противоположное положительное значение 0,05). Фактор F3 «Удовлетворенность этапом оценка реализации» оказывает наибольшее влияние на удовлетворенность программой в целом (OvSat) регрессионный вес составил 0,605 при P-value близкому к 0 и умеренное влияние на общую удовлетворённость (OvSat) оказывает фактор F2 «Удовлетворенность этапом процесс реализации», значение коэффициента регрессии равно 0,185 при P-value 0,086. Важно отметить, что значительное влияние на общую удовлетворенность, но не ключевое, оказывает «Удовлетворенность этапом оценка результатов», где регрессионный вес составил 0,427 при P-value близком к 0.

Рисунок 3 - Структурная модель влияния показателей программы и факторов на общую удовлетворенность программой

Таблица 4 - Показатели пригодности структурной модели

CM1N/ DF NFI CFI TL1 RMSEA HI 90 PCLOSE

Хорошее согласие до 2,5 от 0,5 приемлемое, от 0,9 хорошее от 0,5 приемлемое, от 0,9 хорошее от 0,5 приемлемое, от 0,9 хорошее до 0,08 приемлемое, до 0,05 хорошее менее 0,1 от 0,1 приемлемое, от 0,5 хорошее

Структурная модель 2,177 0,788 0,867 0,811 0,062 0,075 0,69

Структурная модель позволила учесть влияние переменной оценка удовлетворенности деятельностью Правительства (Gov) на общую удовлетворенность программой через влияние на удовлетворенность этапом «Оценка результатов программы» (F4). Таким образом, показатель удовлетворенности деятельностью Правительства вошел в модель оценки наряду с другими факторами, что позволит в дальнейшем проводить оценку программ политически нейтрально в различных регионах и временных интервалах. Итоговая модель может быть трактована следующим образом: в программе стоить выделять четыре этапа ЖЦ:

отбор проблем и разработка программы, процесс реализации, оценка реализации и оценка результатов. Ключевым достоинством структурной модели явился тот факт, что она позволила объединить все показатели программы в иерархическую структуру, на основе которой была разработана система индексов во главе с интегральным индексом удовлетворенности программой, который будет рассчитываться эмпирически, с использованием данных, полученных в результате опросов различных групп потребителей по выбранной государственной программе.

5. Разработана иерархическая система индексов оценки удовлетворенности потребителей программы. На базе эмпирической структурной модели была разработана иерархическая система индексов, которая легла в основу методических рекомендаций по интегральной оценке удовлетворенности государственных программ. В рамках методики оценка удовлетворенности должна осуществляться, как минимум, на четырех этапах:

• отбор проблем и разработка основных направлений государственной программы;

• процесс реализации государственной программы;

• оценка реализации программы;

• оценка результатов программы.

Если какой-то из этапов длится более 1 года, то оценка должна проводиться по каждому году в процессе реализации данного этапа. Оценка может различаться по группам привлеченных к оценке потребителей, а также по набору показателей оценки в зависимости от этапа жизненного цикла государственной программы (далее ЖЦГП).

На этапе «Отбор проблем и разработка программы» используются показатели: актуальность, масштаб и результативность.

На этапе «Процесс реализации» оцениваются такие показатели программы, как оперативность, координация и качественные результаты.

На этапе «Оценка реализации» изучаются показатели: рациональность и удовлетворенность процессом реализации.

На этапе «Оценка результатов программы» оцениваются удовлетворенность результатами, удовлетворенность программой в сравнении с идеалом и удовлетворенность деятельностью Правительства.

Также в методике были определены основные принципы формирования анкет для опроса и методы формирования выборки респондентов из каждой группы потребителей.

Основная цель методики состоит в получении единого, обобщающего индикатора, позволяющего оценивать уровень удовлетворенности различных групп потребителей ходом и итогами выполнения любой государственной программы как по стране в целом, так и в отдельных регионах. В итоге искомый сводный индикатор -интегральный индекс удовлетворенности государственной программой - строится на основе четырех индексов, в свою очередь, обобщающих информацию по каждому из указанных этапов ЖЦГП программы, содержащуюся в распределениях ответов на отдельные вопросы анкеты (рисунок 7). Разработанный индекс был верифицирован с помощью дополнительного случайного опроса группы внешних потребителей «Население» в городе Хабаровске по выборке, отличной от используемой в

первоначальном опросе. Респондентам задавался единственный вопрос об оценке удовлетворенности программой в целом. Значение показателя, полученного при результате повторного опроса, имело отклонение от расчётного значения интегрального индекса удовлетворенности программой на 2,6 % при максимальной ошибке выборки 5 %, на основании чего был сделан вывод о достоверности разработанной модели.

Рисунок - 7 Иерархическая структура построения интегрального индекса удовлетворенности государственной программой

/0 = 0,03 • /, +0,13-/2 +0,41-/3 +0,29-/4 +1,4, (1)

где /0 - интегральный индекс удовлетворенности программой (6,78 балла)-, /, - индекс удовлетворенности этапом отбора проблем (3,23 балла); /2 - индекс удовлетворенности процессом реализации (7,12 балла)', /3 - индекс удовлетворенности этапом оценки реализации (7,01 балла); 1, - индекс удовлетворенности этапом оценки результатов программы (5,11 балла);

А — свободный коэффициент (равен 1,4).

Исходя из расчетных значений (формула 1) интегрального индекса удовлетворенности программой, в дальнейшем возможно сопоставление различных субъектов РФ по уровню удовлетворенности одной и той же государственной программой. Данные показатели удовлетворенности возможно использовать в системе оценки государственных служащих, ответственных за реализацию той или иной программы, и на основании этих показателей осуществлять материальное и нематериальное стимулирование. Использование данной методики для оценки различных программ дает возможность сравнивать их между собой, что, в свою

очередь, позволяет принимать объективное решение о дальнейшем финансировании программы или ее закрытии.

1 ВЫВОДЫ И РЕКОМЕНДАЦИИ

1. Автором диссертационного исследования рассмотрена эволюция взглядов ученых на проблему оценки деятельности государственного сектора на основе измерения качества и удовлетворенности и оценку влияния различных показателей оценки государственных услуг, реформ и программ на общую удовлетворенность. По результатам проведенного анализа автором предложена классификация подходов, методов и показателей в зависимости от стадии развития и зрелости системы государственного управления, места оценки в общей системе государственного управления организацией и се роли.

2. Разработана и протестирована методика оценки государственных программ с учетом показателей удовлетворенности на разных этапах программы и рассчитано влияние показателя удовлетворенности деятельностью Правительства на удовлетворенность программой в целом. Данная методика предполагает: 1) анализ характеристик целевой программы на основе анкетирования конечных потребителей, экспертов и исполнителей программы, 2) расчет общей удовлетворенности программой и показателей оценки на различных этапах жизненного цикла программы. Предложенный подход к оценке государственных программ на основе измерения общей удовлетворенности и показателей качества на разных этапах программы был опробован автором на примере государственной программы «Энергоэффективность и развитие энергетики», что подтвердило применимость данного подхода на практике.

3. Выявлены взаимосвязи между различными показателями программы, а также удовлетворенностью деятельностью правительства и общей удовлетворенностью программой.

4. По результатам статистического анализа данных с помощью моделирования структурными уравнениями автором построена интегральная модель, учитывающая влияние показателей государственной программы и показателя удовлетворенности деятельностью правительства, а также влияние оценки на каждом этапе ЖЦ на общую удовлетворенность программой «Энергоэффективность и развитие энергетики».

5. На основе данной модели разработаны методические рекомендации по дополнению и совершенствованию существующей системы оценки программ с участием конечных адресатов в части интегральной оценки удовлетворенности различных групп потребителей содержанием и реализацией государственных программ по направлению «Инновационное развитие и модернизация экономики» в России.

4 ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Работы, опубликованные в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки Российской Федерации:

1. Волков Д. К. Анализ зарубежного опыта и разработка методики оценки удовлетворенности государственными программами в России // Практический маркетинг. - 2014. - № 9 (211). - С. 17 - 22. - 0,5 п.л.

2. Волков Д. К. Маркетинговые инструменты в оценке деятельности государственного сектора : измерение удовлетворенности // Экономика и управление : науч.-практич. журнал. - 2014. - № 3. - С. 96 - 99. - 0,25 п.л.

3. Волков Д. К. Маркетинговые инструменты в оценке деятельности государственного сектора : оценка качества // Экономика и предпринимательство. -2013. -№ 11. - С. 56-58.-0,33 п.л.

Другие опубликованные работы:

4. Волков Д. К. Оценка эффективности целевых программ в России : проблемы и перспективы // Социально-экономическое развитие регионов России : сб. науч. трудов IV Международной науч.-практич. конференции. - 2014 (июнь). - С. 19 - 24. - 0,25 п.л.

5. Волков Д. К. Особенности оценки деятельности государственных органов в России и за рубежом // Современный менеджмент : проблемы, гипотезы, исследования : электронный сб. материалов V конференции - 2014 (май). - С. 337-343. -0,33 п.л.

6. Волков Д. К. Внедрение маркетинга в государственный сектор // Проблемы непрерывного образования: проектирование, управление, функционирование: материалы 11-й Международной науч.-практич. конференции - 2013 (май). - С. 184 -190. - 0,5 пл.

Подписано в печать 09.09.2015 г. Формат 60x84 1/16. Усл.печ.л. 1,5. Тираж 100 экз. Заказ № 92-з.

ФГБОУ ВПО «Российский экономический университет имени Г. В. Плеханова». 117997, Москва, Стремянный пер., 36. Напечатано в ФГБОУ ВПО «РЭУ им. Г. В. Плеханова».