Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных бюджетов тема диссертации по экономике, полный текст автореферата
- Ученая степень
- кандидата экономических наук
- Автор
- Шакина, Елена Анатольевна
- Место защиты
- Москва
- Год
- 2008
- Шифр ВАК РФ
- 08.00.10
Автореферат диссертации по теме "Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных бюджетов"
На правах рукописи
□□3444694
Шакина Елена Анатольевна
Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных
бюджетов
Специальность 08 00 10 - Финансы, денежное обращение и кредит
АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук
Москва 2008
щ
003444694
Работа выполнена на кафедре государственного управления и экономики общественного сектора Государственного университета - Высшей школы экономики
Научный руководитель
Кандидат экономических наук,
доцент Колосницына Марина Григорьевна
Официальные оппоненты
Доктор экономических наук Климанов Владимир Викторович
Кандидат экономических наук Решетников Максим Геннадьевич
Ведущая организация
Институт экономии переходного периода
Защита состоится 25 сентября 2008 г в 14 00 на заседании
диссертационного совета Д 212 048 02 в Государственном университете - Высшей школе экономики по адресу 101990, Москва, ул Мясницкая, д 20, ауд 311
С диссертацией можно ознакомиться в библиотеке Государственного университета -Высшей школы экономики
Автореферат разослан «.£ » июня 2008 г
диссертационного совета
дэн
Ученый секретарь
С Н Смирнов
Общая характеристика работы
Актуальность темы
Современный этап бюджетной реформы государственного и муниципального управления определяет приоритеты совершенствования процесса планирования ассигнований и контроля реализации расходных полномочий Ключевым вопросом становится разработка и внедрение эффективного инструментария достижения приоритетных целей страны, региона и муниципального образования Согласно концепции реформирования бюджетного процесса в РФ, основными направлениями совершенствования системы планирования общественных финансов и исполнения полномочий государства и местного самоуправления являются
- развитие системы перспективного финансового планирования,
- развитие программно-целевых методов бюджетного планирования
Очевидно, что заявленные приоритетные задачи предполагают обоснование и
внедрение в практику результативных принципов бюджетирования Однако, несмотря на реформирование бюджетной системы, в целом соответствующей общемировым тенденциям в управлении общественными финансами, в России все еще отсутствуют встроенные механизмы повышения эффективности государственных расходов Преобладающий в настоящее время метод сметного планирования (на основе индексации сложившихся затрат по дробным позициям бюджетной классификации) имеет ряд недостатков
- отсутствие стимулов к сокращению издержек и экономии бюджетных средств,
- недостаточная ориентированность на достижение конкретных результатов деятельности, так как при действующей системе финансируется факт существования объекта финансирования
Основным направлением реформирования бюджетного процесса является переход преимущественно к программно-целевым методам бюджетного планирования, обеспечивающим прямую взаимосвязь между распределением бюджетных ресурсов и фактическими или планируемыми результатами их использования в соответствии с установленными приоритетами государственной и муниципальной политики
При подготовке проекта бюджета в заявках, поступающих от отраслевых органов исполнительной власти, потребности в финансировании основываются, как правило, на корректировке объемов бюджетных средств, выделенных в предыдущем году, а не на количественно измеримых, социально значимых, фактических и ожидаемых результатах расходования бюджетных средств
В значительной мере это относится и к обоснованиям целевых программ Несмотря на то, что порядок разработки и реализации целевых программ предусматривает включение в их обоснование ожидаемых конечных результатов реализации программных мероприятий, это требование нередко выполняется лишь формально Результаты во многих программах сформулированы таким образом, что они не поддаются или плохо поддаются точной количественной оценке Плановые значения показателей программ в этом случае не позволяют судить о степени достижения их целей
Действующая система учета, отчетности и контроля исполнения бюджета носит затратный характер, то есть позволяет оценивать главным образом правомерность расходования бюджетных средств, а не результативность их использования Не налажена и система измерения социально-экономических результатов бюджетного финансирования Таким образом, программно-целевое бюджетирование внедряется для преодоления указанных недостатков, повышения эффективности бюджетных расходов за счет их концентрации на наиболее важных для общества направлениях А в связи с тем, что специфика указанного метода финансирования предполагает наличие системы регулярного мониторинга и оценки, наиболее актуальным направлением развития исследований в сфере программно-целевого бюджетирования является создание и совершенствование существующих подходов к оценке и методов мониторинга Цели и задачи исследования
Целью настоящего диссертационного исследования является теоретическое обоснование и разработка методики оценки эффективности финансирования расходных обязательств региональных и муниципальных бюджетов посредством программно-целевых методов в рамках бюджетирования, ориентированного на результат Цель исследования конкретизируется в следующих задачах
- анализ теоретических подходов программно-целевого бюджетирования, в том числе подходов к оценке бюджетных целевых программ,
- систематизация методов оценки эффективности целевых программ на основе ведущего зарубежного опыта внедрения программно-целевого бюджетирования,
- анализ действующей российской модели программно-целевого бюджетирования в рамках преобладающей системы сметного планирования
- анализ современных подходов к оценке целевых программ на основе соответствующих методик, принятых в субъектах РФ,
- выявление ключевых аспектов программно-целевого метода планирования, требующих адаптации для перехода к результативному бюджетированию,
- разработка предложений по совершенствованию методов оценки целевых программ,
- апробация разработанной методики оценки целевых программ в муниципальном образовании - городе Перми
Предмет исследования - система оценки бюджетных целевых программ, в том числе индикаторы результативности и эффективности их реализации
Объект исследования - целевые программы на примере города Перми Методы исследования - содержательный и формализованный анализ индикаторов оценки целевых программ, метод унификации и агрегирования показателей, метод оценки степени достижения целевых значений показателей
Теоретической и научно-методической основой диссертационного исследования послужили труды российских и зарубежных ученых, а также нормативные документы РФ, Австралии, США, Голландии В том числе научно-методическую базу исследования составляют документы международных и российских организаций, занимающихся проблемами управления государственными расходами, таких как Институт экономики города, Центр фискальной политики, Всемирный Банк Кроме этого, в работе использовались результаты исследований, полученные автором в рамках проектов, выполненных Центром прикладной экономики Пермского филиала Государственного университета - Высшей школы экономики по заказам Администрации Пермского края и Администрации города Перми
Проблемам эффективного управления бюджетными расходами посвящены многочисленные научные работы представителей теории общественных финансов, среди которых, в частности, К Вейс, М Скривен, М Пэттон, Г Хатри, Дж Стиглиц, Е Мишан, Р Мюсгрейв, Д Волкер Г Хатри и Д Волкер посвятили свои труды вопросам использования программно-целевых методов в управлении бюджетными расходами Среди российских исследований, посвященных внедрению программно-целевого бюджетирования, как подхода к управлению социально-экономическим развитием страны и региона, ориентированного на результат, можно выделить работы Л И Якобсона, М П Афанасьева, А М Лаврова, М Ю Гараджа
Научная новизна исследования
Основные результаты работы, обладающие научной новизной, состоят в следующем Предложена логическая схема оценки целевых программ в рамках системы управления расходами региональных и муниципальных бюджетов
Проведен комплексный анализ методик оценки целевых программ, действующих на территории РФ
Определены критерии отбора полномочий, реализация которых целесообразна посредством программно-целевого метода Критерии отбора представляют собой характеристики целей, задач и мероприятий, направленных на реализацию полномочий, отвечающих требованиям, предъявляемым к целевым программам Система критериев может использоваться в принятии решений на стадии отбора проектов программ для их разработки
- Разработана комплексная методика оценки целевых программ, позволяющая последовательно и планомерно отслеживать эффективность бюджетных расходов, направленных на их реализацию Методика является многоуровневой и включает в себя три этапа оценки на соответствующих стадиях реализации программы На первой стадии оценка позволяет произвести отбор наиболее приоритетных, эффективных и качественно разработанных проектов программ для дальнейшей реализации На второй стадии оценивается промежуточная эффективность реализации программ, а конечная стадия оценки позволяет сделать заключение относительно успешности реализации всей программы в целом
Разработан метод составления рейтинга программ на предварительной стадии их оценки Ключевой особенностью предложенного подхода является определение однозначно интерпретируемых и сопоставимых показателей прогнозной эффективности различных по содержанию программ, что позволяет оценивать конкретный проект с минимальным привлечением экспертных мнений непосредственно на стадии оценки
Разработан метод оценки степени достижения целей, степени выполнения задач и мероприятий программы
Практическая значимость исследования
Результаты исследования могут быть использованы для оценки эффективности расходов бюджетов всех уровней при внедрении среднесрочного финансового плана, основанного на принципах бюджетирования, ориентированного на результат
Положения диссертационного исследования могут быть использованы при изменении нормативной базы программно-целевого метода бюджетирования, а также в учебном
процессе при разработке курсов по государственному и муниципальному управлению, государственным и муниципальным финансам
Апробация и внедрение результатов исследования
Положения диссертации использовались при подготовке нормативно-методических документов Администрации города Перми и Пермской городской Думы в рамках научно-исследовательского проекта «Повышение эффективности бюджетных расходов Совершенствование программно-целевых методов», обсуждались в рамках совместных заседаний рабочих групп Администрации города Перми
Предложения по совершенствованию методов оценки эффективности реализации программ используются в рамках эксперимента внедрения перспективного финансового планирования деятельности Администрации города Перми
Основные положения работы докладывались автором на следующих научных семинарах и конференциях
- Доклад Подходы к оценке региональных и муниципальных целевых программ // Научный семинар ПФ ГУ-ВШЭ, март 2008 г
- Доклад Оценка социального эффекта инвестиционного проекта с помощью налога Кларка// Научно-практическая конференция «Экономика и управление», Пермь Пермский филиал ГУ-ВШЭ, 2006
- Доклад Критерии эффективности системы профилактики социального сиротства // Межрегиональная научно-практическая конференция «Новые социальные технологии» Администрации Пермской области и ПГУ, 2004
Логика и структура диссертации
Введение
Глава 1 Теоретические основы оценки бюджетных целевых программ
1 1 Сущность и основные принципы программно-целевого бюджетирования
1 2 Подходы к оценке бюджетных целевых программ
1 3 Методы оценки социальных эффектов и бюджетной эффективности целевых программ
Глава 2 Особенности современных подходов к оценке бюджетных целевых программ в Российской Федерации
2 I Анализ особенностей реализации программно-целевого бюджетирования в Российской Федерации
2 2 Анализ методик оценки целевых программ в субъектах Российской Федерации
Глава 3 Совершенствование методов оценки целевых программ 3 1 Описание комплексной методики многоуровневой оценки целевых программ 3 2 Система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ
3 3 Система общих показателей и критериев оценки эффективности программ 3 4 Методы оценки агрегированных показателей результативности программ Заключение
Список использованных источников
Приложение 1 Исполнение бюджета расходных обязательств в зависимости от соответствия задач целевых программ г Перми и вопросов местного значения
Приложение 2 Виды инноваций как результат реализации комплекса мероприятий целевых программ г Перми
Основные положения диссертации
В ходе проведения диссертационного исследования были получены некоторые значимые теоретические и прикладные выводы относительно системы оценки целевых программ
На основе обзора, проведенного в первой главе диссертационного исследования, были определены ключевые принципы программно-целевого бюджетирования, а также требования, предъявляемые к системе оценки программ
Анализ, проведенный в ходе теоретического обзора подходов к оценке целевых программ, позволил сделать вывод, что система оценки целевых программ базируется на показателях социального эффекта и бюджетной эффективности Под бюджетной эффективностью необходимо понимать экономическую выгоду для государства и местного самоуправления, которая выражается в соотношении величины полученного социального эффекта и произведенных затрат Причем указанное соотношение в зависимости от использованного метода может оцениваться в абсолютном денежном выражении или определять стоимость получения единицы социального эффекта (относительное выражение) К основным общетеоретическим методам оценки эффективности программ относятся метод анализа издержек и выгод (СВА), метод анализа издержек и полезности (СЦА), метод анализа издержек и результативности (СЕА), а также многочисленные модификации последнего При этом, несмотря на многообразие методов оценки, каждый из них обладает рядом существенных ограничений в практическом применении сложность оценки социального эффекта в денежном выражении, отсутствие учета предельных издержек на создание социального эффекта и т д
При этом система является многоуровневой, обеспечивая оценку на предварительной стадии в целях отбора программ, а также оценку на промежуточной и конечной стадии в целях анализа хода реализации и результатов воздействия программы Результатом оценки программ на предварительной стадии может являться составление рейтинга программ на основе общих показателей Анализ результатов воздействия и хода реализации программы может быть основан на разнообразных частных показателях, в том числе показателях конечного, частного конечного эффектов, а также показателей непосредственного результата На промежуточной и конечной стадиях результатами оценки является определение степени достижения целей, а также выполнения задач и мероприятий программы
Полученные результаты могут быть представлены в виде логической схемы, отраженной на рис 1
X л £ я а 2 г Б а С к р/
Промежуточная стадия к [V
к X 1 л
ъ ш п/
5
Общие показатели
ч
н
Частные показатели
Показатели конечного эффекта
3-Е
Показатели частного конечного эффекта
г
Показатели эффективности
Показатели непосредственного результата
З.Р
Показатели результативности
Показатели влияния и т д
ц
Составление рейтинга проектов целевых программ на основе оценки их предварительной эффективности
Оценка степени достижения целей задач и мероприятии целевых программ
Рис 1 Логическая схема оценки целевых программ Далее в целях определения путей совершенствования системы оценки целевых программ, применяемой в РФ, ее субъектах и муниципальных образованиях, был проведен анализ особенностей современных подходов к анализу бюджетных целевых программ в РФ
Во второй главе исследования на основе анализа нормативно-правовой базы, регламентирующей бюджетный процесс и определяющей основные направления бюджетных реформ, были выявлены особенности применения программно-целевого метода финансирования расходных обязательств, и, следовательно, специфические требования, предъявляемые к системе оценки программ в РФ К ключевым особенностям целевых
программ, реализуемых на территории РФ, можно отнести следующие особый статус целевых программ, отраженный в поправках к Бюджетному кодексу от апреля 2007 г, появление долгосрочных программ, как метода реализации инвестиционной политики государства и местного самоуправления, неурегулированность вопроса относительно финансирования целевых програмй и т д |
В настоящее время в субъектах РФ принято не менее 40 методик оценки целевых программ, большая часть из которых носит формальный характер и не имеет реального опыта внедрения Анализ наиболее ярких примеров (Пермский край, Калужская, Нижегородская, Самарская, Хабаровская, Ленинградская области и т д ) вывил следующие ключевые недостатки применяемых в регионах методов оценки целевых программ
направленность на оценку качества проектировки, а не на оценку эффективности программы,
сложность интерпретации показателей, необоснованность выбора весов при оценке агрегированного показателя, высокая степень субъективности в присвоении баллов в ходе анализа проектов программ,
отсутствие оценки эффективности (учета бюджетных расходов) программ, отсутствие сопоставимости оценок проектов при использовании частных показателей для оценки результатов,
отсутствие информации о критериях оценки до момента ее проведения и т д На основе сделанных выводов, в третьей главе разработана комплексная многоуровневая методика оценки программ Предлагаемая методика дает возможность комплексной и объективной оценки целевых программ на различной стадии их реализации, что повышает эффективность управления общественными финансами
В диссертационном исследовании определены следующие ключевые предпосылки разработки нового метода оценки целевых программ, отвечающего требованиям программно-целевого бюджетирования, учитывающего особенности регламентации бюджетного процесса и смежных отраслей государственного и муниципального управления в РФ, а также недостатки действующих в регионах методик оценки программ
- использование формализованного процесса отбора полномочий, целесообразных к реализации в рамках целевых программ,
- наличие многоуровневой системы оценки и непрерывного процесса мониторинга,
- необходимость составления рейтинга программ на предварительной стадии на основе оценки эффективности,
- обязательность оценки результативности и эффективности программ на промежуточной и конечной стадиях,
- обеспечение максимально возможной степени объективности процесса оценки программ,
- наличие информации о критериях оценки, а также их значимости до начала проектировки программ
В соответствии с обозначенными выше предпосылками разрабатываемого метода оценки целевых программ можно определить структуру его основных элементов и этапов Описание структуры предлагаемой комплексной методики представлено на рисунке 2
Система общих показателей и критериев оценки эффективности (бюджетной эффективности) программ
Расходные полномочия бюджета соответствующего уровня
Критерии отбора полномочий («система фильтров»)
С
ранжирование проектов целевых программ на основе оценки эффективности
- оценка агрегированной результативности реализации программ по целям задачами мероприятиям 4 -
- принятие решений о корректировке целей задач
оценка агрегированной результативности реализации программ по целям, задачам и мероприятиям
сбор информационной базы относительной эффективных технологий и ключевых факторах ехз рсоглза^м цггег»х программ
Методы оценки агрегированных значений показателей результативности реализации программ
Рис 2 Структура многоуровневой методики оценки целевых программ Каждый из элементов разрабатываемой методики оценки целевых программ соответствует определенной стадии оценки Так, критерии отбора расходных полномочий,
целесообразных к реализации посредством программно-целевого метода, используются на стадии, предшествующей инициации проектов программ Данные критерии должны исключать из рассмотрения текущую деятельность органов исполнительной власти и стимулировать инвестиционную, и в особенности инновационную деятельность, в рамках закрепленных полномочий соответствующего уровня власти
Система общих показателей и критериев оценки эффективности программ, определенная на предыдущих этапах исследования как выражение бюджетной эффективности, применяется на предварительной стадии оценки программы и призвана определить условия для ранжирования целевых программ Данный этап является наиболее важным в предложенном методе оценки целевых программ, так как определяет дальнейшую «судьбу» проектов программ Использование ранжирования позволяет наиболее четко и очевидно определить приоритетные целевые программы, которые выносятся на рассмотрение утверждающего органа (высшего исполнительного органа или законодательного органа) В связи с тем, что бюджетное ограничение всего пакета целевых программ определяется в ходе бюджетного процесса и может существенно изменяться, использование ранжированного перечня проектов целевых программ позволяет непрерывно корректировать процесс отбора без проведения дополнительной оценки
Важным элементом в предлагаемой методике оценки целевых программ являются методы оценки агрегированных значений показателей результативности реализации программ Данный элемент используется на промежуточной и конечной стадиях оценки целевых программ
Анализ, проведенный в исследовании, показал, что на промежуточной и конечной стадиях реализации программы ее оценка может быть необходима для
- корректировки объема финансовых средств, выделяемых на дальнейшую реализацию программы,
- формирования информационной базы об эффективных технологиях и ключевых факторах успеха реализации целевых программ
В связи с тем, что на промежуточной и конечной стадиях целесообразно оценивать результативность и эффективность конкретных целей, задач и мероприятий программы, в качестве инструментов анализа необходимо применять частные показатели Причем для оценки результатов достижения целей программы необходимо использовать показатели конечного эффекта, для задач - показатели частных конечных эффектов, а для мероприятий - показатели непосредственных результатов Так, при оценке программ на промежуточной и конечной стадиях, необходимо решить вопрос о том, каким образом дать заключение относительно результативности и эффективности реализации программы Данный вопрос
упирается в решение проблемы агрегирования совокупности показателей В рамках предложенной методики оценки целевых программ предлагается проводить агрегирование на каждом из уровней иерархии показателей, получая таким образом оценку относительно
- степени достижения цели программы,
- степени выполнения задач программы,
- степени выполнения мероприятий программы
Подобные оценки позволяют сделать очевидные выводы относительно успешности реализации программы, а также провести факторный анализ, имеющий высокую аналитическую ценность в системе оценки целевых программ
Среди наиболее важных элементов предлагаемой методики можно выделить следующие
- систему общих показателей и критериев оценки эффективности программ на предварительной стадии,
- методы оценки степени достижения целей, задач и мероприятий программы Система общих показателей и критериев оценки эффективности программ
Для оценки социального эффекта предлагается метод, основанный на относительной оценке ожидаемых результатов целевой программы в условных единицах Одна из ключевых особенностей метода в том, что значения всех возможных вариантов социальных эффектов, выраженные через ожидаемые результаты программ, определены заранее (до момента проведения оценки программ) В этом случае существенно повышается уровень объективности оценки, так как непосредственный расчет показателей эффективности программы осуществляется автоматически на основе созданной заранее системы значений критериев эффективности
Целью метода является построение рейтинга предлагаемых проектов целевых программ на основе оценки показателей их эффективности Показатель эффективности для каждой программы рассчитывается как отношение суммы ее бюджета к значению показателя социального эффекта, выраженного в условных единицах Представленная в исследовании идея оценки социального эффекта опирается на общую логику программно-целевого метода исполнения расходных обязательств, в соответствии с которой любая целевая программа структурирована в виде четкой иерархии целей, задач и мероприятий Поэтому ожидаемый результат целевой программы (социальный эффект) косвенно может быть оценен через следующие параметры
- степень приоритетности целевой группы (цель),
- степень значимости направления по улучшению состояния целевой группы (цель и задачи),
- степень потенциальной эффективности и адекватности метода, используемого в рамках соответствующего направления (задачи и мероприятия)
Спецификой целевых программ является относительно ограниченное множество характеристик каждого из перечисленных трех параметров, что позволяет создать универсальную систему оценки параметров социального эффекта любой целевой программы Таким образом, на основе анализа целевых программ, действующих в стране, регионе или конкретном муниципалитете, есть возможность определить перечень возможных характеристик параметров и дать их количественную оценку в условных единицах При этом для определения конкретных значений приоритетности отдельных целевых групп, значимости направлений улучшения их состояния и эффективности конкретных методов предлагается использовать экспертные оценки
Оценка параметров программу определяющих ее социальный _эффект_
л 2 5 га а
с с
а
X .0 ш
ш
с »
а>
X Ф С
ю к л со
Приоритетность целевой группы 1
Приоритетность целевой группы 2
(Значимость направления 1 улучшения 1
Значимость направления _упучшения 2_
Потенц эфф и адекв метода 1 | Потенц эфф и адекв метода 2 [ Потенц эфф и адека. метода г |
•{ Потенц эфф и адекв метода 1 I —+{ Потенц эфф и адекв_метода 2 \
Значимость направления
_улучшения р_
к
значимость направления улучшения 1
■I Потенц эфф и адекв.метода г~| »Г Потенц эфф и адекв метода 1~| ■I Потенц эфф и адекв метода 2 | —Потенц эфф и*адекв метода Г~|
Значимость направления _улучшения 2_
Приоритетность целевой группы
Значимость направления _улучшения р_
I значимость направления 1 улучшения 1_
Значимость направления _улучшения 2_
Значимость направления _улучшения р_
Потенц эфф и адекв метода 1 | Потенц эфф и адекв метода 2 | Потенц эфф и адекв метода г | Потенц эфф и адекв "метода 1 ] Потенц эфф и адекв метода 2 [ Потенц эфф и адека метода г |
Потенц эфф и адекв метода 1 | Потенц эфф и адекв метода 2 | Потенц эфф и адека метода г |
О
Рис 3 Общая схема оценки социального эффекта Анализ целевой программы необходимо начинать с построения «дерева» взаимосвязанных параметров, начиная с выявления целевых групп программы и определения их приоритетности, и, далее, выбора направлений по улучшению состояния отдельных групп, а также конкретных методов в рамках каждого из направлений (рис 3)
Также необходимо заметить, что в целом направления по улучшению состояния являются универсальными, но имеют различные степени значимости для различных целевых групп То же самое касается методов реализации направлений по улучшению состояния, каждый из которых может иметь высокую степень потенциальной эффективности и адекватности для одних целей, не отвечая при этом требованиям других
Анализ социального эффекта предлагается осуществлять отдельно для каждой программы на основе мультипликативной функции (1) Такой вид функции позволяет наиболее четко отразить влияние приоритетности каждой из целевых групп, значимости направлений по улучшению состояния каждой группы на основе понижающих и повышающих коэффициентов, а также степень потенциальной эффективности и адекватности применяемых методов в рамках каждого из направлений
СЭ' = £ЦП, + (1 + 2>'*0), (1)
СЭ' - социальный эффект ¡-ой программы,
где 1 - степень приоритетность]-ой целевой группы из множества М, выявленная в 1-ой программе,
НУ 'к - степень значимости к-ого направления по улучшению состояния ]-ой целевой группы из множества Р, выявленного в ¡-ой программе,
М'и - потенциальная эффективность и адекватность метода I в рамках к-ого направления из множества Я, выявленного в 1-ой программе
Таким образом, анализируя представленную формулу, можно сделать следующие выводы
- М 'ы представляет собой сумму положительных и отрицательных значений
/еЯ
коэффициентов, отражающих степень потенциальной эффективности и
адекватности всех методов, выбранных для реализации к-го направления улучшения в рамках 1-ой программы
- НУ'^ (1 + представляет собой сумму положительных и отрицательных
к^Р /«я
значений коэффициентов значимости всех направлений по улучшению состояния у-ой целевой группы При этом значения коэффициентов значимости
скорректированы на суммарную оценку потенциальной эффективности и адекватности выбранных в рамках каждого направления методов
- Последний этап заключается в суммировании показателей степени приоритетности всех целевых групп программы /, умноженных на сумму скорректированных коэффициентов значимости направлений улучшения состояния соответствующей группы После оценки величины социального эффекта для каждой из рассмотренных программ, становится очевидной необходимость определения их бюджетной (экономической эффективности) В связи с тем, что полученные значения социального эффекта программ унифицированы (выражаются в условных единицах эффекта), возникает возможность их сопоставления Таким образом, отношение общей величины бюджета программы к величине социального эффекта позволяет оценить удельные затраты на достижение единицы последнего (формула 2) Очевидно, что чем меньше полученная оценка стоимости достижения социального эффекта, тем более эффективной является целевая программа
Предложенный метод был апробирован на базе действующих в 2004-201 Orr целевых программ г Перми
Далее представим подробный алгоритм реализации разработанного метода и результаты его апробации Представленный метод реализуется в три этапа
1 Разработка системы оценки параметров целевых программ, а именно определение характеристик и значений параметров приоритетности целевых групп, значимости направлений по улучшению их состояния, а также потенциальной эффективности и адекватности применяемых методов
2 Анализ проекта программы в целях выявления необходимых параметров и построения дерева взаимосвязанных целевых групп, направлений и методов улучшения их состояния
3 Оценка величины параметров в зависимости от их позиции в построенном дереве на основе системы оценки параметров, а также оценка социального эффекта и эффективности программ по формулам 1 и 2
Реализация первого этапа происходит до момента начала оценки и ранжирования проектов программ Как уже отмечалось выше, система оценки параметров основана на содержании реализованных, действующих и принимаемых целевых программ, а также
эффективность целевой программыi =
бюджет целевой программы i СЭ'
(2)
концепции социально-экономического развития страны, региона или муниципалитета и определяет общие представления о приоритетах проводимой политики Первый этап реализации разработанного метода состоит из нескольких подэтапов 1 1 Оценка приоритетности целевой группы
- определение перечня целевых групп
- оценка приоритетности каждой целевой группы в условных единицах (экспертный или формализованный метод определения приоритетов)
В действительности оценка степени приоритетности целевой группы является одной из самых сложных задач При этом в качестве обоснования определения ранга целевой группы могут выступать влияние соответствующей категории населения на приоритеты социально-экономического развития страны, региона или муниципалитета, а также выявленные проблемные характеристики данной целевой группы
Ранжирование целевых групп рекомендуется проводить по шкале от 1 до 10, при этом допустимо определять одни и те же значения степени приоритетности для разных целевых групп, а также использовать при относительном сравнении шаг 0,5 или 1 (п - максимальный приоритет, 1- минимальный приоритет)
Таблица 1
Оценка степени приоритетности целевой группы
№ Наименование целевой группы J Степень приоритетности
1 Целевая группа 1 ЦГ1
2 Целевая группа 2 ЦГ2
т Целевая группа ш ЦГт
Следующим шагом реализации предложенного метода в рамках первого этапа является оценка значимости направления по улучшению состояния целевой группы
1 2 Степень значимости направления по улучшению состояния целевой группы
- Определение перечня направлений улучшения состояния для всех целевых групп (рассматриваются все возможные варианты улучшений, которые относятся к рассмотренному перечню целевых групп)
- Оценка значимости рассмотренных направлений для каждой целевой группы в виде понижающих или повышающих коэффициентов (в зависимости от вида целевой группы значимость направлений улучшения может быть разной)
Рекомендуемый интервал изменения коэффициентов, отражающих значимость
направлений ^'к 0 - 1>т> ^ - ^^ ]] с шагом°о,1 Таким образом, направление улучшения, не имеющее высокой степени значимости, может быть оценено при помощи понижающего коэффициента -0,2 или -0,1 Относительно нейтральная ситуация характеризуется значениями от 0 до 0,2, а высокий уровень приоритета в отношении направления - от 0,3 до 1
В общем виде метод оценки степени значимости направления по улучшению состояния целевой группы представлен в таблице 2
Таблица 2
Оценка степени значимости направления по улучшению состояния целевой группы
N. Наименование \целевой группы } Целевая группа 1 Целевая группа 2 Целевая группа т
Наименование направления ^ч улучшения к
Направление улучшения 1 НУ 11 НУ 12 НУ 1т
Направление улучшения 2 НУ 21 НУ 22 НУ 2т
Направление улучшения р НУ р1 НУ р2 НУрт
Далее проводится оценка степени адекватности и потенциальной эффективности метода реализации каждого из выбранных направлений
1 3 Оценка степени потенциальной эффективности и адекватности метода реализации для соответствующего направления
- определение перечня методов реализации для всех направлений (рассматриваются все возможные варианты методов, которые относятся к рассмотренному перечню направлений улучшения)
- оценка степени потенциальной эффективности и адекватности рассмотренных методов для каждого отдельного направления в виде понижающих или повышающих коэффициентов (в зависимости от направления улучшения степень адекватности методов может быть разной)
Рекомендуемый интервал изменения значений коэффициентов методов реализации Мк1,к = \,р,1 = \,г [-0,5, +0,5] с шагом 0,1 Таким образом, метод, не отвечающий требованиям адекватности и эффективности для соответствующего направления, может быть оценен при помощи понижающего коэффициента от -0,5 до -0,1 Относительно нейтральная ситуация характеризуется значениям 0, а высокий уровень эффективности метода - от 0,1 до 0,5 Понижающие коэффициенты играют существенную роль для повышения качества проектирования программ и исключения мероприятий, содержание которых неоправданно в рамках конкретной целевой программы Для мероприятий, связанных с осуществлением инвестиций, применяется значение коэффициентов, увеличенное на 1 (от 0,5 до 1,5)
В общем виде оценка степени потенциальной эффективности и адекватности методов представлена в таблице 3
Таблица 3
Оценка степени потенциальной эффективности и адекватности методов реализации
направлений по улучшению состояния целевой группы
\ Наименование \ направления \ улучшения к Наименование \ метода I \ Направление улучшения 1 Направление улучшения 2 Направление улучшения р
Метод 1 М 11 М 12 М 1р
Метод 2 М 21 М22 М2р
Метод г Мг1 Мг2 М гр
Разработанная на первом этапе система параметров целевых программ, выраженная через характеристики и значения степени приоритетности целевых групп, значимости направлений улучшения их состояния, а также адекватности и потенциальной эффективности используемых методов, позволяет на последующих этапах проводить оценку социального эффекта и бюджетной эффективности программ Очевидно, что оценка социального эффекта, полученная в результате применения рассматриваемого метода,
отражает лишь относительный уровень приоритетности, значимости и вероятности достижения ожидаемых результатов программы
В целях апробации предложенного метода оценки эффективности и ранжирования целевых программ в таблице 4 представлен рейтинг действовавших в 2007 г целевых программ в г Перми
Таблица 4
Рейтинг городских целевых программ г. Перми
(действовавших в течение 2007 г)
№ (ранг) Наименование программы Оценка совокупной величины социального эффекта, уел ед. Бюджет целевой программы, тыс руб. Показатель эффективности целевой программы, тыс руб/усл ед
1 «Профилактика алкоголизма, наркомании, токсикомании на территории г Перми на 20072010 годы» 154,5 8 000 51,8
2 «Строительство газопроводов и газификация жилых домов в микрорайонах индивидуальной застройки г Перми на 2005-2008 гг » 275,4 18 000 65,4
3 «Социальная поддержка населения г Перми на 2005-2007 гг » 138,5 И 850,5 85,6
4 «Развитие образования г Перми до 2010 года» 96,3 16 532 171,7
5 «Общественное участие» на 2005-2009 годы» 35,7 11220 314,3
6 «Переселение граждан города Перми из ветхого и аварийного жилищного фонда на 2007-2010 годы» 188,2 60 220 320,0
7 «Укрепление гражданской безопасности в г Перми на 2006-2008 годы» 46,5 14 901,3 320,5
8 «Охрана здоровья жителей города Перми на 20052007 годы» 54,4 19 300,1 354,8
9 «Развитие городских микрорайонов на 2006-2010 годы» 45,2 36 000 796,5
Анализ полученных результатов показал, что в целом расчетная оценка величины социального эффекта по всем программам соответствует значимости ожидаемых результатов программ, полученной из заключений экспертов (представителей Администрации г Перми), что свидетельствует о потенциальной практической применимости предложенного метода
Методы оценки степени достижения целей, задач и мероприятий на основе агрегированных показателей результативности программ
На промежуточной и конечной стадиях оценки для анализа успешности реализации
целевой программы используются частные показатели эффективности и результативности Целью методов оценки агрегированных показателей результативности является выявление степени выполнения цели, задач и мероприятий целевых программ
В связи с тем, что каждая из характеристик степени выполнения определяется совокупностью показателей, необходимо оценить интегральный показатель, позволяющий однозначно судить о степени достижения цели, выполнения задач и мероприятий муниципальной целевой программы
Для оценки интегральной характеристики рекомендуется использовать следующий алгоритм
- оценка отклонения значения частного показателя от целевого значения,
- оценка степени выполнения программы по цели, задачам и мероприятиям
В соответствии с изложенными в работе принципами оценки эффективности и результативности реализации программ, оценка начинается с определения целевых значений показателей Таким образом, на стадии промежуточной и конечной оценки программ необходимо определить степень отклонения фактических значений показателей от целевого значения Эти оценки позволяют определить степень выполнения программы по цели, задачам и мероприятиям
Оценка степени выполнения программы по целям Оценка степени достижения цели программы осуществляется на основе определения отклонения от 100% взвешенной суммы отклонений значений показателей конечного эффекта от целевого значения (формула 3)
' П£ целевой - П'а фактический ^
я =100
[-^а7 В1
¡•I \ ^
целевой
где ^Ш1 - показатель степени выполнения цели программы, а' если рост значения показателя повышает степень достижения цели программы, аУ=-1, если рост значения показателя снижает степень достижения цели программы, В'. Вес отклонения значения J
показателя конечного эффекта от целевого значения, Челев0" . целевое значение J
показателя конечного эффекта, Фактически" . фактическое значение J показателя конечного эффекта, п - количество показателей конечного эффекта
Веса могут быть определены на основе экспертных мнений, на основе размера целевой группы и т д В случае оценки степени выполнения программы по целям рекомендуется выбирать равные веса, в связи с чем формула для оценки степени выполнения цели программы модифицируется (формула 4)
П„
■■ 100
1-Е«'
1-1
П'а целевой - П'п фактический
П'ю целевой
(4)
Оценка степени выполнения программы по задачам Оценка степени выполнения задач программы осуществляется на основе определения отклонения от 100% взвешенной суммы отклонений значений показателей частных конечных эффектов от целевого значения (формула 5)
Л„, = Ю0
1-Х«' В'
Л„7„ целевой - Л 4, фактический П1„ целевой
(5)
Пп
где "ст - показатель степени выполнения задач программы, а =1, если рост значения показателя повышает степень выполнения задач программы, а_,=-1, если рост значения показателя снижает степень выполнения задач программы, В1. вес отклонения значения J
показателя частного конечного эффекта от целевого значения, Челев0" . целевое
значение J показателя частного конечного эффекта, ^"" фактический _ фактическое значение J показателя частного конечного эффекта, п - количество показателей частных конечных эффектов
Веса В1 оценивают значимость показателей в интегральной характеристике, то есть значимость соответствующей задачи в рамках реализации программы В связи с тем, что в общем случае значимость задачи можно оценить ее ресурсоемкостью, рекомендуется использовать следующую формулу для оценки весов отклонений показателей (формула 6) расходы на выпонение ] задачи
В'
бюджет целевой муниципальной программы
(6)
где расходы на выполнение J задачи определяются как совокупные расходы на реализацию мероприятий в рамках выполнения J задачи
Оценка степени выполнения программы по мероприятиям Оценка степени выполнения мероприятий программы осуществляется на основе определения отклонения от 100% взвешенной суммы отклонений значений показателей непосредственного результата от целевого значения (формула 7)
Л,.., = 100
1-1
П' целевой - П' фактический
П' целевой
(7)
где ПС1М - показатель степени выполнения мероприятий программы, В1 - вес отклонения значения J показателя непосредственного результата от целевого значения, Т1'ца целевой - целевое значение J показателя непосредственного, фактический -фактическое значение J показателя непосредственного результата, п - количество показателей непосредственного результата
Веса В' оценивают значимость показателей в интегральной характеристике, то есть значимость соответствующего мероприятия в рамках реализации программы В связи с тем, что в общем случае значимость мероприятия можно оценить ее ресурсоемкостью, рекомендуется использовать следующую формулу для оценки весов отклонений показателей (формула 8)
расходы на выполнение ) мероприятия
В =--(8)
бюджет целевой муниципальной программы
В целом на основе полученных результатов апробации метода оценки агрегированных значений частных показателей целевых программ можно сделать вывод о том, что представленный подход дает легко интерпретируемые и объективные показатели Данный метод позволяет достигать целей оценки на промежуточной и конечной стадиях, предоставляя возможность факторного анализа причин отклонений и сравнения результатов различных программ
Заключение по результатам исследования
1 В работе было показано, что программно-целевое бюджетирование, как метод реализации результативного подхода к бюджетному процессу, определяет специфические требования к системе оценки В частности, среди них были выделены многоуровневый характер системы и разнообразие используемых видов оценки, наличие четко определенных критериев оценки до начала ее проведения, учет в критериях оценки всех ключевых аспектов характеристики объекта (целевых программ), общедоступность информации о критериях оценки до начала ее
проведения, высокая степень объективности процесса проведения оценки, непрерывный и регулярный процесс мониторинга целевых программ и т д Несмотря на многообразие целей и параметров оценки, основным направлением анализа целевых программ является их эффективность (бюджетная или экономическая эффективность)
2 Проведенный анализ действующих в настоящее время на территории РФ методик оценки целевых программ позволяет сделать вывод, что в целом реализованные в них подходы не в полной мере отвечают требованиям, предъявляемым к соответствующим системам Ключевыми недостатками действующих методик являются отсутствие оценки эффективности (учета бюджетных расходов) программ, отсутствие сопоставимости оценок проектов при использовании частных показателей для оценки результатов, отсутствие информации о критериях оценки до момента ее проведения
3 В работе предложена методика, ключевыми элементами которой являются
- система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ,
- система общих показателей и критериев оценки эффективности (бюджетной эффективности) программ,
- методы оценки агрегированных значений показателей результативности реализации программ
4 В исследовании определено, что система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ, позволяет исключить из рассмотрения мероприятия программы, обеспечивающие выполнение текущих функций органов исполнительной власти Таким образом, исполнение целевых программ должно происходить за счет бюджета принимаемых обязательств, кроме того, критерием отнесения комплекса мер к реализации в рамках целевой программы может служить его инвестиционный характер и новизна
5 В соответствии с предлагаемым подходом, система общих показателей и критериев оценки эффективности программ применяется на предварительной стадии оценки программы и становится основой для ранжирования целевых программ Использование ранжирования позволяет наиболее четко и очевидно определить приоритетные целевые программы, которые выносятся на рассмотрение утверждающего органа
6 В работе был сделан вывод, что в связи со спецификой программно-целевого метода реализации расходных полномочий государства и местного самоуправления, а именно с тем, что в программе четко определяются ожидаемые результаты ее завершения, оценка социального эффекта может опираться на прогноз этих результатов Ожидаемые результаты целевых программ выражаются через планируемое изменение состояния целевой группы Очевидно, что в данном случае значимость полученного социального эффекта можно оценить на основе приоритетности целевой группы программы, а также приоритетности ожидаемого изменения ее состояния В работе было отмечено, что каждая из представленных характеристик ожидаемого результата может быть оценена до момента анализа программы по уровню ее относительной приоритетности, потенциальной эффективности и адекватности сложившейся ситуации В работе предложена оригинальная методика формализованной оценки социального эффекта целевых программ Это позволяет на основе метода СЕА (издержки - эффективность) оценить бюджетную эффективность предлагаемых к реализации программ, проранжировать их по уровню эффективности
7 В связи с тем, что на промежуточной и конечной стадиях оценки целесообразно оценивать результативность и эффективность конкретных целей, задач и мероприятий программы, в качестве инструментов анализа в работе предлагается применять частные показатели Причем для оценки результатов достижения целей программы необходимо использовать показатели конечного эффекта, для задач - показатели частных конечных эффектов, а для мероприятий - показатели непосредственных результатов При вынесении оценочного заключения относительно результативности и эффективности реализации программы встает вопрос о том, каким образом получить единую взвешенную характеристику, отражающую степень достижения целей программы, а также степень выполнения задач и мероприятий
8 Разработанная методика была апробирована в рамках эксперимента на базе целевых программ г Перми в 2006-2007 г г (результаты эксперимента представлены в диссертационном исследовании) и принята к внедрению в конце 2007 г в Администрации г Перми и г Соликамска Таким образом, подводя итоги анализа и апробации предложенной методики оценки целевых программ, в целом можно судить о ее потенциальной состоятельности и эффективности для решения специфичных задач оценки в рамках программно-целевого метода
Таким образом, в исследовании показано, что сложившиеся процедура и методология оценки целевых программ не полностью соответствуют требованиям данного метода планирования При этом в работе предложен новый метод, позволяющий комплексно и
планомерно отслеживать результаты реализации программных мероприятий, а также оценивать потенциальную эффективность проектов программ на стадии их отбора Разработанная методика позволяет решить проблему оценки и сравнения социального эффекта целевых программ на предварительной стадии оценки, а также формализовать процесс отбора полномочий, целесообразных к реализации в рамках программного метода, и проанализировать степень успешности реализации программы на промежуточной и конечной стадиях оценки
Работы, опубликованные автором в ведущих рецензируемых научных журналах и журналах, рекомендованных ВАК Министерства образования и науки России
1 Шакина Е А Анализ методов оценки целевых программ субъектов РФ// Региональная экономика теория и практика, №11 (4), 2008, стр 46-56, 1,25 п л (в соавторстве с Шелунцовой М А , личный вклад 1 п л )
2 Шакина Е А Подходы к мониторингу и оценке бюджетных целевых программ // Экономический анализ теория и практика, №11 (5), 2008, 1 п л (в соавторстве с Исакиным М А , личный вклад 0,5 п л )
Другие работы, опубликованные автором по теме кандидатской диссертации:
3 Шакина Е А Механизмы управления системой профилактики и патроната социального сиротства - НО «Университетский фонд «Экономическая школа», Пермь, 2004, 3,5 п л (в соавторстве с Исакиным М А , Емельяновым А М , Климовой К И , Марголиной Т И , Роженцовой Е В , Тотьмяниной А А , личный вклад 0,7 п л)
4 Шакина Е А Финансово-экономическое сопровождение проекта «Реформирование системы профилактики социальною сиротства в Пермской области // Сборник материалов по итогам реализации социального проекта «Реформирование системы профилактики социального сиротства в Пермской области» Администрация Пермской области - Пермь, 2004, 1,3 п л (в соавторстве с Исакиным МА, Емельяновым А М , Тотьмяниной А А , личный вклад 0,3 п л)
Лицензия ЛР № 020832 от 15 октября 1993 г Подписано в печать «10» июня 2008 г Формат 60x84/16 Бумага офсетная Печать офсетная Уел 1 печ л Тираж 100 экз Заказ № 4АЧ-
Типография издательства ГУ - ВШЭ, 125319, г Москва, Кочновский пр-д , д 3
Диссертация: содержание автор диссертационного исследования: кандидата экономических наук, Шакина, Елена Анатольевна
Введение.
Глава 1. Теоретические основы оценки бюджетных целевых программ
1.1. Сущность и основные принципы программно-целевого бюджетирования.
1.2. Подходы к оценке бюджетных целевых программ.
1.3. Методы оценки социальных эффектов и бюджетной эффективности целевых программ.
Глава 2. Особенности современных подходов к оценке бюджетных целевых программ в Российской Федерации.
2.1. Анализ особенностей реализации программно-целевого бюджетирования в Российской Федерации.
2.2. Анализ методик оценки целевых программ в субъектах Российской Федерации.
Глава 3. Совершенствование методов оценки целевых программ.
3.1. Описание комплексной методики многоуровневой оценки целевых программ.
3.2. Система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ.
3.3. Система общих показателей и критериев оценки эффективности программ.
3.4. Методы оценки агрегированных показателей результативности программ.
Диссертация: введение по экономике, на тему "Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных бюджетов"
Современный этап бюджетной реформы государственного и муниципального управления определяет приоритеты совершенствования процесса планирования ассигнований и контроля реализации расходных полномочий. Ключевым вопросом совершенствования бюджетного процесса является разработка и внедрение эффективного инструмента достижения приоритетных целей страны, региона и муниципального образования. Согласно концепции реформирования бюджетного процесса в РФ, основными направлениями совершенствования системы планирования общественных финансов и исполнения полномочий государства и местного самоуправления являются: развитие системы перспективного финансового планирования; развитие программно-целевых методов бюджетного планирования.
Очевидно, что представленные приоритетные задачи предполагают создание результативных принципов бюджетирования. Однако, несмотря на реформирование бюджетной системы, в целом соответствующей общемировым тенденциям в управлении общественными финансами, в России все еще отсутствуют встроенные механизмы повышения эффективности государственных расходов. Преобладающий в настоящее время метод сметного планирования (на основе индексации сложившихся затрат по дробным позициям бюджетной классификации) имеет ряд недостатков: отсутствие стимулов к сокращению издержек и экономии бюджетных средств; недостаточная ориентированность на достижение конкретных результатов деятельности, так как при действующей системе финансируется факт существования объекта финансирования.
Основным направлением реформирования^ бюджетного процесса является переход «преимущественно к программно-целевым методам/ бюджетного планирования,, обеспечивающим прямую взаимосвязь между распределением бюджетных ресурсов и фактическими или планируемыми результатами их использования; в соответствии с установленными приоритетами государственной и муниципальной политики» [Г, стр.14].
При подготовке проекта бюджета в заявках, поступающих от отраслевых;органов.исполнительной власти, потребности^в. финансировании: основываются, как правило^ на корректировке объемов-.бюджетных средств, выделенных в предыдущем году, а не на количественно измеримых, социально значимых, фактических и ожидаемых результатах расходования бюджетных средств:
В значительной мере это относится- и к обоснованиям; целевых программ. : Несмотря на то,- что порядок разработки: и реализации, целевых программ предусматривает включение в; их обоснование ожидаемых конечных результатов реализации программных мероприятий; это требование нередко- выполняется- лишь формально: Результаты во многих , программах, сформулированы, таким образом,, что они не поддаются- или плохо поддаются точной количественной оценке. Плановые значения показателей, программ, в. этом- случае не позволяют судить о степени достижения их целей
Действующая система учета, отчетности и контроля исполнения: бюджета носит затратный характер, то есть позволяет оценивать главным образом, правомерность расходования бюджетных средств,, , а не результативность их использования; Не налажена и система; измерения социально-экономических; результатов бюджетного финансирования; Таким образом, программно-целевое бюджетирование внедряется для- преодоления : указанных недостатков, повышения- эффективности^ бюджетных расходов за счет их концентрации на наиболее важных, для? общества; направлениях. А в связи с тем,. что? специфика! указанного метода финансирования заключается; в необходимости наличия системы регулярного мониторинга и оценки, наиболее актуальным направлением развития исследований в сфере программно-целевого бюджетирования является создание и совершенствование существующих подходов к оценке и методов мониторинга.
Целью настоящего диссертационного исследования является теоретическое обоснование и разработка методики оценки эффективности финансирования расходных обязательств региональных и муниципальных бюджетов посредством программно-целевых методов, в рамках бюджетирования, ориентированного на результат.
Цель исследования конкретизируется в следующих задачах:
- анализ теоретических основ программно-целевого бюджетирования, в том числе подходов к оценке бюджетных целевых программ;
- систематизация методов оценки эффективности целевых программ на основе ведущего зарубежного опыта внедрения программно-целевого бюджетирования;
- анализ действующей российской модели программно-целевого бюджетирования в рамках преобладающей системы сметного планирования.
- анализ современных подходов к оценке целевых программ на основе соответствующих методик, принятых в субъектах РФ;
- выявление ключевых аспектов программно-целевого метода планирования, требующих адаптации для перехода к результативному бюджетированию;
- разработка предложений по совершенствованию методов оценки целевых программ;
- апробация разработанной методики оценки целевых программ в муниципальном образовании — городе Перми.
Предмет исследования — система оценки бюджетных целевых программ, в том числе индикаторы результативности и эффективности их реализации.
Объект исследования - целевые программы на примере города Перми.
Методы исследования — содержательный и формализованный анализ индикаторов оценки целевых программ, метод унификации и агрегирования показателей, метод оценки степени достижения целевых значений показателей.
Теоретической и научно-методической основой диссертационного исследования послужили труды российских и зарубежных ученых А. Аткинсона, Г. Хатри, Дж. Стиглица, Е. Мишана, Р. Мюсгрейва, А. Гарбера, С. Фелпса, П. Долана и Р. Эдлина, Л.И. Якобсона, М.П. Афанасьева, A.M. Лаврова, М.Ю. Гараджа, A.B. Глаголева и П.М. Кудюкина, а также нормативно-методические материалы РФ, Австралии, США, Голландии и т.д.
Эмпирической базой исследования являются проекты целевых программ г. Перми, представляемые к рассмотрению в трехлетнем бюджете 2009-2011 г., и отчеты о реализации действующих в городе целевых программ за 2006-2007 г.г.
Диссертационная работа состоит из введения, трех содержательных глав, заключения и приложений. В. первой главе диссертации отражены теоретические подходы к применению программно-целевого метода, обобщен опыт ведущих стран, представлены основные проблемные аспекты оценки целевых программ.
Диссертация: заключение по теме "Финансы, денежное обращение и кредит", Шакина, Елена Анатольевна
Заключение
В ходе проведения диссертационного исследования были получены некоторые значимые теоретические и прикладные выводы относительно предмета исследования — систем оценки целевых программ бюджетных расходов.
На основе обзора, проведенного в первой главе настоящего исследования, было определено следующее:
- Программно-целевое бюджетирование, являясь одним из методов реализации результативного подхода к бюджетному процессу, определяет специфические требования к системе оценки, среди которых можно выделить: многоуровневый характер системы и разнообразие используемых видов оценки; наличие четко определенных критериев оценки до начала ее проведения; учет в критериях оценки всех ключевых аспектов характеристики объекта (целевых программ); общедоступность информации о критериях оценки до начала ее проведения; высокая степень объективности процесса проведения оценки; непрерывный и регулярный процесс целевых программ и т.д.
- Оценку целевых программ целесообразно проводить на основе общих (универсальных) показателей на предварительной стадий и на основе частных показателей на промежуточной и конечной стадиях.
- Несмотря на многообразие целей и параметров оценки основным направлением анализа целевых программ является их эффективность (бюджетная эффективность). К основным общетеоретическим методам оценки эффективности программ относятся метод анализа издержек и выгод (СВА), метод анализа издержек и полезности (С11А), метод анализа издержек и результативности (СБА), а также многочисленные модификации последнего. При этом несмотря на многообразие методов оценки, каждый из них обладает рядом существенных ограничений в целях практического применения: сложность оценки социального эффекта в денежном выражении,, отсутствие учета предельных издержек на создание социального эффекта и т.д. . .
Во второй главе исследования на основе анализа нормативно-правовой базы, регламентирующей бюджетный процесс и определяющей основные направления бюджетных реформ, были выявлены особенности применения программно-целевого метода финансирования расходных обязательств и соответствующие им специфические требования, предъявляемые к системе оценки программ в РФ. К ключевым особенностям целевых программ,, реализуемых на территории РФ, можно отнести, следующие: особый статус целевых программ в поправках к Бюджетному кодексу в апреле 2007 г., появление долгосрочных программ, как метода реализации инвестиционной политики государства и местного самоуправления, неурегулированность вопроса относительно финансирования целевых программ и т.д.
В работе показано, что сложившиеся процедура и методология разработки и реализации целевых программ не; полностью соответствуют требованиям данного метода планирования: цели и ожидаемые результаты многих муниципальных целевых программ сформулированы без четких критериев и индикаторов оценки их достижения; значительная часть целевых программ ориентирована на функции, не относящиеся к компетенции Администрации соответствующего уровня; отсутствуют четкие процедуры финансового обеспечения; административная ответственность за реализацию той или иной программы в большинстве случаев размыта между несколькими органами исполнительной власти; отсутствуют эффективные инструменты мониторинга и оценки целевых программ. Последний вывод был подтвержден результатами проведенного анализа действующих методик оценки целевых программ в субъектах РФ.
В/настоящее время, в субъектах РФ принято не менее 40 методик оценки: целевых программ, большая часть из которых носит формальный характер; и не имеет реального опыта внедрения. Анализ: наиболее ярких примеров подходов к оценке целевых программ в некоторых регионах РФ
112
Пермский край, Калужская, Нижегородская, Самарская, Хабаровская, Ленинградская области и т.д.) вывил следующие ключевые недостатки применяемых методов оценки: направленность на оценку качества проектировки, а не на оценку эффективности программы; сложность интерпретации показателей, необоснованность выбора весов при оценке агрегированного показателя; высокая степень субъективности в присвоении баллов в ходе анализа проектов программ; отсутствие оценки эффективности (учета бюджетных расходов) программ; отсутствие сопоставимости оценок проектов при использовании частных показателей для оценки результатов, отсутствие информации о критериях оценки до момента ее проведения и т.д.
Проведенный анализ выявил необходимость совершенствования методов оценки целевых программ. В связи с этим в третьей главе диссертационного исследования автором предложена и апробирована (в рамках эксперимента, проводимого в 2006-2007 г. на базе городских целевых программ г. Перми) методика многоуровневой оценки целевых программ. Анализ, проведенный в работе, позволил определить структуру методики, состоящую из трех основных элементов:
- система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ;
- система показателей и критериев оценки эффективности программ для составления их рейтинга на предварительной стадии оценки;
- методы оценки агрегированных показателей результативности программ, применяемые на промежуточной и конечной стадиях оценки.
В работе определено, что система критериев отбора расходных полномочий, целесообразных к реализации в рамках целевых программ, позволяет исключить из рассмотрения мероприятия программы, обеспечивающие выполнение текущих функций органов исполнительной власти. Таким образом, исполнение целевых программ должно происходить за счет бюджета принимаемых обязательств, кроме того, критерием отнесения комплекса мер к реализации в рамках целевой программы может служить его инвестиционный характер, новизна и неповторимость.
Система общих показателей и критериев оценки эффективности программ применяется на предварительной стадии оценки программы и становится основой для ранжирования целевых программ. Использование ранжирования позволяет наиболее четко и очевидно определить приоритетные целевые программы, которые выносятся на рассмотрение утверждающего органа. В работе был сделан вывод, что в связи со спецификой программно-целевого метода реализации расходных полномочий государства и местного самоуправления, а именно с тем, что в программах четко определяются ожидаемые результаты ее завершения, оценка социального эффекта может опираться на прогноз данных результатов. Ожидаемые результаты целевых программ выражаются через планируемое изменение состояния целевой группы. Очевидно, что в данном случае значимость полученного социального эффекта можно оценить на основе приоритетности целевой группы программы, а также приоритетности ожидаемого изменения ее состояния. В работе было отмечено, что каждая из представленных характеристик ожидаемого результата может быть оценена до момента анализа программы по уровню ее относительной приоритетности, потенциальной эффективности и адекватности сложившейся ситуации. В работе предложена оригинальная методика формализованной оценки социального эффекта целевых программ. Это позволяет на основе метода СБА (издержки - эффективность) оценить бюджетную эффективность предлагаемых к -реализации программ, проранжировать их по уровню эффективности.
Анализ, проведенный в работе, показал, что на промежуточной и конечной стадиях оценки программы встает вопрос о качестве ее реализации для:
- необходимой корректировки финансовых средств, выделяемых на дальнейшую реализацию программы;
- формирования информационной базы относительно эффективных технологий реализации целевых программ.
В связи с тем, что на промежуточной и конечной стадиях оценки целесообразно оценивать результативность и эффективность конкретных целей, задач и мероприятий программы, в качестве инструментов анализа в работе предлагается применять частные показатели. Причем для оценки результатов достижения целей программы необходимо использовать показатели конечного эффекта, для задач - показатели частных конечных эффектов, а для мероприятий - показатели непосредственных результатов. При вынесении оценочного заключения относительно результативности и эффективности реализации программы встает вопрос о том, каким образом получить единую взвешенную характеристику, отражающую степень достижения целей программы, а также степень выполнения задач и мероприятий. Данный вопрос упирается в решение проблемы агрегирования совокупности показателей. В рамках предложенной методики оценки целевых программ предлагается проводить агрегирование на каждом из уровней иерархии показателей, определяя средневзвешенную величину отклонений фактических значений показателей от плановых. В качестве весов в работе рекомендуется использовать относительную стоимость каждого из мероприятий программы, так как данная характеристика косвенно отражает значимость соответствующих направлений расходования средств для бюджета. Данные оценки позволяют сделать очевидные выводы относительно успешности реализации программы, а также провести факторный анализ, имеющий высокую аналитическую ценность в системе оценки целевых программ.
Разработанная методика была апробирована в рамках эксперимента на базе целевых программ г. Перми в 2006-2007 г.г. (результаты эксперимента представлены в п.3.2-3.4. работы) и принята к внедрению в конце 2007 г. в Администрации г. Перми и г. Соликамска.
Диссертация: библиография по экономике, кандидата экономических наук, Шакина, Елена Анатольевна, Москва
1. Нормативные документы:
2. Концепция реформирования бюджетного процесса в Российской Федерации в 2004-2006 годах (одобрена постановлением Правительства РФ от 22 мая 2004 г. N 249 «О мерах по повышению результативности бюджетных расходов»).
3. Постановление администрации Тульской области № 303 от 27.06.2007 «О порядке разработки и реализации областных целевых программ».
4. Постановление губернатора Амурской области от 13.07.2006 № 380 «Об утверждении методики оценки областных целевых программ».
5. Постановление губернатора Калужской области от 02.02.2005 №33 «Об утверждении положения о порядке разработки, рассмотрения и реализации областных целевых программ».
6. Постановление Правительства Ленинградской области от 03.03.2006 № 54 «Об утверждении методических рекомендаций по оценке эффективности региональных целевых программ в Ленинградской области».
7. Постановление Правительства Нижегородской области от 27.06.2007 № 202 «Об утверждении методики оценки эффективности бюджетных целевых программ и корректировок предоставляемых бюджетных средств исходя из уровня достижения результатов».
8. Постановлением Думы Воронежской области от 22.12.2006 710-ГУ-ОД «Об областной целевой программе «Повышение безопасности дорожного движения в Воронежской области на период 2007 2012 годов».
9. Распоряжение Правительства Саратовской области от 01.03.2005 № 56-Пр «О методике оценки областных целевых программ».
10. Федеральный закон N 145-ФЗ от 31.07.1998 .Бюджетный кодекс РФ.1. Монографии и учебники:
11. Аткинсон Э.Б., Стиглиц Дж. Э. Экономика общественного сектора. — М., 1999.
12. Афанасьев М.П, Кривогов И.В. Модернизация государственных финансов. М.: ГУ-ВШЭ, 2006.
13. Бабич A.M., Павлова JI.H. Государственные и муниципальные финансы: Учебник. М.: Финансы - ЮНИТИ, 2002.
14. Берездивина Е.В., Елисеенко В.Ф., Жулин А.Б., Сивашева Н.М. Оценка эффективности использования бюджетных средств в части расходов на оказание бюджетных услуг. М.: Издательский дом ГУ ВШЭ, 2004.
15. Виленский П. Л., Лившиц В. Н., Смоляк С. А. Оценка эффективности инвестиционных проектов: Теория и практика.- М.: Дело, 2001.
16. Гараджа М.Ю. Мониторинг результативности бюджетных расходов: основные этапы внедрения на местном уровне. М.: Фонд «Институт экономики города», 2002.
17. Визгалов Д.В. Методы оценки муниципальных программ. М.: Фонд «Институт экономики города», 2004.
18. Емельянов А. М., Исакин М. А., Климова К. И., Марголина Т. И., Роженцова Е. В., Тотьмянина A.A., Шакина Е. А. «Механизмы управления системой профилактики и патроната социального сиротства». НО «Университетский фонд «Экономическая школа», Пермь, 2004.
19. Пермской области» / Администрация Пермской области Пермь, 2004.
20. Интегрированная информационная система социально-экономических показателей. Сборник статей под ред. A.B. Маракуева. - М.: ЦЭМИ РАН.-2001.
21. Никифоров С.М., Стрелец O.A. Бюджетирование, ориентированное на результат: проблемы и перспективы внедрения в российскую практику управления общественными финансами. М.: Фонд «Институт экономики города», 2006.
22. Смирнов С.Н., Сидорина Т.Ю. Социальная политика. Учебник для вузов -М.: ГУ ВШЭ, 2004.
23. Руководство по применению подхода, основанного на измерении эффектов и непосредственных результатов. (Outcomes and Outputs Framework. Guidance Document. Ministry of Finance and Administration of Australia, November 2000).
24. Руководство по управлению региональными и муниципальными финансами. Под ред. Лаврова A.M. M.: Минфин, 2007.
25. Хатри Г.П. Мониторинг результативности в общественном секторе. М.: ИЭК, 2005.
26. Человеческое развитие: новое измерение социально-экономического прогресса. Учебное пособие под общей редакцией проф. В.П. Колесова (экономический факультет МГУ) и Т. Маккинли (ПРООН, Нью-Йорк). М.: Права человека, 2000.
27. Эффективность оказания услуг в общественном секторе -бюджетирование по результатам: сравнительный доклад. ТАСИС, 2002.
28. О.Якобсон Л. И. Экономика общественного сектора: основы теории государственных финансов. М.: Аспект Пресс, 1996.
29. Якобсон Л.И. Государственный сектор экономики: экономическая теория и политика. М.: ГУ ВШЭ, 2000.
30. A Social Time Preference Rate for Use in Long-Term Discounting. OXERA a report for ODPM, DfT and Defra, 2002.
31. Atkinson A., Stiglitz J. Lectures on public economics. NY: McGraw-Hill, 1980.
32. Becker G.S. Human capital. New York: Columbia University Press, 1964.
33. Beltratti A. Models of Economic Growth with Environmental Assets. Dordrecht: Kluwer, 1996.
34. Cost-benefit analysis and the environment: recent developments. Executive summary. OECD 2006.
35. Cowell, F. Welfare Weights. Report to the UK Office of Fair Trading, 1999.
36. Dorfman R. Measuring Benefits of Government Investments. Washington D. C. The Brookings Institution, 1965.
37. Drummond M.F, Sculpher M.J., Torrance G.W., O'Brien B.J., Stoddart G.L. Methods for the Economic Evaluation of Health Care Programmes. Oxford University Press, 2005.
38. Frederick C. Mosher, Program Budgeting: Theory and Practice with Particular Reference to the U.S. Department of the Army. 80-81. Цит. no: GAO/AIMD-97-46 Performance Budgeting.
39. Gramlich E. Benefit-cost analysis of government programs. Englewood Cliffs, NJ: Prentice Hall, 1981.
40. Guidelines for the evaluation of public sector initiatives. Department of Treasury and Finance of UK, Initiative Evaluation Guidelines, 1997.
41. Handbook on Economic Analysis of Investment Operations. World Bank, 1996.
42. Hansen B.O., J.L.Hougaard, H.Keiding, L.P.Osterdal On the possibility of a bridge between CBA and CEA: Comments on a paper by Dolan and Edlin. Institute of Economics University of Copenhagen November 2002.
43. Hatry H.P. Performance Measurement. Getting Results. The Urban Institute Press, 1999.
44. Haughwout A.F. Public Infrastructure Investments, Productivity and Welfare in Fixed Geographic Areas. Federal Reserve Bank of New York, 2001.
45. Kahn A.J. Theory and Practice in Social Planning. New York: Russell Sage Foundation, 1969.
46. Lesourne, J. Cost-benefit Analysis and Economic Theory. North-Holland, Amsterdam, 1975.
47. Levin H.M. Cost-effectiveness: A primer, Beverly Hills, CA: Sage, 1983.
48. Managing for Results: Agency Progress in Linking Performance Plans With Budgets and Financial Statements. US GAO, 2002.
49. Managing for Results: The Statutory Framework for Performance-Based Management and Accountability. US GAO, 1998
50. Managing Public Expenditure: A Reference Book for Transition Countries / edited by Richard Allen and Daniel Tommasi. OECD Publications Service, 2001.
51. Mishan E. J. Cost benefit analysis. - London: George Allen & Unwin Ltd, 1984.
52. Minogue, M., «Changing the state: concepts and practice in the reform of the public sector», in Minogue, M., Polidano, C. and Hulme, D. (Eds), Beyond the New Public Management, Edward Elgar, Cheltenham, 1998.
53. Minogue, M., «The internationalisation of new public management», in McCourt, W. and Minogue, M. (Eds), The Internationalization of Public Management: Reinventing the Third World State, Edward Elgar, Cheltenham, 2001.
54. Monitoring and evaluating social programs in developing countries, Valadez J. and Bamberger M., ed. // Economic development institute of the World Bank Series. Washington D.C. : World Bank, 1997.
55. Musgrave R.A., Musgrave P.B. Public finance in theory and practice. New York: McGraw-Hill, 1989.
56. Patton M.Q. Utilization-Focused Evaluation. Thousand Oaks, CA: Sage Publications, 1997.
57. Performance Contracting: Lessons from Performance Contracting Case Studies. A Framework for Public Sector Performance Contracting. PUMA/PAC OECD,1999.
58. Results-Oriented Budget Practices in Federal Agencies. US GAO, 2001.
59. Richardson J. Cost-Utility Analysis: What Should be Measured; Utility, Value or Healthy Year Equivalents? University of Zurich, Switzerland. 1990.
60. Schaeffer M. Municipal Budgeting. The World Bank Municipal Finance Series,2000.
61. Schorr, Alvin L., and Baumheier E.C. Social Policy, pp. 1361-1363 in Morris R., Dana B., Classer P., Marks R., Rein M., Schrieber P., Encyclopedia of Social Work. New York: National Assosiation of Social Workers, 1971.
62. Scriven, M. The Logic of Evaluation. Inverness, CA: Edgepress 1980.
63. Spicker P. Social policy: themes and approaches. Prentice Hall, London, 1995.
64. Sugden, R. and Williams, A. H. The principles of practical cost-benefit analysis. Oxford University Press, Oxford, 1979.
65. The Green Book: Appraisal and Evaluation in Central Government, Treasury Guidance. London, 2003.
66. Vaclay F. Social Impact Assessment/ International Association for Impact Assessment Special Publication Series N2., 2003.
67. Weiss, C. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice-Hall Press. 1972.
68. Williams A., Giardina E. Efficiency in the Public Sector: the theory and practice of cost benefit analysis.-Great Britain: University Press, Cambridge, 1993.
69. Статьи в периодических источниках:
70. Архипов В. М.3 Окулова Е. Э. Оценка социальной составляющей инвестиционных проектов // Финансы и кредит. 2003. - №4 (118). - С. 15 - 19.
71. Афанасьев М.П. «Бюджетирование, ориентированное на результат» // Вопросы экономики. 2004. - №9. С. 130-139
72. Горемыкина JI.E. Принципы государственного контроля за исполнением бюджета// Финансы, № 12, 2005. С. 47-50
73. Колосницына М.Г. Экономика общественного сектора: государственные расходы. Цикл лекций. «Экономический журнал ГУ-ВШЭ», 2003, том 7, №3-С.231-257.
74. Кричевский Н., Лавров В. Что такое «социальные инвестиции»? / Проект института национальной стратегии//Агентство политических новостей, 2006.
75. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества. В сб. «Многомерный статистический анализ в социально-экономических исследованиях», М.: Наука, 1974, с.388-393.
76. Abu Elias Sarker. New public management in developing countries. Department of Business and Public Administration, University of Sharjah, Sharjah, United Arab Emirates. / International Journal of Public Sector Management Vol. 19 No. 2, 2006 pp. 180-203
77. Addison J.T., Stanley Siebert W. Recent Developments in Social Policy in the New European Union. Industrial and Labor Relations Review, Vol. 48, No. 1, 1994, pp. 5-27.
78. Bleichrodt, H., Quiggin, J. Life-cycle preferences over consumption and health: when is cost-effectiveness analysis equivalent to cost-benefit analysis? Journal of Health Economics 18, 1999, pp. 681-708.
79. Blum J. D.; Damsgaard A., Sullivan P.R. Cost-benefit analysis. Proceedings of the Academy of Political Science, Vol. 33, No. 4, Regulating Health Care: The Struggle for control. 1980, pp. 137-147.
80. Chapman, R. H., Stone, P. W., Sandberg, E.A., Bell, C., and Neumann, P.J. A comprehensive league table of cost-utility ratios and a sub-table of «Panel-worthy» studies. Medical Decision Making, 20, 2000, pp.67-451.
81. Diamond J. From Program to Performance Budgeting: The Challenge for Emerging Market Economies. IMF Working Paper WP/03/169, 2003.
82. Dolan, P., Edlin, R. Is it really possible to build a bridge between cost-benefit analysis and cost-effectiveness analysis? Journal of Health Economics 21, 2002,pp.827-843.
83. Donaldson, C., Mapp, T., Farrar, S., Walker, A., and Macphee, S. Assessing community values in health care: is the «willingness to pay» method feasible? Health care analysis, 5, 1997, pp.7-29.
84. Drummond, M.F. and Stoddart, G.L. Economic evaluation of health-producing technologies across different sectors: Can valid methods be developed? Health Policy, 33, 1995, pp.31-219.
85. Garber, A.M., Phelps, C.E. Economic foundations of cost-effectiveness analysis. Journal of Health Economics 16, 1997, pp.1-32.
86. Gerard, K. Cost-utility in practice: a policy maker's guide to the state of the art. Health Policy, 21, 1992, pp.79-249.
87. Goel V. and Detsky A. A cost-utility analysis of preoperative total parenteral nutrition. International Journal of Technology Assessment in Health Care, 5, 1989, pp.94-183.
88. Gramlich E.M. Infrastructure investment: a Review Essay. Journal of Economic Literature. - Sep., 1994.-Vol. 32. №3.-pp. 1176- 1196.
89. Hu T., Lee M. L. & Stromsdorfer E. W. Economic returns to vocational and comprehensive high school graduates. Journal of Human Resources, 1971, pp.25-50.
90. Kahn, A.J. & Kamerman, S.B. International aspects of social policy. In J. Midgley, M.B. Tracy & M. Livermore, The Handbook of Social Policy, 2000, pp. 479-492.
91. Maass A. Benefit Cost Analysis: its relevance to Public Investment Decisions. - The Quarterly Journal of Economics. - 1996. - Vol.80, No. 2. pp. 208 - 226.
92. Mishan E. J. Criteria for Public Investment: Some simplifying Suggestions// The Journal of political Economy. Vol.75, No.2, 1967. pp.139 146.
93. Prest R., Turvey R.: Cost-Benefit Analysis: A Survey, the Economic journal, Vol. 75, 1965, pp. 683-735
94. Sinclair, J., Torrance, G., Boyle, M., Horwood, S., Saigal, S., and Sackett, D. Evaluation of neonatal intensive care programs. New England Journal of Medicine, 305, 1981, pp.94-189.
95. Sjaastad L.A., Wisecarver D.L. The Social cost of public Finance. The Journal of Political Economy, Vol. 85, №3, 1977, pp. 513 - 548.
96. Электронные ресурсы 97. Бюджетирование, ориентированное на результат: международный опыти возможности применения в России. Центр фискальной политики.
97. Москва, 2002: Электронный ресурс. Режим доступа: http: //www, fp center, org/rus sian/res rus .html.
98. Проект Тасис «Содействие Министерству экономического развития и торговли»: Электронный ресурс. Режим доступа: http://www.tacis-medt.ru/budget.htm.
99. Бюджетирование, ориентированное на результат: цели и принципы. Экорис-НЭИ. 2002 г. Электронный ресурс. Режим доступа: http://www.ecorys.ru/data/sbr/l-POB-goals and Principles-14%20February 2003.pdf.
100. Performance Budgeting. Program Evaluation Division Office of the Legislative Auditor State of Minnesota, 1994: Электронный ресурс. -Режим доступа: http://www.auditor.leg.state.mn.us/ped/1994/perform.htm.
101. Performance Budgeting: Current Developments and Future Prospects. US GAO, 2003. : Электронный ресурс. Режим доступа^ http://www.gao.govAimd/Ggd-99-67
102. Performance-Based Program Budgeting in Context: History and Comparison. Office of Program Policy Analysis and Government Accountability, 1997: Электронный ресурс. Режим доступа: http://www.adb.org/Documents/Manuals/Govt Expenditure/default.asp