Инструментарий экспертизы инициативных научных исследований тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Инструментарий экспертизы инициативных научных исследований"

На правах рукописи

ЖИЛЯКОВА ЕЛЕНА ВИКТОРОВНА

ИНСТРУМЕНТАРИЙ ЭКСПЕРТИЗЫ ИНИЦИАТИВНЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ (на примере конкурсов Российского гуманитарного научного фонда)

Специальность 08 00 13 -«Математические и инструментальные методы экономики»

Автореферат диссертации на соискание ученой степени кандидата экономических наук

Москва-2008

003170031

Работа выполнена в отделе экономики Российского гуманитарного научного фонда (РГНФ)

Научный руководитель: доктор экономических наук, профессор

Староверов Олег Васильевич

доктор экономических наук, профессор Хрусталёв Евгений Юрьевич

Официальные оппоненты.

доктор экономических наук Орлова Елена Роальдовна

доктор экономических наук, профессор Афанасьев Михаил Юрьевич

Ведущая организация-

ГНУ «Экспертно-аналитический центр» Федерального агентства по науке и инновациям

Защита состоится « 16 » июня 2008 г. в 14 часов на заседании Диссертационного совета Д 002 086.01 при Институте системного анализа Российской Академии наук по адресу. 117312, г.Москва, проспект 60-летия Октября, д. 9 ауд 1206

С диссертацией можно ознакомиться в библиотеке Институте системного анализа РАН.

Автореферат разослан «•/» мая 2008 г.

Ученый секретарь

Диссертационного совета Д 002.08,6,01

кандидат экономических наук \ // ,, / ВН. Рысина

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Выбор данной темы был предопределен необходимостью перевода российской экономики на инновационный путь развития, что потребовало переосмысления роли и места науки в современном развитии общества, формирования и реализации новых подходов к интеграции науки и производственной сферы как основы обеспечения динамичного роста национальной экономики Рост бюджетного финансирования и практическое внедрение грантовой системы поддержки инициативных научных исследований в деятельности государственных научных фондов повышает их роль в развитии науки Создание грантовой системы финансовой поддержки инициативных научных исследований сегодня можно признать действительно полезным преобразованием в сфере государственного управления наукой за последние 15 лет

Актуальность проведенных исследований определяется также необходимостью дальнейшего развития действующей экспертной системы Российского гуманитарного научного фонда, инструментария экспертизы инициативных научных исследований и его адаптации к условиям финансирования последних в форме грантов

Степень разработанности проблемы Теоретические аспекты взаимодействий между государством, наукой и бизнесом и, в частности, роль и место государственного регулирования науки и инновационной деятельности широко изучаются как за рубежом, так и в нашей стране. К наиболее известным зарубежным исследователям в этой области относятся В. Баумоль, П. Друкер, Б -А Люндвалл, Дж Меткалф, Р Нельсон, К Павитт, П Пател, К Фримен, Й Шумпетер и др. В России теоретические исследования проблем формирования национальной инновационной системы, роли и места в ней науки, государственного управления научно-техническим развитием в последние годы так же развиваются и расширяются В числе наиболее авторитетных отечественных ученых, внесших значительный вклад в развитие данных вопросов - А Е Варшавский, С.Ю Глазьев, О.Г Голиченко, В.В Иванов, Н.И. Иванова, В В Иван-тер, Н И Комков, В Л Макаров, В С Циренщиков, С А Цыганов и др , чьи труды составили теоретико-методологическую основу диссертационного исследования

Современное развитие научных представлений о методах и формах государственного регулирования науки и формирования инновационной системы

з

характеризуется дискуссионной направленностью Вопросы научно-методического обеспечения экспертной деятельности, функционирования систем поддержки принятия решений, системной диагностики социально-экономических процессов и оценки их эффективности рассматриваются в трудах Л Г Евланова, О М Краснорядцевой, О И Ларичева, В Н Лившица, Д А. Новикова, А И Орлова, А Б. Петровского, О В Староверова, Е М Ста-чевой и др

Несмотря на существующий широкий спектр теоретических исследований и разработок по данной проблеме, многие прикладные вопросы, прежде всего, инструментального обеспечения экспертизы инициативных научных исследований остаются недостаточно разработанными Учитывая данные обстоятельства, были определена цель исследования, выбраны объект и предмет исследования, сформирован состав решаемых задач

Основной целью диссертационного исследования является разработка и научное обоснование инструментария экспертизы инициативных научных исследований, позволяющего эффективно расходовать направляемые на поддержку и развитие российской науки бюджетные средства Для достижения указанной цели в работе решаются следующие задачи

- обобщение опыта и систематизирование тенденции развития грантовой системы поддержки инициативных научных исследований в России и других странах,

- анализ существующих методов повышения обоснованности экспертизы инициативных научных проектов,

- определение особенностей использования и адаптирование возможности методов прикладной статистики применительно к экспертной системе Российского гуманитарного научного фонда,

- разработка концепции применения аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований и обоснования независимости экспертных оценок,

- построение структуры информационной системы, предназначенной для сбора и анализа конкурсной информации, определение состава подсистем, обеспечивающих ее функционирование,

- разработка информационно-аналитического инструментария для определения фактической степени независимости экспертных оценок;

- построение многокритериальной системы показателей формализации экспертной оценки инициативных научных исследований, реализованной в форме новой экспертной анкеты,

- разработка и программная реализация инструментального метода оценки качества инициативных научных исследований, позволяющего повысить обоснованность решений по их конкурсному отбору и объемам финансирования

Объектом настоящего исследования является грантовая система поддержки инициативных научных исследований в рамках конкурсов Российского гуманитарного научного фонда

В качестве предмета исследования определен процесс проведения экспертизы инициативных научных проектов гуманитарной направленности

Теоретической и методологической основой диссертационной работы послужили положения фундаментальных и прикладных исследований отечественных и зарубежных авторов по современной экономической теории, теории экспертных оценок, теории инновационной деятельности, системному анализу, экспертно-аналитическому моделированию, эконометрике, а также законодательные акты РФ, нормативные и инструктивные материалы Минобрнауки и Минфина РФ В процессе исследования применялись элементы теории искусственного интеллекта, разработки автоматизированных информационных систем, методический аппарат эконометрического и экспертно-аналитического моделирования, методы корреляционного, регрессионного, факторного и кластерного анализа с использованием пакета статистической программы Статистика 6 О

Новизна научных результатов исследования обусловлена комплексным анализом основных направлений финансовой поддержки гуманитарных инициативных научных проектов, обобщением отечественного и зарубежного опыта применения грантовой формы поддержки, что позволило предложить новое решение задачи совершенствования экспертизы научных проектов

В ходе исследования получены следующие результаты, содержащие элементы научной новизны

- формы и направления повышения качества и независимости экспертизы инициативных научных исследований в условиях грантовой системы их финансирования;

- многокритериальная система показателей формализации и стандартизация экспертной оценки инициативных научных проектов,

- новый инструментарий для определения независимости экспертных оценок при неизвестном распределении оценок экспертов;

- инструментальный метод оценки качества инициативных научных проектов, позволяющий повысить обоснованность решений их по поддержке и финансированию.

Теоретическая и практическая значимость исследования. Теоретическая значимость диссертационной работы определяется комплексным подходом и системностью анализа проблем финансовой поддержки государством научных исследований, постановкой и решением ряда принципиально новых задач в области экспертизы инициативных научных проектов, определяющих сущность и специфику процесса экспертизы применительно к деятельности Российского гуманитарного научного фонда

Практическая ценность результатов состоит в возможности использования разработанных подходов и алгоритма экспертизы в практической деятельности государственных научных фондов, осуществляющих финансовую поддержку инициативных научных проектов

Апробация и реализация результатов исследования. Результаты исследования были представлены автором в виде докладов и выступлений на российских научных конференциях по проблемам научно-технического развития, интеграции науки и образования, вопросам коммерциализации результатов научной деятельности, формированию государственной научной и инновационной политики в условиях переходного периода Среди них VI Всероссийский симпозиум по прикладной и промышленной математике (Кисловодск, 2006 г), VII Всероссийский симпозиум «Стратегическое планирование и развитие предприятий» (Москва, 2006 г) и др

Основные положения работы использовались в процессе экспертизы научно-исследовательских заявок на конкурсах РГНФ

Область исследования соответствует п. 2 4 «Разработка концептуальных положений использования новых информационных и коммуникационных технологий с целью повышения эффективности управления в экономических системах», п. 2 6 «Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности» Паспорта специальности 08 00 13

б

Публикации. По теме исследования опубликовано 6 работ, в том числе 2 - в ведущих рецензируемых научных журналах, рекомендованных ВАК, общим авторским объемом 2,5 п л

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы из 105 наименований и 9 приложений

II. ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснован выбор темы, ее актуальность, определены объект, предмет, цель и задачи исследования, сформулированы основные положения научной новизны полученных результатов и обоснована их практическая значимость

В первой главе работы «Поддержка инициативных научных проектов международный опыт, развитие в России, организационные формы» представлена оценка современного состояния научного потенциала России, проведено исследование международного опыта и организационных форм поддержки инициативных научных проектов, а также раскрыты особенности развития и поддержки инициативных научных исследований в нашей стране

Для России, вступившей на путь рыночных реформ в экономике и демократизации общественной жизни, проблемы сохранения и развитая научного потенциала имеют жизненно важное значение Однако в годы проведения реформ научный фактор был фактически исключен из числа стратегических государственных приоритетов Не улучшилась принципиально ситуация и в наши дни Сохраняются две негативные тенденции

1) рост затрат на НИОКР отстает от роста экономики в целом, следсгвием чего становится снижение наукоемкости ВВП,

2) сокращаются расходы на исследования в корпоративном секторе в основном за счет замещения этих средств быстрорастущими бюджетными вливаниями

Выявленные тенденции наглядно отражают данные табл 1 В условиях слабой коммерческой востребованности науки, федеральный бюджет остается основным фактором государственного регулирования на федеральном уровне (см табл 2)

Таблица 1

Структура сектора НИОКР в некоторых странах мира _

Страна Расходы на НИОКР Чис-ть исследователей, чел **

млрд долл США* Источники финансирования, % Исполнение, %

Компании Гос-во Компании ВУЗы Гос-во

США 343,747 64,9 35,1 70,3 14,3 15,4 1394682

Китай 144,037 69,1 30,9 71,1 9,2 19,7 1223756

Франция 42,518 52,5 47,5 63,4 18,1 18,5 204484

Россия 18,347 28,7 71,3 66,6 6,1 27,3 466253

Тайвань 16,307 66,9 33,1 67,0 11,4 21,6 88859

* - в пересчете по паритету покупательской способности ** - в пересчете по эквиваленту полной занятости

Фактическое отсутствие в 90-х годах развития науки в числе национальных стратегических приоритетов обусловило нестабильный и низкий уровень доли расходов на науку в федеральном бюджете, способствовало появлению устойчивых негативных тенденций развития всех составляющих научного потенциала страны

Таблица 2

Финансирование науки из средств федерального бюджета_

Годы Расходы по бюджету -всего, млрд руб В % к расходной части федерального бюджета (фактически)

1997 12,359 2,8

1998 11,158 2,2

1999 11,635 1,8

2000 17,095 1,8

2001 22,094 1,7

2002 32,897 1,7

2003 35,500 1,7

2004 46,000 2,2

2005 56,000 2,4

2006 71,700 2,6

2007 89,000 2,9

В современных условиях ситуация стала меняться в лучшую сторону. Объемы бюджетного финансирования развития науки приведены в табл 3

Это свидетельствует об отнесении развития науки и технологий к высшим государственным приоритетам и подтверждает необходимость усиления государственной поддержки науки, увеличения ее финансирования из федерального бюджета Однако одно усиление государственной поддержки науки не может обеспечить развитие научного потенциала страны Одновременно должны быть приняты меры по совершенствованию организации использова-

s

ния научного потенциала Для достижения поставленных целей требуется в частности решить следующие задачи-

1) добиться ориентации научных исследований на конечный результат;

2) увеличить приток молодых кадров в научную сферу,

3) увеличить долю грантовых программ финансирования инициативных научных исследований и повысить их эффективность

Таблица 3

Перспективы бюджетного финансирования развития науки_

Показатели Годы

2008 2009 2010

Финансирование научных исследований и экспериментальных разработок гражданского назначения (млрд руб) 110,0 136,5 170,1

То же (в % к расходной части федерального бюджета) згз 3,6 4,0

Некоторые проблемы, аналогичные российским, испытывают и те страны, которые принято относить к экономически развитым. США, Великобритания, Германия, Франция, Италия, Канада, Япония, а так же Финляндия, как общепризнанный мировой лидер в части перехода от сырьевого экономического уклада к «экономике знаний», и Китай, динамично реформирующий структуру и финансирование фундаментальных исследований Но исследовательская активность в этих странах остается значительно более высокой, чем в России (см табл 4)

Таблица 4

Исследовательская активность стран в период с 1996 по 2006 гг

Страна Число ссылок (цитат) Число опубликованных статей

США 37 822 213 2 831 004

Великобритания 7 565 163 643 557

Германия 7 497 007 723 435

Япония 6 298 466 771 573

Франция 5 171 849 522 015

Канада 4 194 095 383 199

Китай 1 480 743 400 917

Россия 1 019 009 280 460

Одним из основных способов финансирования инициативных научных исследований на Западе являются гранты Система финансирования инициативных научных исследований в форме грантов, осуществляемого государством или частными фондами, по-видимому, является наиболее совершенной и вполне адекватной современным условиям формой поддержки и управления научными исследованиями В настоящее время в мире насчитывается свыше

100 тысяч фондов, совокупные средства которых составляют более 100 млрд долларов Их задача - оказание безвозмездной материальной помощи различным организациям и частным лицам в тех случаях, когда государство не в состоянии этого сделать.

Формирование аналогичных форм поддержки научных исследований в России только начинается В последние годы кроме государства появился еще один субъект, начинающий влиять на состояние научно-технических разработок - это частное предпринимательство. Но доля российских и зарубежных частных компаний в финансирования НИОКР пока еще очень мала

В России для подавляющего большинства ученых-исследователей поддержка инициативных исследований в форме грантов пока еще является новым и не всегда доступным делом А те из них, кто сумел добиться финансирования своих научных исследований, пользуются преимущественно бюджетными средствами, распределяемыми через государственные структуры в лице фондов Важность существования государственных организаций, поддерживающих науку, осознается и обществом и правительственными структурами. К числу государственных структур, осуществляющих поддержку инициативных научных исследований на бюджетные средства относятся- Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ), Российский фонд технологического развития (РФТР) и др Создание государственных научных фондов в России дало мощный импульс развитию института независимой экспертизы При этом сами фонды и являются, прежде всего, экспертными системами.

Во второй главе работы «Методическое обеспечение экспертизы инициативных научных проектов в Российском гуманитарном научном фонде» проведен анализ современного этапа развития теории экспертных оценок и методического обеспечения экспертизы инициативных научных исследований Экспертная система Фонда имеет иерархический характер, что проявляется в способе ее формирования, в разделении функций и полномочий, в технологии работы всех ее звеньев В экспертной системе Фонда можно выделить три подсистемы, соответствующие трем уровням экспертизы Основание экспертной пирамиды составляет корпус экспертов первого уровня, осуществляющих первичную экспертизу и рецензирование заявок и отчетов по проектам Это наибо-

лее многочисленная прослойка известных в стране ученых, членство которых в составе экспертной системы Фонда с определенной периодичностью (от 3 до 5 лет) подвергается ротации. Второй уровень экспертной системы Фонда представлен 6-ю Экспертными советами, в компетенцию которых входит выработка рекомендаций по заявкам и отчетам Окончательное решение по всей совокупности заявок и отчетов принимает Совет Фонда (третий уровень экспертной системы), который является высшим экспертным органом всей системы экспертизы Совет Фонда определяет стратегию развития и основные направления деятельности Фонда, состав и структуру проводимых конкурсов, размеры ассигнований по научным направлениям и осуществляет контроль над правильностью их распределения и расходования Совет Фонда утверждает результаты конкурсов и нормативные документы, регламентирующие деятельность Фонда Экспертиза проектов и выработка рекомендаций для совета Фонда осуществляются последовательно в два этапа На первом этапе каждый проект рассматривается двумя независимыми экспертами На втором этапе проекты проходят экспертизу в Экспертных советах по направлениям науки Результаты экспертизы утверждаются Советом Фонда Экспертная система Фонда является основным звеном, обеспечивающим его функционирование Она позволяет Фонду решать стоящие перед ним задачи, но в ее деятельности имеется ряд недостатков Среди них можно выделить недостаточную формализацию оценочных характеристик проектов, преобладание качественных характеристик в оценке проекта, слабую информатизацию процесса экспертизы, что в условиях ее многоуровневости приводит к большому объему ручной обработки анкет

Для выявления основных направлений совершенствования экспертной системы РГНФ в работе был проведен краткий анализ современного этапа развития теории экспертных оценок и теории систем поддержки принятия решений В результате анализа было установлено, что применение различных методов экспертных незаменимо при решении сложных задач оценивания и выбора научных проектов, при анализе и прогнозировании оценки инициативных проектов при большом числе значимых критериев оценивания, а так же в ситуации, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных экспертов

В нашем исследовании использовались математико-статистические методы Среди которых можно выделить методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы. Современные экспертные исследования опираются на использовании методов математической статистки и информационных технологий Учитывая это, особое внимание в работе уделяется принципам построения и особенностям функционирования информационной системы РГНФ (ИС РГНФ), которая представляет собой прикладную систему, построенную на современной клиент-серверной технологии, обеспечивающей надежность хранения данных, наращивание вычислительных мощностей и объемов хранимой информации Ее структура и основные информационные потоки приведены на рис 1.

Рис 1. Структура и основные информационные потоки ИС РГНФ

На рис 2 представлены подсистемы, обеспечивающие эффективное функционирование ИС РГНФ.

В ходе исследования выявлены широкие возможности ИС РГНФ для оперативной статистической обработки информации о протекании конкурсного процесса, которые практически не используется для анализа результатов экспертизы и обоснования достоверности экспертных оценок

В третьей главе работы «Инструментарий экспертизы инициативных научных исследований в Российском гуманитарном научном фонде» представлено обоснование разработки инструментария экспертизы инициативных научных исследований в РГНФ Получение достоверных оценок качества заявок является важнейшей проблемой, которая стоит как перед экспертами первого уровня, так и перед экспертными советами

Методическое обеспечение

Требования в ЭИС в соответствии с разработанным проектом системы

Математическое обеспечение

Стандартное математическое обеспечение

Обработка информации в ЭИС

Базы Локальные

данных постановки

ЭИС задач

Информационное обеспечение

Входная информация Нормативная информация Выходная информация

Заявки, запросы Пользователей и др Справочники, словари, классификаторы и др Решения советов, финансовые документы и др

Материально-техническая база

Техническое обеспечение Программное обеспечение

Серверы DL360 - 3 шт , Пользовательские станции на базе компьютеров Pentium-4 - 5 шт, Celeron - 15 шт, Pentium-2 - 10 шт , Lotus Notes, DELPHI и др

Рис 2 Состав обеспечивающих подсистем ИС РГНФ

Исходя из возможности применения системных представлений при организации сложных экспертиз, автором для оценки эффективности инициативных

проектов были сформулированы следующие требования к шкалам измерения и к количественным характеристикам показателей

1) необходимо использовать комплексные оценки опыта,

2) выбранные измерители должны позволять анализировать научное знание в его динамике,

3) при осуществлении измерений следует учитывать, что конечные результаты инициативных научных исследований носят неопределенный характер;

4) при выборе измерителей целесообразно учитывать косвенный характер оцениваемых параметров,

5) критерии оценок необходимо формировать, исходя из общесистемного оптимума

Реализация системного подхода в ходе проведения экспертизы заявок осуществляется через определение

- компонентов, составляющих заявку, как некоторую систему,

- структуры (внутренней формы работы), определяющей способ взаимодействия составляющих ее компонентов Она зависит от характеристик компонентов системы (заявки), связывает и преобразует их, придавая целостность и законченность работе, обусловливает возникновение новых качеств, не присущих отдельным компонентам,

- функциональной «нагруженности» заявки и ее составляющих, которая должна иметь целесообразный характер, согласовываться с общим построением, последовательностью ее изложения,

- коммуникативных свойств научной работы, определяющих связи исследования с окружающей его средой

В современных условиях при использовании экспертных методов может возникать необходимость определения независимости экспертных оценок и степени их согласованности, проверки совпадения неизвестных распределений полученных оценок и их статистической зависимости, получения оценок компетентности самих экспертов, а также решения ряда других задач Практика показала, что при осуществлении экспертизы инициативных научных исследований (их ранжировании) эксперты обычно расходятся во мнениях. Для получения количественной меры согласованности мнений экспертов и более обоснованных причин расхождения мнений используются дисперсионный и энтропийный коэффициенты конкордации. Сравнительная оценка этих коэффициентов показала, что они дают примерно одинаковую оценку согласованности экспертов При определении зависимости между ранжировками двух экспертов мерой взаимосвязи может служить коэффициент ранговой корреляции В этом случае характеристикой взаимосвязи множества ранжировок будет являться матрица коэффициентов ранговой корреляции, в качестве которых можно ис-

пользовать известные коэффициенты ранговой корреляции Спирмена или Кен-далла.

Основным результатом нашего исследования явилась модель оценивания проектов и ее практическая апробация на примере конкурса заявок 2008 года по одной из секций отдела экономики. Основное уравнение модели представлено ниже

(1)

где т] - оценка качества £ проекта, а - отражает, как проект представлен в заявке, а также строгость и осторожность эксперта, г - расхождение в оценке (из-за недостаточной компетентности эксперта или небрежности оформления заявки)

Проекты могут иметь пять градаций качества: 1 - очень низкое, 2 - низкое, 3 - среднее, 4 - высокое и 5 - очень высокое Если в модель экспертной оценки подставить номера £ градаций качества вместо его самого, то в идеальном случае имелось бы а=\ и 0 Однако такого быть не может Более того, остается неизвестным параметр а, но о последствиях этого скажем несколько позднее. В силу изложенного становится ясно, что известные экспертные оценки - это случайные величины, зависящие от числа заявок разного качества д, (/=1,2, ,и), доля которых также неизвестна. Таким образом, в силу любого значения а, неизвестного значения х и произвольных ошибок е у эксперта складывается мнение, которое он высказывает в виде пята уже упомянутых градаций, т е он приводит округленную величину с неизвестной ошибкой округления Отсюда при предположении, что а у разных экспертов одинаковы, получаем оценки х, и у, для каждой заявки

а* (/=1,2,.. ,п) - для первого эксперта, (2)

y,=ccxqt+E,2 (/=1,2, ,п) - для второго эксперта (3)

Предположение, что ошибки экспертов e¡¡ и e¡2 для разных проектов и разных экспертов независимы и одинаково распределены, потребовало решение задач проверки 1) независимости оценок экспертов при любом распределении проектов по их качеству; 2) совпадения неизвестных распределений полученных оценок; 3) статистической зависимости экспертных оценок проектов В качестве методов их решения использовались критерии согласия £ и ранговые коэффициенты корреляции Исходные результаты экспертизы проектов представлены в табл 5 Гипотеза Н0 состоит в том, что оценки независимы. Ожидаемые частоты при справедливости независимых оценок были рассчитаны в соответствии с критерием согласия ^ Они приведены в табл 6 и сравниваются с наблюдаемыми частотами табл 5

Таблица 5

Количество оценок (по номерам) у двух экспертов_

Оценки второго эксперта Оценки первого эксперта Итого проектов у второго эксперта

5 4 3 2

5 17 8 3 3 31

4 11 7 4 2 24

3 5 7 7 1 30

2 1 4 3 3 11

Итого проектов у первого эксперта 34 26 17 9 86

Таблица 6

Ожидаемые частоты пар оценок_

Номера оценок

второго первого эксперта

эксперта 5 4 3 2

5 12,225 9,372 6,128 3,244

4 9,488 7,255 4,744 2,511

3 7,906 6,046 3,953 2,093

2 4,348 3,325 2,174 1,151

Проверим выдвинутую гипотезу с уровнем значимости а = 0,05 Для этого нужно найти число степеней свободы т = (г-1)х(^-1) и результат вычислений статистики с помощью таблиц 7 и 8 В нашем случае г = 4, з = 4, т = (4-1)х(4-1) = 9 и/ = 14,2573 При уровне значимости а = 0,05 при числе степеней свободы т = 9 находим по таблице критическое значение критерия ^ (9, 0,05) = 16,92 Таким образом, £ = 14,25 (9, 0,05), и нулевая гипотеза Но о независимости оценок подтверждается даже тогда, когда строгость подхода (параметр а) неизвестна и ошибки экспертов распределены по-разному

Для подтверждения предположения об эквивалентности экспертов также использован критерий согласия ^ Из одинаковости распределений оценок не следует эквивалентности экспертов. Данные для проверки гипотезы о равенстве двух функций распределения в случае двух экспертов представлены в табл 7.

Таблица 7

Данные для проверки равенства распределений для 2-х экспертов

Эксперты Число выставленных экспертами оценок Всего наблюдений у каждого эксперта

5 4 3 2

Первый 34 26 17 9 86

Второй 31 24 20 11 86

Итого 65 50 37 20 172

Из таблиц 7 и 8 следует, что критерий согласия ^ = 0,8002 Критическое значение распределения, допускающее ошибку 5%, (т, 0,05) с числом степеней свободы т = (г-1)х(л-1) = (2-1)х(4-1) = 3, равно / (3, 0,05) = 10,127 Поэтому ^ = 0,8002 < (3; 0,05) = 10,127, что свидетельствует о согласовании статистических данных со сделанными ранее предположениями, т е. гипотеза об одинаковости оценок экспертов подтверждается Таким образом, расчетные значения критерия согласия £ согласуются с предположениями о том, что мнения экспертов независимы и эксперты одинаковы

Таблица 8

Ожидаемые частоты появления оценок_

Эксперты Оценки каждого эксперта

5 4 3 2

Первый 32,5 25 18,5 10

Второй 32,5 25 18,5 10

Исследование тесноты связи оценок экспертов с помощью ранговых коэффициентов Спирмена (г) и Кендалла (I) позволяет сделать вывод о том, что эксперты проводили свои оценки одинаково объективно и независимо друг от друга Применяя данную модель к экспертной системе Российского гуманитарного научного фонда, необходимо учитывать следующие обстоятельства экспертизы реально экспертов в каждой секции не два, а значительно больше, поэтому число оцениваемых ими проектов несравнимо с общим количеством поступивших заявок, расчеты выполнялись без учета относительной «силы» каждого эксперта, в случае попадания к одному эксперту более «качественных» заявок, а к другому - откровенно слабых, может возникать ситуация, когда второй эксперт будет рекомендовать обязательно поддержать проекты менее качественные Учитывая это, автором разработан и предложен новый инструментарий проведения экспертизы инициативных научных проектов в форме экспертной анкеты, включающей 64 критерия оценивания и шкалу экспертной оценки

Для выявления влияния критериев оценивания на экспертную оценку инициативного научного проекта была построена регрессионная модель, в которой в качестве зависимой переменной используется оценка эксперта, а в качестве независимых переменных - 64 показателя анкеты В работе использовалось уравнение линейной регрессии следующего вида

У = а + Ь,х, + Ь2х2+ +Ьтхт + £ (4)

где У - оценка эксперта, х1, , хт - критерии оценивания анкеты, Ь[, ,Ьт-коэффициенты регрессии (вес), а - свободный член уравнения, е - «ошибка» модели

В целях построения статистически надежного уравнения множественной регрессии число выбранных случаев составило 664 При построении уравнений множественной регрессии основным этапом являлся отбор наиболее существенных качественных критериев оценивания содержания проекта, влияющих на оценку эксперта Была использована стратегия шагового отбора, реализованная в алгоритме пошаговой регрессии. Применялось две схемы отбора В соответствии с первой схемой качественные характеристики анкеты включались в уравнение в том случае, если это включение существенно увеличивало значение множественного коэффициента корреляции, что позволило последовательно отбирать факторы, оказывающие существенное влияние на оценку эксперта Первым в уравнение включается фактор^ наиболее тесно коррелирующий с оценкой эксперта, вторым в уравнение включается тот фактор, который в паре с первым из отобранных дает максимальное значение множественного коэффициента корреляции, и т д Существенно, что на каждом шаге получают новое значение множественного коэффициента (большее, чем на предыдущем шаге), тем самым определяется вклад каждой качественной характеристики анкеты в объясненную дисперсию оценки эксперта В результате регрессионного анализа, полученная модель включала 46 независимых переменных, наиболее значимых из числа влияющих на экспертную оценку инициативного научного проекта Коэффициент детерминации составил 81% Вторая схема пошаговой регрессии основывалась на последовательном исключении качественных критериев анкеты с помощью /-критерия Из модели исключают фактор, коэффициент при котором незначим и имеет наименьший коэффициент доверия / После этого получают новое уравнение множественной регрессии и снова производят оценку значимости всех оставшихся коэффициентов регрессии Процесс исключения факторов останавливается на том шаге, при котором все регрессионные коэффициенты значимы. С уровнем значимости в р<0,001 из 46 независимых переменных были выделены 21 наиболее значимых переменных - ядро, оказывающих наиболее существенное влияние на экспертную оценку Коэффициент детерминации практически не изменился и составил 78% (см. табл 9)

Таблица 9

Модель регрессии экспертной оценки (обратный пошаговый анализ, N=664)

Критерии оценивания Вес Стандарт, ошибка веса í(664) Уровень значимости

Свободный член уравнения а 2,884 0,151 19,099 0,000

4 содержание не соответствует условиям конкурса -0,527 0,142 -3,705 0,000229892

8 не имеет фундаме!ггального характера -0,262 0,051 -5,158 <0,0001

12 научная новизна в постановке задачи несущественна -0,513 0,077 -6,686 <0,0001

13 нмест прикладное значение -0,231 0,065 -3,545 0,000421122

14 не имеет прикладного значения -0,386 0,099 -3,890 0,000110846

15 ожидаемые результаты внесут значительный вклад в современную науку 0,642 0,089 7,190 <0,0001

17 ожидаемые результаты внесут определенный вклад в современную науку 0,257 0,074 3,488 0,000519068

18 ожидаемые результаты не имеют научной значимости -0,341 0,097 -3,509 0,000480479

26 тема не относится к приоритетным направлениям -0,270 0,060 -4,492 <0,0001

27 проблема исследования сформулирована впервые 0,397 0,070 5,668 <0,0001

35 цели и задачи исследования определены нечетко -0,351 0,070 -5,035 <0,0001

36 методы исследования обоснованы 0,525 0,084 6,259 <0,0001

37 методы исследования не обоснованы 0,504 0,105 4,788 <0,0001

43 выполнение исследования в указанные сроки реально 0,321 0,050 6,466 <0,0001

44 сроки выполнения завышены 0,424 0,111 3,828 0,000142077

47 конкретный план работ отсутствует -0,387 0,079 -4,916 <0,0001

48 публикация научных результатов предусмотрена 0,380 0,113 3,362 0,000819106

49 публикация научных результатов не предусмотрена 0,897 0,210 4,273 <0,0001

50 имеется опыт реализации грантов РГНФ 0,149 0,041 3,661 0,000271683

65 имеется опыт реализации грантов РФФИ 0,294 0,048 6,091 <0,0001

66 смета по проекту занижена 0,678 0,081 8,412 <0,0001

Диаграмма позитивного и негативного влияния критериев оценивания в модели регрессии экспертной оценки представлена на рис. 3. Модель включает критерии, повышающие экспертную оценку научного проекта, и критерии, понижающие экспертную оценку.

Модель регрессии аля экспертной оценки

3,00п 2,50 2,00 1,50-

ес влияния 1.000,500,00-0.50

Ко 4 8 12 13 14 15 17 18 26 27 35 36 37 43 44 47 48 49 50 65 66

!□ Вес переменной 2.8 -0.5 -0.2 -0.5 -0.2 -0.3 0.6 0.2 -О.З -0.2 0,4 -О.З 0.5 0.5 0.3 0.4 -0,3 0,3 0,9 0.1 0.2 0.6

№ показателей анкеты

| а Вес переменной |

Рис. 3. Диаграмма влияния критериев оценивания в модели регрессии экспертной оценки

Для эмпирического подтверждения модели был использован метод дис-криминантного анализа. С его помощью проверялось соответствие теоретического (прогнозируемого на основе модели регрессии) реальному эмпирическому распределению экспертных оценок Результаты классификации представлены в табл. 10 Они показывают достаточно высокий показатель прогноза экспертной оценки на основе предлагаемой модели Отметим, что самый высокий процент совпадения получен для тех оценок проектов, вероятность решения о поддержки их финансирования которых максимальна

Таблица 10

Классификация экспертных оценок на основе модели регрессии

Экспертная оценка 5 4 3 2 % совпадения теоретической и эмпирической классификации оценок

5 211 42 3 0 82,4

4 39 134 16 2 70,2

3 3 29 96 12, 68,6

2 0 4 20 53 68,8

Всего 253 209 135 67 74,4

В работе для выявления групп качественных характеристик анкеты, схожих по влиянию на экспертную оценку инициативного научного проекта использовался кластерный анализ, с помощью которого в исходных многомерных данных были выделены два однородных подмножества, качественные характеристике внутри которых оказывают разнонаправленное влияние на оценку эксперта. Результаты кластерного анализа для 21 независимой переменной пред-ставленырис 4_

Группирование 21 критерия модели экспертного оценивания

44

18 8 26 14 12

35 37

47 13 17

36 43

49

50

65 16 27

48

66

0,0

Ь-

15 2 0

Дистанция

4,0

Рис 4. Представление варианта кластерного анализа

Группировали переменные по характеру их влияния на экспертную оценку В первую группу вошли критерии оценивания, понижающие, а во вторую -повышающие экспертную оценку научного проекта Данный результат позволил предположить возможность «объективирования» экспертных оценок через построение специальной, дополнительной технологии анализа критериев оценивания, используемых экспертом С целью разработки объективной шкалы оценки проекта на основе выделения объективных параметров оценивания была разработана процедура ее построения Содержательно она представляла «калибровку» используемой экспертом системы критериев оценивания проекта по шкале оценок 2-3, 4, и 5 баллов, то есть выделения системы критериев оценивания, описывающих стратегию выставления экспертной оценки в 3, 4 и 5 баллов Это осуществлялось с помощью поэтапного анализа экспертных оценок на основе, разработанной нами и описанной выше модели оценивания Задачи первого этапа включали доказательства существования подобных стратегий оценивания Для этого вся выборка экспертных оценок подверглась разбиению по частоте использования критериев оценивания с помощью кластерного анализа (техника /С-средние) В результате было выделено три группы используемых критериев, названных нами стратегией принятия решения об итоговой оценке проекта (см таблП)

Таблица 11

Частота использования критериев оценивания в зависимости

от стратегии оценки

№№ Критерии оценивания Стратегия №1 Стратегия №2 Стратегия №3

4 содержание не соответствует условиям конкурса 0,01 0,00 0,08

8 не имеет фундаментального характера 0,33 0,05 0,74

12 научная новизна в постановке задачи несущественна 0,09 0,00 0,95

13 имеет прикладное значение 0,84 0,77 0,69

14 не имеет прикладного значения 0,05 0,02 0,22

15 ожидаемые результаты внесут значительный вклад в совр науку 0,01 0,92 0,00

17 ожидаемые результаты внесут определенный вклад в совр науку 0,95 0,03 0,10

18 ожидаемые результаты не имеют научной значимости 0,00 0,00 0,26

26 тема не относится к приоритетным направлениям исследований 0,14 0,00 0,53

27 проблема исследования сформулирована впервые 0,09 0,21 0,03

35 цели н задачи исследования определены нечетко 0,04 0,08 0,75

36 методы исследования обоснованы 0,90 0,98 0,32

37 методы исследования не обоснованы 0,03 0,00 0,61

43 выполнение исследования в указанные сроки реально 0,81 0,63 0,53

44 сроки выполнения завышены 0,00 0,00 0,22

47 конкретный план работ отсутствует 0,02 0,04 0,36

48 публикация научных результатов предусмотрена 0,95 1,00 0,93

49 публикация научных результатов не предусмотрена 0,02 0,00 0,00

50 имеется опыт реализации грантов РГНФ 0,58 0,56 0,31

65 имеется опыт реализации грантов РФФИ 0,66 0,89 0,37

66 смета по проекту занижена 0,12 0,01 0,04

Графическая интерпретация результатов кластерного анализа отражена на

рис 5

Средние значения показателей в стратегии экспертного оценивания

1,1 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 -0,1 -0,2

13 15 18 27 36 43 47 Показатели экспертной анкеты

49 50

Рис 5 Результаты кластерного анализа

Задачи второго этапа включали определения различий стратегии по уровню итоговой оценки На основе однофакторного дисперсионного анализа были выявлены статистические значимые ( на уровне р<0, 001) различия в итоговой оценки проекта в зависимости от выделенных стратегий (см табл 12)

Таблица 12

Итоговая оценка проектов при использовании разных стратегий

Нижний Верхний

Стратегии Экспертная оценка Стандартное откл квартиль Медиана квартиль

№1 4,25 0,72 4 4 5

№2 4,75 0,56 5 5 5

№3 2,57 0,60 2 3 3

Используя показатели табл 12 можно сделать вывод, что при использовании первой стратегии оценивания научного проекта уровневая оценка равна 4, то есть проект может быть поддержан. При использовании второй стратегии оценивания научного проекта уровневая оценка равна 5, то есть проект заслуживает безусловной поддержки. При использовании третьей стратегии оценивания научного проекта уровневая оценка равна 3 - проект не заслуживает поддержки Использование полученных автором результатов отражено в анкете путем введения трех уровневых оценок А - высокий, В - средний, С - низкий Таким образом, наряду с итоговой оценкой проекта, выставляемой экспертом, нами была доказана возможность получать более беспристрастную итоговую оценку на основе используемых им критериев оценивания, то есть фактически объективировать экспертизу проекта

Сравнительный анализ предложенных автором показателей экспертной анкеты с показателями действующей экспертной анкеты подтвердил более высокую качественную обоснованность уровня экспертных оценок, получаемых при использовании предложенного автором инструментария экспертизы инициативных научных проектов

В заключении приведены основные теоретические, методические и практические результаты исследования

III. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

В результате исследования получено новое решение задачи экспертной оценки инициативных научных проектов на основе совершенствования инструментария обработки результатов экспертизы

1 Выполнен анализ развития грантовой системы поддержки инициативных научных исследований в России и других странах, обобщен имеющийся опыт и систематизированы наблюдаемые тенденции

2 Изучены существующие методы повышения обоснованности экспертизы инициативных научных проектов, предложены перспективные направления их совершенствования

3 Выявлены особенности грантовой формы поддержки инициативных научных исследований и обоснована необходимость ее дальнейшего развития при условии одновременного повышения качества экспертной оценки научных проектов.

4 Выявлены особенности функционирования и обоснованы принципы построения информационной системы РГНФ, которая представляет собой сложный программно-аппаратный комплекс, построенный на современной клиент-серверной технологии, обеспечивающей накопление, модификацию и аналитическую обработку конкурсных данных

5 Предложены варианты адаптации методов прикладной статистики применительно к экспертной системе Российского гуманитарного научного фонда Разработана концепция применения аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований и обоснования независимости экспертных оценок

6 Построена многокритериальная система показателей формализации экспертной оценки инициативных научных проектов, которая реализована в форме новой экспертной анкеты

7 Разработан инструментарий для определения фактической степени независимости экспертных оценок при проведении экспертизы инициативных научных проектов, позволяющий подтвердить достоверность оценок экспертов

8 Разработан и программно реализован интегрально-инструментальный метод оценки качества инициативных научных исследований, позволяющий повысить обоснованность решений Совета Фонда по их конкурсному отбору и объемам финансирования.

Основные результаты диссертации опубликованы в следующих работах.

В научных изданиях, рекомендованных ВАК

1 Денисов В И , Жилякова Е В Грантовая поддержка инициативных научных исследований // Экономическая наука современной России, 2004, № 4, с 24-53 (0,6 п.л / 0,4 п л)

2 Жилякова Е В Методы экспертной обработки по принципу согласованности с оценками большинства // Обозрение прикладной и промышленной математики, 2006, том 13, Вып 3, с 532-534 (0,2 п л )

В других научных гаданиях

3 Жилякова Е В Опыт поддержки инициативных научных исследований за рубежом и в России // Проблемы действующих хозяйствующих субъектов современной России / Межвузовский сборник научных трудов. Вып. 2 - С-Пб • Издательский дом Герда, 2004, с 249-253 (0,2 п л )

4 Хрусталев Е Ю , Жилякова Е В Технологии измерения экономического компонента научного потенциала государства // Вестник РГНФ, 2005, № 3, с 86-97(0,8 п л / 0,5 п л)

5 Жилякова Е В Технология оценки инвестиционной привлекательности предприятий на финансовых рынках // Теория и практика эффективного функционирования российских предприятий / Сборник трудов молодых ученых Выпуск 3 - М ЦЭМИ РАН, 2005, с 36-42 (0,5 п л).

6 Жилякова Е В Использование информационных технологий для поддержки инициативных научных исследований // Математические и инструментальные методы в экономических системах / Сборник научных трудов. - М : МЭСИ, 2007, с 81-90 (0,7 пл.).

ЖИЛЯКОВА ЕЛЕНА ВИКТОРОВНА

ИНСТРУМЕНТАРИЙ ЭКСПЕРТИЗЫ ИНИЦИАТИВНЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ (на примере конкурсов Российского гуманитарного научного фонда)

Специальность 08 00 13 -«Математические и инструментальные методы экономики»

Автореферат диссертации на соискание ученой степени кандидата экономических наук

Подписано в печать 12 05 08г Формат 60x84 1/16 уел печ лист 1,6 Тираж 100 экз Заказ

Издательство Московского гуманитарного университета Адрес редакции 111395, г Москва, ул Юности, д 5/1

Диссертация: содержание автор диссертационного исследования: кандидата экономических наук, Жилякова, Елена Викторовна

Введение.

Глава 1. Поддержка инициативных научных проектов: международный опыт, развитие в России, организационные формы.

1.1. Современное состояние научного потенциала России, особенности и перспективы финансирования его развития.

1.2. Анализ международного опыта поддержки инициативных научных исследований в форме грантов.

1.3. Развитие и поддержка инициативных научных исследований в России.

Выводы по главе.

Глава 2. Методическое обеспечение экспертизы инициативных научных проектов в Российском гуманитарном научном фонде.

2.1. Организационные основы Российского гуманитарного научного фонда.

2.2. Анализ современного этапа развития теории экспертных оценок.

2.3. Информационная система РГНФ и принципы ее функционирования

Выводы по главе.

Глава 3. Инструментарий экспертизы инициативных научных исследований в Российском гуманитарном научном фонде.

3.1. Обоснование независимости экспертных оценок при проведении экспертизы инициативных научных исследований в РГНФ.

3.2. Обоснование использования аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований.

3.3. Обоснование эффективности предложенного инструментария экспертизы инициативных научных проектов.

Выводы по главе.

Диссертация: введение по экономике, на тему "Инструментарий экспертизы инициативных научных исследований"

Имеющийся научный потенциал и уникальная система осуществления межотраслевых и междисциплинарных исследований в научных организациях Российской академии наук, способность ее научных кадров генерировать новые идеи и технологии являются важным ресурсом национальной экономики России. Во все времена фундаментальные и прикладные исследования академических институтов, ведущих отраслевых научных организаций и вузов страны способствовали получению новых знаний и созданию технологий мирового класса по целому ряду направлений. Однако этот ресурс не в полной мере используется для решения задач экономического развития нашего государства - при всех выдающихся достижениях отечественной науки и техники уровень конкурентоспособности российской продукции и промышленных отраслей при соприкосновении с мировым рынком оказался низким. Эти обстоятельства предопределили необходимость решительного пересмотра взглядов на роль науки в сегодняшнем российском обществе, в его реформировании с учетом тенденций развития мировой экономики и национальных особенностей хозяйствования.

В промышленно развитых государствах научная сфера сегодня становится самостоятельной силой, обеспечивающей достойные экономические и политические позиции государства на мировой арене. В силу своего особого положения наука и уровень ее развития определяют динамику социально-экономического развития общества. Осознание критического значения науки и техники для экономического и социального благополучия государств привело к характерным сдвигам в мышлении политических, финансовых и промышленных кругов ведущих стран западного мира: приоритеты их научно-технической политики смещаются от решения военно-технических проблем к повышению конкурентоспособности национальной промышленности на мировых рынках и улучшению качества жизни. Одной из главных целей развитых государств стал рост глобальной национальной конкурентоспособности, то есть поддержание высокого уровня жизни нации за счет применения эффективных технологий, инновационных механизмов, постоянного роста квалификации кадров, использования преимуществ международного разделения труда и обеспечения лидирующих позиций на мировых рынках тех или иных видов товаров и услуг.

Как свидетельствует мировой опыт, научно-техническая деятельность является- решающим фактором экономического развития, способствующим преодолению кризисных явлений и стабилизации экономики. На долю новых знаний, воплощаемых в технологиях, оборудовании и организации производства, в промышленно развитых странах приходится до 75-80% прироста валового внутреннего продукта (ВВП). Объем мирового рынка наукоемкой продукции составляет 2,3 трлн. долларов США1. Сегодня наука по праву является- активной формой общественного сознания, оказывающей огромное* воздействие на процесс внедрения ее результатов в производство, в сферу управления экономикой, в здравоохранение и экологию.

Формы и методы, успешного развития^ науки и техники в условиях рынка пока еще недостаточно освоены в, нашей стране. Наука должна использоваться для грамотной оценки состояния экономики,, анализа последствий принимаемых государственных решений, программирования и прогнозирования1 социально-экономического* и научно-технологического развития страны, для.экспертизы крупных хозяйственных проектов; в том числе осуществляемых негосударственными структурами. Однако этот процесс идет достаточно медленно. Между тем наличие в стране мошной современной науки является необходимым условием-для развития и поддержания на постоянно высоком уровне инновационной способности нации, обеспечения- национальной безопасности России. В" основе науки лежит ее базовая часть - фундаментальная наука^ которая создает фундаментальные знания, интеллектуальные ресурсы общества, создает основу современных технологий. Поэтому государство должно поддерживать определенный уровень фундаментальной науки по достаточно широкому спектру направлений, концентрируя при этом

1 «Экономика и жизнь», 29.09.2000 г. усилия в тех ее областях, которые являются критическими с точки зрения решения проблем национальной безопасности и развития инновационной экономики.

Разные эпохи порождают разные формы взаимодействия системы гуманитарной науки и государства, однако важность существования государственных организаций, поддерживающих науку в постсоветском пространстве осознается и обществом и правительственными структурами. Первые теоретические разработки в области перестройки системы организации науки начались еще в середине 80-х годов прошлого столетия, но-практического осуществления тогда новые идеи не получили2.

Современное российское государство вынуждено определять взаимоотношения с наукой, исходя из финансовых возможностей бюджета, которые весьма незначительны как в абсолютных, так и в относительных показателях. В этой ситуации государство стремится реализовать стратегию «эффективного использования» бюджетных средств. Она? выражается, в частности, в поддержке целевых научных программ, поддержке государственных научных центров, а также в определении ряда «приоритетных направлений».

Выражением этих тенденций стало образование системы государственных фондов поддержки развития научных исследований и содействия практическому внедрению' результатов научных исследований. Сюда относятся Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ), Российский фонд технологического развития (РФТР) и др. Благодаря деятельности фондов в нашей стране с 1993^ года начали проводиться отечественные конкурсы на получение гранта по гуманитарным и общественным наукам.

Эффективность распределения,бюджетных средств через фонды считается общепризнанной в мировой практике. Тем не менее, суммарный, объем-фондовой поддержки науки в России пока невелик и не соответствует потенциалу фондов, которые опираются на доктрину финансовой поддержки уже

2 Яновский Р.Г. Наука, мировоззрение, перестройка. - М.1990.379с. о сформировавшихся школ ученых. Эта доктрина напрямую связана с организационной структурой фондов: отбор научных проектов построен на проведении их экспертизы учеными из тех же или смежных научных областей и определяется структурой научного сообщества и научных институтов, а не состоянием экономического рынка.

Базис опыта экспертирования результатов научной деятельности ученых уже существовал в советский период, когда понятие грантового финансирования было известно научному сообществу только по опыту зарубежных коллег. Это опыт работы Высшего аттестационного комитета, который на протяжении многих десятилетий проводит оценку качества диссертационных исследований, создав систему экспертных советов, составленных из авторитетных в своей области ученых.4 Однако в полной мере говорить о свободе конкурса не приходилось, поскольку приоритеты были изначально определены.

Изучение проблемы-деятельности налаженных экспертных систем зарубежных фондов в России связано, прежде всего, с анализом влияния западных программ на фундаментальные исследования, выполняемые отечественными учеными.5 В этой связи важной представляется сравнительная (для зарубежных и отечественных фондов) динамика приоритетов финансирования, а так же сдвиги в региональной структуре распределения грантов.6 В зарубежных фондах отбор проектов направлен в первую очередь, на развитие тех приоритетных направлений, результаты которых можно достаточно широко использовать для их коммерциализации. По словам академика РАН B:JI. Макарова, «западные организации дают большие деньги на совершенно кон

3 Алфимов М.В., Цыганов С.А. От научной идеи до практического результата. - М.: Янус-К, 2000. С. 11-12.

4 Карлов Н.В. Доктора философии, доктора наук // Свободная мысль, 1993, №14. С. 14-27.

5 Дежина И.Г. Американские благотворительные фонды: Поддержка научных исследований в России// Международное научное сотрудничество. 1995. №1.С.18-19; Она же. Американские фонды: Поддержка гуманитарных и общественных наук в России// Поиск. 1996. № 19. С. 14; Она же. В центре и на местах// Поиск. 1995. № 23.C.3; Она же. Региональная бухгалтерия// Поиск. 1995. № 27-28. С. 2.; Она же. Зарубежные фонды поддержки науки в России: Стратегии и результаты (часть 1)// Вопросы истории естествознания и техники. 1995. № 3. С.100-109.; Она же. Зарубежные фонды поддержки науки в России: Стратегии и результаты (часть 2)//Вопросы истории естествознания и техники. 1995. №4. С.45-54.

6 Дежина И.Г. Гуманитарные исследования: приоритеты грантового финансирования// Вестник РГНФ. 1996. №2. С.171-175. кретные исследования, причем часто с заданной целью. То есть имеет место ангажированность, ничего общего не имеющая с настоящей научной объективностью».7 Несмотря на разницу целевых установок различных программ, состава экспертных советов и процедур проведения экспертизы, существует общее признание уровня и качества исследований по некоторым дисциплинам.8

Грантовая поддержка инициативных научных исследований способствует расширению и углублению междисциплинарной кооперации, развитию* комплексного подхода в проведении исследований, объединению усилий ученых разных отраслей знания. Принципиально важно, что фонды ориентированы на поддержку не организаций, а конкретных проектов, что приводит к фактическому устранению конкуренции самих организаций, в которой победителями всегда были бы наиболее мощные и авторитетные академические институты. Конкуренция научных проектов означает, что в проводимых фондами конкурсах могут побеждать качественные научные проекты из небольших организаций, которые, безусловно, проиграли бы в конкурентной борьбе с сильными организациями. Основную ролы здесь играет всемерное развитие и совершенствование экспертной системы с целью повышения эффективности экспертирования- и устранения субъективных оценок. Другими словами в современной российской науке государственные научные фонды выступают в роли института независимой-экспертизы. Все это значит, что институт независимой научной экспертизы сегодня востребован и в современном научном сообществе он становится все более значимым.

Таким образом, актуальность темы, настоящей диссертационной работы представляется*-вполне обоснованной.

Объектомsнастоящего исследования.является грантовая система поддержки инициативных научных исследований в рамках конкурсов Российского гуманитарного научного фонда.

7 Макаров B.J1. Индивидуальное и коллективное в исследовании переходной экономики// Вестник РГНФ. 1996. J6 2.C.14.

8 Дежина И.Г. Зарубежные фанты для российских ученых// Вестник Российской академии наук. 1997. Т.67. С. 1088-1103.

В качестве предмета исследования определен процесс проведения экспертизы инициативных научных проектов гуманитарной направленности.

Основной целью диссертационного исследования является разработка и научное обоснование инструментария экспертизы инициативных научных исследований, позволяющего эффективно расходовать направляемые на поддержку и развитие российской науки бюджетные средства.

Для достижения указанной цели в работе решаются следующие задачи:

- обобщение опыта и систематизирование тенденции развития-гранто-вой системы поддержки инициативных научных исследований в России и других странах;

- анализ существующих методов повышения обоснованности экспертизы инициативных научных проектов;

- определение особенностей использования, и адаптирование возможности методов прикладной статистики применительно к экспертной системе Российского гуманитарного научного фонда;

- разработка концепции применения аппарата математической'- статистики в качестве инструментария экспертизы инициативных научных исследований и обоснования-независимости экспертных оценок;

- построение структуры информационной системы, предназначенной для- сбора и анализа конкурсной информации, определение состава подсистем, обеспечивающих ее функционирование;

- разработка информационно-аналитического - инструментария-, для определения фактической степени независимости экспертных оценок;

- построение многокритериальной-системы показателей формализации-, экспертной* оценки инициативных научных исследований, реализованной' в форме новой экспертной анкеты;

- разработка и программная реализация инструментального метода оценки качества инициативных научных исследований, позволяющего повысить обоснованность решений по их конкурсному отбору и объемам финансирования.

Степень разработанности: темы. Теоретические аспекты взаимодействий между государством, наукой и бизнесом и, в частности, роль и место государственного регулирования науки и инновационной деятельности широко изучаются как за рубежом, так и в нашей стране. К наиболее известным зарубежным исследователям в этой области относятся В. Баумоль, П. Друкер, Б.-А. Люндвалл, Дж. Меткалф, Р. Нельсон, К. Павитт, П. Пател, К. Фримен, Й. Шумпетер и др. В России теоретические исследования- проблем формирования! национальной инновационной системы, роли и места в ней науки, государственного управления научно-техническим развитием в последние годы так же развиваются и расширяются. В'числе наиболее авторитетных отечественных ученых, внесших значительный вклад в развитие данных вопросов —

A.Е. Варшавский, С.Ю. Глазьев, О.Г. Голиченко, В.В. Иванов, Н.И. Иванова,

B.В. Ивантер, Н.И. Комков, B.JI. Макаров, B.C. Циренщиков, С.А. Цыганов и др., чьи труды»составили теоретико-методологическую' основу диссертационного исследования.

Современное развитие научных представлений о методах и формах государственного1 регулирования науки и формирования» инновационной системы, характеризуется дискуссионной направленностью. Вопросы научно-методического обеспечения экспертной деятельности, функционирования систем поддержки принятия решений, системной' диагностики социально-экономических процессов и оценки их эффективности рассматриваются- в^ трудах Л.Г. Евланова, О.М. Краснорядцевой, О.И. Ларичева, В.Н. Лившица, Д.А. Новикова, А.И. Орлова, А.Б. Петровского, О.В. Староверова, Е.М. Стачевой и др.

Несмотря4 на существующий широкий спектр теоретических исследований и разработок по данной проблеме, многие прикладные вопросы, прежде всего, инструментального обеспечения экспертизы инициативных научных исследований остаются недостаточно разработанными.

Теоретической и методологической основой диссертационной работы послужили положения фундаментальных и прикладных исследований отечественных и зарубежных авторов по современной экономической теории, теории экспертных оценок, теории инновационной деятельности, системному анализу, экспертно-аналитическому моделированию, эконометрике, а также законодательные акты РФ, нормативные и инструктивные материалы Минобрнауки и Минфина РФ. В процессе исследования применялись элементы теории искусственного интеллекта, разработки автоматизированных информационных систем, методический аппарат эконометрического и экс-пертно-аналитического моделирования, методы корреляционного, регрессионного, факторного и кластерного анализа с использованием пакета статистической программы Статистика 6.0.

Новизна научных результатов исследования^ обусловлена комплексным анализом основных направлений финансовой поддержки гуманитарных инициативных научных проектов, обобщением отечественного и зарубежного опыта- применения грантовой формы поддержки, что позволило предложить новое решение задачи совершенствования экспертизы научных проектов.

На защиту выносятся следующие результаты, содержащие элементы научной новизны:

- обоснованы формы и направления повышения качества и независимости экспертизы-инициативных научных исследований в условиях грантовой. системы их финансирования;

- разработана многокритериальная система показателей формализации и стандартизация*экспертной оценки инициативных научных'проектов;

- предложен новый инструментарий для» определения, независимости экспертных оценок при неизвестном распределении-оценок экспертов;

- разработан инструментальный метод оценки качества инициативных научных проектов, позволяющий повысить обоснованность решений их по поддержке и финансированию.

Теоретическая и практическая значимость исследования. Теоретическая, значимость диссертационной работы определяется комплексным подходом и системностью анализа проблем финансовой поддержки государством научных исследований, постановкой и решением ряда принципиально новых задач в области экспертизы инициативных научных проектов, определяющих сущность и специфику процесса экспертизы, применительно к деятельности Российского гуманитарного научного фонда.

Практическая ценность результатов состоит в. возможности использования разработанных подходов > и алгоритма экспертизы в практической деятельности государственных научных фондов, осуществляющих финансовую поддержку инициативных научных проектов.

Апробация и реализация,результатов исследования; Результаты исследования, были представлены автором в виде докладов и выступлений на российских научных конференциях по проблемам научно-технического развития, интеграции науки и образования, вопросам коммерциализации результатов научной деятельности, формированию государственной научной и инновационной политики в,условиях переходного периода. Среди них: VI Всероссийский симпозиум, по прикладной и промышленной математике (Кисловодск, 2006 г.), VII Всероссийский симпозиум «Стратегическое планирование и развитие предприятий» (Москва, 2006 г.) и др.

Основные положения работы использовались в процессе экспертизы научно-исследовательских заявок на конкурсах РГНФ.

Область, исследования соответствует п. 2.4 «Разработка концептуальных положений использования^ новых информационных и коммуникационных технологий с целью повышения эффективности управления в экономических системах», п. 2.6 «Развитие теоретических основ» методологии-И'инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности» Паспорта специальности 08.00.13.

Публикации. По теме исследования опубликовано 6 работ, в том числе 2 — в ведущих рецензируемых научных журналах, рекомендованных ВАК, общим авторским объемом 2,5 п.л.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы из 105 наименований и 9 приложений.

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Жилякова, Елена Викторовна

Выводы по главе:

1. Вследствие качественной новизны и сложности информационной составляющей инициативных проектов полная математическая формализация технико-экономических задач получения экспертных оценок далеко не всегда осуществима. В связи с этим расширяется1 практика'использования экспертных методов, под которыми понимают комплекс логических и матема-тико-статистических процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

2. Для определения независимости экспертных оценок и степени их согласованности, проверки совпадения неизвестных распределений полученных оценок и их статистической зависимости, получения оценок компетентности самих экспертов, а также решения; ряда других задач в работе предложено воспользоваться некоторыми методами обработки математической статистики. Детальный алгоритм использования этих методов изложен в соответствующем разделе. Значительная трудоемкость проведения вычислительных процедур предопределяет необходимость автоматизации этого1 процесса; что будет являться направлением дальнейших исследований автора.

3. Особенности предлагаемого автором подхода с использованием аппарата математической статистики показаны на практическом примере обработки результатов экспертизы для ограниченного числа экспертов и количества оцениваемых ими проектов применительно к работе одной из секций Экспертного совета РГНФ по экономике. Полученные нами результаты позволяют сделать вывод о том, что эксперты проводили свои оценки одинаково объективно и независимо друг от друга. Однако в силу действия ряда субъективных факторов такой вывод будет не всегда правомерен в действительности. Это обстоятельство подтверждает необходимость автоматизации процесса обработки результатов экспертизы и получения оценки их достоверности как в общей совокупности, так и по отношению к отдельным экспертам.

4. Обобщая полученные результаты применительно к деятельности Экспертной системы РГНФ, автором предложена многокритериальная система показателей формализации экспертной оценки инициативных научных проектов, которая реализована в форме новой экспертной анкеты. Для определения фактической степени независимости экспертных оценок при проведении экспертизы инициативных научных проектов и подтверждения достоверность оценок экспертов разработан и программно реализован интегрально-инструментальный метод оценки качества инициативных научных исследований, позволяющий повысить обоснованность решений Совета Фонда по их конкурсному отбору и объемам финансирования.

Заключение.

Следствием изменения экономических условий хозяйствования в России и активизации процессов формирования рыночной инновационной системы стало повышение роли науки в обеспечении нормальной жизнедеятельности общества как производителя новых знаний, создающих экономические ценности. Это обстоятельство предопределило рост значения грантовой поддержки инициативных научных исследований и необходимость повышения качества их экспертизы для эффективного развития научной сферы в современных условиях. На решение ряда проблем в указанной области и было направлено данное исследование. Полученные в ходе его проведения результаты сформулированы следующим образом:

1. Выполнен анализ развития- грантовой системы поддержки инициативных научных исследований в России и других странах, обобщен имеющийся опыт и систематизированы наблюдаемые тенденции, на основании чего были выявлены- особенности использования грантовой формы поддержки инициативных научных исследований в современных условиях и обоснована необходимость ее дальнейшего развития при одновременном повышении качества экспертной оценки научных проектов.

2. Изучены существующие методы повышения обоснованности экспертизы инициативных научных проектов, предложены перспективные направления их совершенствования, доказана целесообразность использования отдельных методов при разработке инструментария для определения фактической степени независимости экспертных оценок при проведении экспертизы инициативных научных проектов.

3. Выявлены особенности функционирования и обоснованы принципы построения информационной системы- РГНФ, которая- представляет собой сложный программно-аппаратный комплекс, построенный на современной клиент-серверной технологии, обеспечивающей накопление, модификацию и аналитическую обработку результатов конкурсного отбора инициативных научных проектов для их последующего финансирования.

4. Предложены варианты адаптации методов прикладной статистики применительно к экспертной системе Российского гуманитарного научного фонда. Доказана необходимость и целесообразность применения аппарата математической статистики в качестве методического инструментария экспертизы инициативных научных исследований и обоснования независимости экспертных оценок. Разработан практический, инструментарий для определения фактической степени независимости экспертных оценок при проведении экспертизы инициативных научных проектов, позволяющий на основании результатов экспертизы подтвердить достоверность оценок экспертов.

5. Построена многокритериальная система показателей' формализации экспертной оценки инициативных научных проектов, которая реализована в форме новой- экспертной анкеты. Сравнительный анализ предложенных автором показателей экспертной анкеты с показателями действующей экспертной анкеты подтвердил более высокую качественную обоснованность уровня экспертных оценок, получаемых при использовании предложенного автором^ инструментария экспертизы инициативных научных проектов.

6. Разработан и программно реализован интегрально-инструментальный метод оценки качества инициативных научных исследований; позволяющий повысить обоснованность решений Совета Фонда при их конкурсном отборе и определении объемов финансирования.

Таким образом, основным результатом настоящего исследования стала разработка методических основ комплексного подхода к совершенствованию инструментария экспертной оценки инициативных исследовательских проектов как важнейшего фактора повышения эффективности научной деятельностью в рыночных условиях. В ходе проведения исследований этот подход получил не только теоретическое' обоснование, но и прошел практическую' реализацию на примере одной из секций Экспертного совета РТНФ по экономике.