Методология статистического исследования качества подготовки специалистов в вузах тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Методология статистического исследования качества подготовки специалистов в вузах"

На правах рукописи

00460794В

ДОНЕЦКАЯ СВЕТЛАНА СЕРГЕЕВНА

МЕТОДОЛОГИЯ СТАТИСТИЧЕСКОГО ИССЛЕДОВАНИЯ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ВУЗАХ

Специальность - 08.00.12 Бухгалтерский учет, статистика

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора экономических наук

" 9 СЕН 2010

Новосибирск 2010

004607948

На правах рукописи

ДОНЕЦКАЯ СВЕТЛАНА СЕРГЕЕВНА

МЕТОДОЛОГИЯ СТАТИСТИЧЕСКОГО ИССЛЕДОВАНИЯ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ВУЗАХ

Специальность - 08.00.12 Бухгалтерский учет, статистика

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора экономических наук

Новосибирск 2010

Работа выполнена на кафедре статистики и экономического прогнозирования Сибирского университета потребительской кооперации

Официальные оппоненты: доктор экономических наук, профессор

Беляевскнй Игорь Константинович

доктор экономических наук, профессор Зайцева Ольга Петровна

доктор экономических наук, доцент Петрова Аида Талятовна

Ведущая организация: Санкт-Петербургский государственный

университет экономики и финансов

Защита состоится 30 сентября 2010 г. в 10-00 часов на заседании диссертационного совета Д 513.003.02 при Сибирском университете потребительской кооперации по адресу: 630087, г. Новосибирск, пр. К. Маркса, 26/2, зал заседаний диссертационных советов.

С диссертацией можно ознакомиться в библиотеке Сибирского университета потребительской кооперации.

Автореферат разослан 27 августа 2010 г.

Ученый секретарь

диссертационного совета,

доктор экономических наук, . у?

профессор -_-—» С.Д. Надежд«ша

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертационного исследования. В последние два десятилетия существенно усилилось влияние науки и образования на уровень экономического развития государств. Это наиболее заметно в европейских странах, США, Японии, КНР, где до 25 % прироста национального дохода связано с развитием классического высшего образования. Обеспечение конкурентоспособности и национальной безопасности эти государства видят в повышении качества образования.

Подобные задачи также являются приоритетными в современной образовательной политике России. Существующая государственная система обеспечения качества образования базируется на процедурах лицензирования и аккредитации. После вступления России в Болонский процесс отечественные вузы проходят общественно-профессиональную аккредитацию, которая предъявляет более строгие, чем государство, требования и ориентирована на выявление соответствия уровня подготовки студентов запросам работодателей, инвесторов и других заинтересованных сторон. Кроме того, качество образования сопоставляют с позицией вуза в национальном или международном рейтингах.

Несмотря на разнообразие современных подходов к оценке качества образования, существует ряд нерешенных проблем: отсутствие традиции независимой оценки деятельности вузов; несопоставимость российских и зарубежных показателей качества образования; громоздкость отечественных методик оценки качества образования; сложность получения достоверной статистической информации о деятельности вузов; отсутствие статистики качества образования. Их решение возможно на основе статистической методологии. Массовое периодическое исследование качества высшего образования позволит создать доступную базу данных для проведения его статистического анализа, независимой оценки образовательных программ, ранжирования вузов. Значимость данного исследования повышается в связи с постановкой Правительством РФ целевых ориентиров долгосрочного социально-экономического развития государства до 2012 г., включающих создание системы независимой общественно-профессиональной аккредитации программ обучения и системы общественных рейтингов вузов.

Таким образом, все сказанное свидетельствует о целесообразности разработки методологии статического исследования качества высшего образования и обусловливает актуальность данной работы.

Степень разработанности проблемы. Проблемы оценки качества образования рассмотрены в трудах А.И. Вроейнстийна, E.H. Геворкян, A.B. Гличева, М.А. Гусаковского, Ю.А. Захарова, В.А. Капьней, В.П. Па-

насюк, А.Т. Петровой, М.М. Поташкина, Г.Б. Скок, А.И. Субетто, Н.В. Тихомировой и др. Проблемам аккредитации посвящены работы Н.П. Аврамова, J1.H. Глебовой, И.Т. Заики, Г.И. Лазарева, Г.Н. Михайловой, Г.Н. Мотовой, В.Г. Наводнова, Ю.Б. Рубина, В.А. Самойлова, В.Д. Шадрикова и др. Анализ рейтинговых моделей в образовании проводился И.А. Артюшиной, И.Е. Волковой, М.М. Ковалевым, И.В. Маршако-вой-Шайкевич, Д.А. Мельничук, C.B. Микони, В.М. Московкиным, Н.Ш. Никитиной, Ю.П. Похолковым, В.П. Прокофьевым, Н.Б. Филино-вым, В.А. Шутилиным и др. Маркетинговым исследованиям, проблемам разработки потребительского мониторинга и системы менеджмента качества посвящены научные публикации И.К. Беляевского, О.П. Зайцевой,

B.А. Качалова, Е.В. Кравченко, Л.Г. Миляевой, Н.И. Мовчан, Э.В. Нова-торова, А.П. Панкрухина, Д.А. Шевченко и др. Современные положения статистики образования и науки изложены в трудах И.И. Елисеевой,

C.Д. Ильенковой, М.Г. Назарова и др. Проблемы модернизации статистики образования определены в постановлениях Правительства Российской Федерации, неоднократно обсуждались Минобрнауки РФ и Росста-том, а также отражены в трудах ученых государственного университета — Высшей школы экономики: Л.М. Гохберга, И.Ю. Забаруриной, Н.В. Ковалевой, В.И. Кузнецовой, O.K. Озеровой, Я.М. Рощиной, O.P. Шуваловой и др.

В то же время в современной экономической литературе ке нашли достаточного освещения методологические вопросы статистического исследования качества подготовки специалистов в вузах. Отсутствует статистическое определение понятия «качество образования», учитывающее все цели его получения, не разработана система статистических показателей. Предложения по модернизации статистики образования на федеральном и региональном уровнях сводятся в основном к использованию громоздких программ наблюдения, в которых качество образования потребителями оценивается терминами «хорошее», «удовлетворительное», «плохое», на уровне вуза - к проведению единовременных маркетинговых исследований выпускников или студентов. Для оценки качества высшего образования практически не применяются показатели, используемые в зарубежных странах и глобальных рейтингах, участниками которых являются российские университеты. Не используются наукометрические и патентные базы данных, которые в условиях существующих проблем с получением официальной статистической информации и в связи с необъективностью сведений, представляемых вузами, могут стать основным источником объективной информации для общественных институтов независимого контроля качества образования. Между тем про-

цессы глобализации требуют разработки единых подходов к оценке качества вузовского образования.

Вышесказанное определило цель и задачи исследования.

Цель диссертационного исследования состоит в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки.

Для достижения указанной цели поставлены следующие научные и практические задачи:

• исследовать понятие «качество образования» и существующие подходы к его оценке, выявить проблемы статистического исследования качества высшего образования, разработать концепцию исследования;

• проанализировать российский и зарубежный опыт оценки качества подготовки специалистов в вузах, систематизировать аккредитационные требования и показатели рейтинговых моделей;

• разработать методологию статистического исследования качества вузовского образования. Для этого сформировать систему информативных показателей качества подготовки специалистов в вузах, разработать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, востребованности выпускников и удовлетворенности потребителей качеством образования;

• апробировать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, оценить достоверность использования для этой цели информации, размещенной на ДУЕВ-сайтах университетов;

• исследовать востребованность выпускников и удовлетворенность потребителей качеством образования в вузах г. Новосибирска, определить степень доверия результатам опросов студентов.

Объектом исследования является качество вузовского образования в Российской Федерации.

Предметом исследования служит методология статистического исследования качества высшего образования, основанная на объективной информации, обеспечивающей независимость оценки.

Объект наблюдения - классические, технические и экономические университеты Сибирского федерального округа, химические факультеты ведущих государственных университетов Российской Федерации.

Область исследования. Содержание диссертации соответствует области исследования: п. 3.1. «Методы статистического измерения и наблюдения социально-экономических явлений, обработка статистической информации, оценка качества данных наблюдений; организация статистических работ»; п. 3.2. «Методология построения статистических пока-

зателей, характеризующих социально-экономические совокупности, построения демографических таблиц, измерения уровня жизни населения, состояния окружающей среды»; п. 3.4. «Методология социального и экономического мониторинга, статистического обеспечения управления административно-территориальным образованием; измерение неравномерности развития территориальных образований» Паспорта номенклатуры специальностей научных работников (экономические науки).

Теоретической и методологической основой исследования выступают фундаментальные и прикладные работы ведущих российских и зарубежных ученых, посвященные статистическим методам исследования качества образования, квалификации научных работников, рейтинговым моделям, маркетингу в сфере образования. Использованы общенаучные принципы и методы: анализа и синтеза, индукции и дедукции, системного подхода, исторический и логический, абстракции и эвристический. В качестве исследовательского инструментария применялись методы наблюдения, сводки и группировки, обобщающих показателей, регрессионного и корреляционного анализа, сравнительного анализа, экспертных оценок, распознавания образов, проверки гипотез, а также табличные и графические методы представления результатов исследования. Обработка исходной информации проводилась с применением программ: «Statistica», «Access» и «Microsoft Excel», а также программ, составленных с помощью «С++».

Информационная база исследования сформирована на основе данных сайтов компании Thomson Reuters (бывшего Института научной информации США (IS1)), Федеральной службы по интеллектуальной собственности, патентам и товарным знакам «Роспатент», Евразийского патентного ведомства, ведущих государственных университетов России и университетов Сибирского федерального округа, независимого рейтингового агентства в сфере образования «РейтОР», а также результатов многолетних авторских исследований потребителей образовательных услуг Сибирского университета потребительской кооперации и публикаций в периодической печати.

Достоверность и обоснованность основных положений, выводов и рекомендаций, содержащихся в работе, подтверждаются корректным применением общенаучных и специальных методов исследований; репрезентативным объемом использованного информационного массива; положительной апробацией результатов исследования.

Научная новизна результатов исследования, полученных автором, заключается в обосновании и разработке методологии статистического исследования качества образования в российских университетах.

Наиболее существенными, обладающими научной новизной являются следующие результаты исследования:

1. Углубляющие теорию статистики качества образования:

• уточнено статистическое определение понятия «качество образования», которое отличается от известных тем, что учитывает перспективные цели получения образования; разработана концепция статистического исследования качества вузовского образования, основанного на информации, обеспечивающей независимость оценки и соответствие используемых показателей международным требованиям;

• предложена авторская классификация показателей, используемых в России и за рубежом при аккредитации и рейтинговании вузов, выполненная в соответствии с системным подходом к качеству образования и выявившая, что наиболее важными для оценки качества образования являются те показатели, которые характеризуют научную квалификацию преподавателей и результаты образовательной деятельности вузов. Обоснована авторская система статистических информативных показателей качества подготовки специалистов в вузах, которая отличается от существующих российских систем аккредитационных и рейтинговых показателей тем, что содержит универсальные показатели научной квалификации преподавателей и результатов образовательной деятельности, применимых как для российских, так и зарубежных университетов.

2. Развивающие методологию статистического исследования качества образования:

• адаптирован метод решения «обратных задач» к формированию системы показателей рейтинговой оценки кафедр университетов, который в отличие от метода «прямых задач» позволяет выявить информативные показатели, достаточно надежно оценивающие рейтинг кафедр;

• впервые проведено статистическое исследование научной квалификации преподавателей государственных классических университетов на основе предложенной методики, построенной на изучении цитирования научных публикаций преподавателей, которое используется в современном научном мире для оценки квалификации научных работников и, как показало исследование, может быть также применено для оценки научной квалификации преподавателей, прежде всего естественнонаучных факультетов. На этапе наблюдения использованы новые для статистической науки организационные формы: наукометрические базы данных. Предложена система статистических показателей и выбраны признаки кластеризации университетов, отражающие научную квалификацию преподавателей. Методика апробирована на химических факультетах государственных университетов России и естественнонаучных факультетах государственных университетов Сибирского федерального округа;

• разработана методика статистического исследования квалификации преподавателей технических университетов. Предложено дополии-

тельно к изучению цитируемости публикаций анализировать патентную активность преподавателей и дифференцировать расчет показателей в зависимости от степени интеграции объекта наблюдения с научно-исследовательскими центрами. Для исследования патентной активности заявлена авторская система показателей и новые организационные формы наблюдения: патентные базы данных. Методика апробирована на технических университетах Сибирского федерального округа;

•статистически обоснована достоверность и достаточность информации, размещенной в информационной сети университетов, для расчета индекса цитируемости научных публикаций;

• разработана методика потребительского мониторинга, которая отличается от маркетинговых исследований, широко используемых российскими вузами, тем, что предполагает периодическое массовое изучение удовлетворенности потребителей образовательных услуг, сопоставление полученных результатов с требованиями и ожиданиями, выявление тенденций их изменения с целью принятия управленческих решений.

Теоретическое значение диссертационной работы заключается в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки. Новым для теории статистики являются предложенные автором организационные формы статистического наблюдения, системы статистических показателей научной квалификации, патентной активности преподавателей университетов, удовлетворенности и конкурентоспособности выпускников, а также группировки и классификации.

Практическая значимость исследования определяется возможностью использования полученных результатов для анализа качества вузовского образования на любых уровнях: вузовском, региональном и федеральном. В настоящее время в деятельности центра менеджмента качества Сибирского университета потребительской кооперации используются методики потребительского мониторинга и отбора информативных показателей рейтинговой оценки кафедр. Методика исследования квалификации преподавателей применяется в Новосибирском государственном университете. Результаты исследования квалификации преподавателей университетов Сибирского федерального округа востребрваны администрацией Новосибирской области и департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение».

Апробация и внедрение результатов исследования осуществлялись по следующим направлениям: в деятельности университетов, связанной с менеджментом качества, и деятельности региональных органов власти в области оценки качества вузовского образования.

Результаты диссертационного исследования внедрены и используются: Сибирским университетом потребительской кооперации (справка об использовании результатов диссертационного исследования от 25.06.2009 № 16-947), Новосибирским государственным университетом (справка об использовании результатов диссертационного исследования от 25.06.2009 № 40-01/150), Благовещенским государственным педагогическим университетом (справка об использовании результатов диссертационного исследования от 10.08.2009 № 479), Благовещенским филиалом Московской академии предпринимательства (справка об использовании результатов диссертационного исследования от 17.08.2009 № 01-14/250), департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение» (акт о внедрении от 27.08.2009 №01-29).

Результаты обсуждались на международных, всероссийских и региональных научных конференциях, в том числе «Высшее профессиональное образование: традиции и инновации» (Кемерово, 2009 г.), «Образование и общество» (Москва, 2009 г.), «Стратегии и инструменты управления экономикой: отраслевой и региональный аспект» (Санкт-Петербург, 2008, 2010 гг.), «Внутривузовские системы обеспечения качества подготовки специалистов» (Красноярск, 2003, 2004, 2005, 2006 гг.), «Проблемы обеспечения качества университетского образования» (Кемерово, 2004 г.), «Образование в новом тысячелетии: опыт, проблемы и перспективы развития» (Новосибирск, 2003 г.).

Научные публикации. Основные теоретические и методологические результаты исследования нашли отражение в 25 опубликованных работах общим объемом 103,7 п.л. (в т.ч. авторские - 23,2 пл.), из них 8 статей - в ведущих рецензируемых журналах, рекомендованных Высшей аттестационной комиссией.

Объем и структура диссертации. Работа состоит из введения, пяти глав, заключения, библиографического списка, включающего 304 наименования, 40 приложений, содержит 305 страниц основного текста, 62 таблицы, 23 рисунка. Логика исследования представлена на рис. 1.

Во введении обоснована актуальность диссертационного исследования, сформулированы его цель и задачи, даны характеристики объекта и предмета исследования, представлены основные результаты, обладающие научной новизной, отмечена теоретическая и практическая значимость работы.

В первой главе «Теоретические основы статистического исследования качества вузовского образования» проведена систематизация определений понятия «качество образования» и подходов к его оценке, выявлены проблемы статистического подхода, разработана концепция.

Рис. 1. Логика диссертационного исследования

ю

Во второй главе «Российский и зарубежный опыт оценки качества подготовки специалистов в вузах» сделан сравнительный анализ аккред-тационных требоаний к качеству образования в России и США, рассмотрены национальные и международные рейтинговые модели, используемые в высшем образовании, представлено мнение российских потребителей о критериях качества высшего образования.

В третьей главе «Методология статистического исследования качества вузовского образования» обоснована возможность исследования качества образования с помощью системы информативных, показателей, предложена система статистических показателей качества вузовского образования и приведены методики их оценки и анализа.

В четвертой главе «Статистическое исследование квалификации преподавателей государственных классических и технических университетов» представлены результаты исследования научной квалификации преподавателей университетов Сибирского федерального округа и ведущих вузов России, статистически обоснована возможность использования для этой цели информации, размещенной на \УЕВ-сайтах университетов.

В пятой главе «Статистическое исследование востребованности выпускников и удовлетворенности потребителей качеством вузовского образования» приведены результаты исследования востребованности, удовлетворенности и конкурентоспособности выпускников трех вузов г. Новосибирска, определена степень доверия к мнению респондентов.

В заключении подведены итоги работы, достигнутые в процессе исследования, даны основные выводы.

II. ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Уточнение определения «качество образования», формирование концепции исследования

Анализ законодательных актов, регламентирующих деятельность вузов, и современной экономической литературы, посвященной вопросам качества образования, позволил установить, что существуют педагогический, социологический и управленческий подходы к его оценке. Наиболее полно разработан управленческий подход. Основные его характеристики систематизированы автором. С позиции внешней оценки фрагмент систематизации представлен в таблице 1.

Статистической наукой качество образования не исследуется. Однако статистические методы сбора и обработки информации используются дйя оценки показателей деятельности образовательных учреждений. Результаты отражаются в официальных изданиях Росстата и являются

важным источником информации для измерения качества образования на организационном и институциональном уровнях.

Таблица 1

Основные характеристики управленческого подхода к оценке качества . _вузовского образования (внешняя оценка)_

Уровень Объект ! Субъект Методы и подходы

Институциональный Система образования как отрасль экономики 1. Министерство экономического развития РФ 2. Федеральная служба государственной статистики 3. Научно-исследовательские институты РАН 1. Оценка экономичности и эффективности использования ресурсов в отраслях экономики за счет внедрения научно-технических разработок, созданных в сфере образования 2. Оценка прироста ВВП за счет повышения образовательного уровня работников, занятых во всех отраслях 3. Оценка социальной эффективности (результативности) образования

Организационный Образовательное учреждение 1. Минобрнауки РФ 2. Аккредитационные центры 3. Рейтинговые агентства 4. Работодатели 5. Выпускники 6. Студенты 1. Государственная аккредитация 2. Общественная аккредитация 3. Рейтингование вузов 4. Субъективная оценка потребителей

Индивидуальный 1. Студент 2. Выпускник Работодатели Субъективная оценка удовлетворенности работодателя уровнем образования, полученным работником

Проводимая в настоящее время работа на федеральном уровне по совершенствованию мониторинга и статистики образования не лишена, по мнению автора, следующих недостатков: 1) применяются в основном качественные оценки образования; 2) программы наблюдения громоздки; 3) собранная информация необъективна; 4) российские и зарубежные показатели, используемые для статистического исследования рынка образовательных услуг, несопоставимы. С целью устранения недостатков и разработки основ статистического подхода к исследованию качества высшего образования автором:

• проведен анализ существующих определений понятия «качество образования», который выявил их общие характеристики: многоаспект-ность, многокритериальность, многосубъектность, многоуровневость, системность и статичность. В то же время качество образования - это динамическое понятие, отражающее соответствие результата образовательной деятельности долгосрочным целям личности и общества. Понимание этого позволило автору уточнить статистическое определение качества образования. Под качеством образования следует понимать количественную характеристику совокупности показателей условий обучения и ре-

зулыпатов образовательной деятельности, состоящих в привитии обучаемым необходимых знании, умений и навыков, соответствующих современным требованиям науки и экономики, а также формирующих у обучаемых способность учиться всю жизнь;

• определены принципы исследования. Прежде всего, общенаучные принципы: объективность, причинность, истинность, воспроизводимость, теоретичность, системность и критичность, а также частные, в основе которых Берлинские принципы ранжирования учебных заведений: альтернативность, ясность, многовариантность, валидность, достоверность, сопоставимость, стабильность. В соответствии с гипотезой и в силу целесообразности применения индуктивного подхода к исследованию к частным принципам, по мнению автора, также отнесены: информативность, доступность, надежность и адекватность;

• сформулированы методологические положения, лежащие в основе формирования системы статистических показателей качества высшего образования: 1) заимствование показателей, используемых нестатистическими подходами, прежде всего управленческого подхода к оценке качества образования на организационном уровне; 2) использование нетрадиционных для статистической науки организационных форм наблюдения; 3) включение в систему показателей условий и результатов образовательной деятельности.

Все это позволило автору сформировать концепцию исследования, которая состоит в обосновании возможности использования для статистического наблюдения за качеством высшего образования показателей управленческого подхода, удовлетворяющих вышеуказанным принципам, основанным на информации, обеспечивающей независимость оценки и соответствие международным требованиям.

2. Обоснование наиболее значимых показателей оценки качества вузовского образования

В соответствии с системным подходом, предполагающим, что качество образования состоит из качества условий, процесса и конечного результата, автором проведена группировка показателей и критериев, используемых на организационном уровне для оценки качества вузовского образования, фрагмент которой представлен в таблице 2.

Проведенное исследование позволило сделать вывод, что наиболее часто в зарубежных национальных рейтингах встречаются показатели и критерии, оценивающие качество квалификации преподавателей и конечных результатов деятельности вузов. В рейтингах ведущих университетов мира их совокупный удельный вес составляет: в британском

THES) - 70 %, российском («РейтОР») - 40, шанхайском (ARWU) - 90, тайваньском - 100 %. В отличие от зарубежных в российских национальных рейтингах и аккредитационных системах этим группам показателей уделяется не столь значительное внимание. В то же время практически во всех вузовских рейтингах суммарный удельный вес показателей кадрового и научного потенциала составляет более 50 %.

Таблица 2

Значимость показателей и критериев российских

и некоторых зарубежных подходов, используемых для оценки качества образования, %

Вид аккредитации, рейтингов Группы показателей качества образования

Качество условий Каче-стсво процесса Качество конечного результата

Всего В том числе квалификации преподавателей Всего В том числе д научной еятельности образовательной

Российские рейтинги и критерии государственной аккредитации

Рейтинг Минобрнауки 55 35 - 45 26 12

Государственная аккредитация 46 13 25 29 17 8

Рейтинг международной информационной группы «Интерфакс» и радиостанции «Эхо Москвы» 17 2 42 41 12 26

Зарубежные национальные рейтинги

The Times (Великобритания) 64 37 36

U.S. News (США) 26 3 39 25

Melbourne Institute (Австралия) 51 40 41 8

Perspektywy (Польша) 43 23 2 50

Рейтинги ведущих университетов мира

А1Ш1) (Шанхайский рейтинг) 50 40 50 50

05-ТНЕ8 (Великобритания) 5 25 70 20 50

Тайваньский рейтинг - - - 100 100 -

Рейтинг независимого рейтингового агентства «РейтОР» (Россия) 62 20 10 28 20

В изученных рейтингах нет четкого разделения между показателями квалификации преподавателей и результатами научной деятельности, что позволило автору объединить их в одну группу - показатели научной квалификации преподавателей. Важность и значимость научной квалификации преподавателей для подготовки высококвалифицированных специалистов подтверждает мнение 43,6 % старшекурсников российских ву-

зов без опыта работы и 54,2 % старшекурсников с опытом работы, опрошенных в 2006 г. агентством «РейтОР». 42,4 % старшекурсников и 50,9 % преподавателей качество образования определяют прежде всего возможностью выпускника трудоустроиться после окончания учебного заведения и развитием его карьеры.

Таким образом, для оценки качества вузовского образования необходимо использовать информативные показатели научной квалификации преподавателей и результатов образовательной деятельности университетов, которые в соответствии с целью и принципами исследования должны иметь ясную методику расчета, независимые источники информации и быть универсальными. Исследование выявило, что указанным требованиям соответствуют такие показатели, как:

• индекс цитируемое™ (число ссылок на работы данного ученого в научной литературе). Показатель давно используется в мире для определения индивидуального рейтинга ученых, работающих в области точных и естественных наук, рассчитывается почти во всех зарубежных рейтингах и, по мнению автора, может быть применим для оценки научной квалификации преподавателей российских государственных университетов;

• патентная активность (число созданных преподавателем патентов). Показатель редко используется в рейтинговых моделях. Однако, по мнению автора, он может характеризовать квалификацию преподавателей в области прикладных исследований, поскольку их результаты, как правило, находят свое выражение в патентах. В связи с этим, расчет патентной активности необходим для оценки квалификации преподавателей технических университетов.

Статистическими источниками информации для расчета указанных показателей служат наукометрические и патентные базы данных, в которых сконцентрирована информация о научных публикациях и патентах. В настоящее время эти базы данных не используются Росстатом. Тем не менее доступность и объективность позволяют рассматривать их в качестве новых организационных форм статистического наблюдения;

• востребованность выпускников. Для объективности результатов расчета показателя необходима информация, исходящая от работодателей или выпускников после окончания университета, для получения которой следует проводить специально организованное наблюдение;

• удовлетворенность, прежде всего, работодателей и выпускников качеством образования. В силу субъективности данный показатель не обладает требуемой надежностью для межвузовского сопоставления.

На основе указанных показателей составлена модель интегральной оценки качества образования (у)

У = а,Х\ + а.Х, + а, Л", + , 15

где X, - индекс цитируемости научных работ; Л", - патентная активность преподавателей; л\ - востребованность выпускников;

Л'4— удовлетворенность выпускников (или работодателей) качеством

обучения; л,,я,,л,,л4 - весовые коэффициенты.

Первые два показателя модели характеризуют и квалификацию преподавателей, и результаты их научной деятельности, последние - результаты образовательной деятельности.

3. Методика формирования системы статистических информативных показателен рейтинговой оценки кафедр университета

Проведенный обзор существующих рейтинговых методик выявил, что их составители, стремясь учесть все факторы, влияющие на деятельность кафедр, зачастую включают в них дублирующие друг друга показатели. Это приводит к усложнению процедуры оценки и получению статистически недостоверных результатов.

Чтобы избавиться от этих недостатков, автором предложено использовать метод решения «обратных» задач: вначале эксперты определяют рейтинги (У) оцениваемых объектов, затем формируют набор показателей (И). Получается матрица размером М*(№1), состоящая из М объектов и N+1 показателей, один из которых - экспертный рейтинг. Применив к данной матрице методы распознавания образов или регрессионный анализ, в ней можно обнаружить скрытые закономерности между показателями анализируемых объектов и их рейтингами. В результате выясняется, что для достижения экспертного рейтинга нужно измерять не все N показатели, а лишь некоторое их наиболее информативное подмножество п<И. Для выбранных информативных показателей автоматически определяется их значимость.

Апробация методики отбора информативных показателей проведена в Сибирском университете потребительской, кооперации в 2004 г. Выбор объекта исследования обусловлен наличием исчерпывающей информации о деятельности кафедр и возможностью проведения экспертных опросов. В эксперименте участвовало 17 кафедр. Для рейтинга кафедр предлагалось использовать 32 показателя. В результате их анализа методом одного, двух и трех ближайших соседей получена информативная выборка из пяти показателей. Дальнейшее увеличение числа показателей не улучшало, а даже ухудшало качество предсказания рейтинга (табл. 3).

Таблица 3

Результаты выбора показателей рейтинга кафедр Сибирского университета потребительской кооперации в 2004 г. ___методом трех ближайших соседей__

Количество Среднее отклонение от рейтинга, Номера показателей

показателей (п) предсказанного экспертами в наилучшей выборке

) 3,047 24

2 2.547 4. 13

.4 2,324 10, 16. 24

4 2,206 1. 10. 16, 24

5 1,806 10, 14, 16,21.24

6 1,806 10, И, 16, 17,21.24

7 1,924 9, 10, 14. 16, 17.21.24

8 1,835 2.5, 9, 10, 14. 16,21,24

1,835 2, 5,9. 10, 14. 16, 17.21.24

Примечание. Наименование информативных показателей: 10 - обеспеченность дисциплин собственными методическими разработками. %; 14 - проведение мероприятий по внеучебной работе по кафедре в расчете на одного преподавателя; 16 - опубликовано статей и тезисов в научно-методических журналах и сборниках трудов одним преподавателем: 21 - число аспирантов, закрепленных за кафедрой, в расчете на одного преподавателя с ученой степенью: 24 -удельный вес остепененных преподавателей, членов советов

Для оценки надежности использования пяти информативных показателей рассчитан рейтинг кафедр университета по трем наиболее часто используемым для этих целей формулам (табл. 4).

Таблица 4

Коэффициенты корреляции между рейтингами кафедр Сибирского университета потребительской кооперации, рассчитанными по 32 и 5 показателям в 2004 г.

Формула расчета рейтинга Коэффициент корреляции

0,751

0,759

II гМ. 0,747

Примечание. И, - рейтингу'-й кафедры: а, - вес 1-го показателя (ошибка прогноза рейтинга при удалении /-го показателя из информативной выборки); :„- значение 1-го стандартизированного показателя /-й кафедры.

Коэффициенты парной корреляции между значениями рейтинга, рассчитанного по 32 и 5 показателям, подтвердили целесообразность выбора информативных показателей, использование которых поможет получить достаточно надежные значения рейтинга кафедр.

4. Методика статистического исследования научной квалификации преподавателей государственных классических университетов

и ее апробация

Анализ отечественной и зарубежной научной литературы, посвященной оценке квалификации преподавателей и рейтинговым моделям в образовании, показал, что до 2006 г. (начало проведения автором систематического исследования квалификации преподавателей российских университетов) ни один университет постсоветского пространства не проводил подобной работы. В связи с этим, на основе зарубежного опыта автором составлена и апробирована методика статистического исследования научной квалификации преподавателей классических университетов, предполагающая проведение независимого скрининга всех публикаций и анализа их цитируемости. Методика содержит пять этапов.

Первый этап - выбор метода расчета показателя цитируемости. Наиболее простым и ясным является индекс цитируемости.

Второй этап - выбор информационной базы для проведения исследования. Для исследования выбрана наукометрическая база данных компании Thomson Reuters (бывшего Института научной информации США -Institute of Science Information (IS1)), поскольку она создана в 1963 г. и до

2005 г. являлась основным наукометрическим инструментом для определения цитируемости научных работ.

Третий этап - выбор объекта и постановка задач исследования. В качестве объекта исследования определены: 1) химические факультеты государственных университетов России - выбор обусловлен тем, что в

2006 г. наиболее полная информация о профессорско-педагогическом составе находилась на сайтах этих факультетов; 2) естественнонаучные факультеты государственных университетов Сибирского федерального округа - отобраны потому, что на сайте ISI содержится информация о цитировании публикаций в основном по естественным наукам; 3) Новосибирский государственный университет - попал в выборку, имея достоверную и исчерпывающую информацию о списочном составе всех кафедр университета на начало 2006/2007 учебного года.

Основная задача статистического исследования состояла в необходимости доказательства, что для оценки научной квалификации преподавателей государственных университетов можно использовать показатели, базирующиеся на оценке цитируемости научных публикаций, и для этого достаточно иметь наукометрическую базу данных и список преподавателей, размещенный на WEB-сайтах университетов.

Четвертый этап - сбор информации. Статистическое наблюдение состояло в сборе информации, во-первых, с WEB-сайтов университетов о

профессорско-преподавательском составе анализируемых кафедр, во-вторых, с сайта 181. Сбор информации проведен в 2006 г. по каждому преподавателю отдельно. Всего исследованы публикации 5957 преподавателей. Скрининг публикаций на сайте 151 проведен с 1991 по 2006 гг. По каждому сотруднику собраны следующие сведения: число работ; число ссылок на все работы - индекс цитируемости; максимальное число ссылок на одну работу. Высокое значение последнего показателя характеризует, по мнению автора, наличие в вузе научных школ. На их основе автором предложены и рассчитаны следующие показатели научной квалификации преподавателей: 1) процент преподавателей, публикации которых можно найти в 1Б1 - характеризует долю преподавателей, способных создавать работы, интересные мировому научному сообществу; 2) среднее число ссылок на одну работу (индекс цитируемости средней публикации) - позволяет сравнивать научную продуктивность исследователей разных университетов; 3) среднее число ссылок на одного преподавателя (средний индекс цитируемости преподавателя) - показывает, насколько востребованы исследования среднего преподавателя университета; 4) среднее число работ на одного преподавателя - аналогичен показателям государственной аккредитации, характеризует продуктивность, но не научную квалификацию преподавателя.

Пятый этап - сводка, группировка и анализ собранной информации. Информация сгруппирована по кафедрам и факультетам и обобщена по каждому университету. Кроме того, для Новосибирского государственного университета проведена группировка по категориям сотрудников.

Главные результаты статистического исследования научной квалификации преподавателей состоят в следующем:

1. Основным показателем, характеризующим научную квалификацию преподавателей, является средний индекс цитируемости публикации. Об этом свидетельствуют, например, результаты исследования научной квалификации преподавателей химических факультетов российских университетов (табл. 5). Заметим, что по показателю «число работ на одного преподавателя» Воронежский государственный университет занимает четвертое место. В то же время по числу ссылок на одного преподавателя - только шестое. По числу ссылок на одну публикацию этот вуз далеко отстает от Новосибирского, Московского, Дальневосточного и Санкт-Петербургского университетов. Таким образом, несмотря на то, что ведущие преподаватели Воронежского университета публикуют достаточное количество научных работ, они не представляют интереса для научного сообщества.

Таблица 5

Результаты исследования научной квалификации преподавателей химических факультетов классических университетов России в 2006 г. (по данным 181 1991-2006 гг.)

Универси- Число Число Макси- Число Численность Процент Число Число пуб-

теты1 публи- ссылок мальное ссылок преподавате- преподава- ссылок на ликации на

кации число на одну лей (на сайте телей, одного одного пре-

ссылок публикацию университета). чел. имеющих публикации преподавателя подавателя

МГУ 17315 74797 759 4.3 549 95,8 136,2 31,5

СПбГУ 4930 15037 245 3,1 244 94,3 61.6 20,2

ТГУ 402 273 15 0,7 43 86,1 6,4 9,4

КГУ 2018 4822 54 2.4 57 96,5 84.6 35.4

КБГУ III 78 ^ 25 0.7 60 40,0 1,3 1,9

ННГУ 446 380 14 0,9 83 59,0 4,6 5,4

СГУ 660 1060 30 1.6 68 86,8 15.6 9,7

ТюмГУ 153 90 5 0.6 30 70.0 3,0 5,1

ВГУ z 589 475 28 0.8 21 100.0 22.6 28,1

ДвГУ3 548 2104 48 з,х: 42 Н 88,1 50,1 13,5

СтГУ 50 132 13 2,6 23 17,4 5,7 2,2

БГУ 982 1019 17 1.0 56 89,3 18,2 17,5

КубГУ 499 841 51 1,7 45 88,9 18,7 11,1

НГУ 4263 19846 125 4.7 144 97,2 137,8 29,6

1 Государственные университеты. Московский (МГУ). Санкт-Петербургский (СПбГУ). Томский (ТГУ), Казанский (КГУ), Кабардино-Балкарский (КБГУ). Нижегородский (ИНГУ), Саратовский (СГУ), Тюменский (ТюмГУ), Воронежский (ВГУ), Дальневосточный (ДвГУ), Ставропольский (СтГУ), Башкирский (БГУ), Кубанский (КубГУ). Новосибирский (НГУ) Исследованию подлежали преподаватели университетов, занявшие в рейтинге Минобрнауки РФ 2005 г. 1-26 место. " На сайте университета указаны только ведущие преподаватели.

3 Число ссылок на одну работу рассчитано с учетом цитируемости преподавателей кафедры биоорганической химии и биотехнологии.

2. Для группировки классических университетов по уровню научной

квалификации преподавателей целесообразно использовать два показателя: индекс цитируемости публикации и процент преподавателей, имеющих публикации. Так, по этим показателям геолого-географические факультеты государственных университетов Сибирского федерального округа (рис. 2) делятся на три кластера: 1) Новосибирский государственный университет, где 84,4 % преподавателей имеют публикации в ведущих зарубежных изданиях, индекс цитируемости публикаций - 2,7; 2) Алтайский, Томский, Иркутский и Тывинский государственные университеты, где до 25 % преподавателей публикуют работы, интересные мировому научному сообществу, индекс цитируемости работ от 2 до 2,9; 3) Читинский университет, преподаватели которого имеют работы с нулевой цитируемостью и ГорноАлтайский университет, ведущие преподаватели которого не публикуют результаты исследований в зарубежных журналах.

2,5

? 2.0 £ а>

I 1 1.5

о га § &

о Б

Л 4 п

о 5 10

щ *

0 ?

1 0,5 ш

0,0

ЧитГУ ГАГУ АлтГУ ТГУ ИГУ ТывГУ НГУ

Государственные университеты: Читинский (ЧигГУ), Горно-Алтайский (ГАГУ), Алтайский (АлтГУ), Томский (ТГУ), Иркутский (ИГУ), Тывинский (ТывГУ), Новосибирский (НГУ)

Рис. 2. Группировка геолого-географических факультетов государственных университетов Сибирского федерального округа по индексу цитируемости публикации и проценту преподавателей, имеющих публикации

Введение в число группировочных признаков других показателей научной квалификации преподавателей не улучшает, а в некоторых случаях ухудшает группировку, приводит к объединению в одну группу всех государственных университетов Сибирского федерального округа, кроме Новосибирского.

3. Научный потенциал преподавателей университетов неодинаков. Среди химических факультетов классических университетов России высоким научным потенциалом обладают преподаватели Новосибирского, Московского, Дальневосточного и Санкт-Петербургского (индекс цитируемое™ - от 4,7 до 3,1). Среди естественнонаучных факультетов государственных университетов Сибирского федерального округа - преподаватели Новосибирского университета (7,0). В Новосибирском университете наибольшим потенциалом обладают преподаватели естественнонаучных факультетов (7,0), а также почасовики и совместители (6,9), основным местом работы для которых являются институты Сибирского отделения РАН, что обеспечивает высокий уровень преподавания и подготовки востребованных специалистов, прежде всего естественных наук. Справедливость данного утверждения подтверждают результаты исследования востребованности выпускников факультета естественных наук. В течение первого года после окончания университета по специальности устраиваются в среднем 92 % выпускников, в том числе по специальностям: «Химия» - 90,2 % (табл. 6), «Биология» - 92,7, «Экология и природопользо-

вание» - 97,8 %. Средняя ошибка по всем специальностям составляет 0,8 процентного пункта (с вероятностью 0,954).

Таблица 6

Трудоустройство выпускников Новосибирского государственного университета специальности «Химия»

с 1991 по 2004 гг.

Год Процент трудоустроенных выпускников по специальности (с вероятностью 0.954)

вы- Всего В том числе за границей

пуска в течение первого года в настоящее в течение первого в настоящее

после выпуска время года после выпуска время

1991 90,6 ± 3.8 78,1 ±5,4 12,5 ±4,3 15.6 ±4.7

1995 82,6 ±5,4 82,6 ±5,4 13,0 ±4,8 26.1 ± 6,2

2000 94.4 ±4.6 94,4 ±4,6 16.7 ±7,5 27.8 ±9,0

2004 87.5 ± 1.9 81,3 ±2,3 2,1 ±0,8 г 4.2 ± 1.2

Примечание. Опрос проведен в 2006 г.; опрошено в среднем 87 % выпускников 1991 - 2004 годов выпуска.

4. Низкий уровень цитируемости научных работ преподавателей гуманитарных факультетов, рассчитанный по данным наукометрической базы К>1, не означает низкий уровень их научной квалификации. Для оценки цитируемости необходимо воспользоваться другой наукометрической базой.

Полученные результаты доказали возможность использования показателей цитируемости научных работ для оценки и анализа научной квалификации преподавателей российских классических университетов.

5. Методика статистического исследования квалификации преподавателей государственных технических университетов

н ее апробация

Отсутствие зарубежной и отечественной практики исследования квалификации преподавателей технических университетов обусловило необходимость разработки авторской методики, которая включает четыре этапа.

Первый этап - выбор объекта и постановка задач исследования. Задача исследования заключалась в расчете двух показателей: индекса цитируемости научных публикаций и патентной активности, а также выбора наиболее значимого из них для объективной оценки квалификации преподавателей. В качестве объекта исследования выбран Новосибирский государственный технический университет. Выбор обусловлен наличием подробной информации о профессорско-преподавательском составе на ШЕВ-сайте университета. Кроме того, проведен анализ квалификации

преподавателей ряда кафедр государственных технических университетов Сибирского федерального округа.

Второй этап - выбор информационной базы для проведения исследования. Для скрининга патентов использованы патентные базы: 1) Федеральной службы по интеллектуальной собственности, патентам и товарным знакам «Роспатент». Недостатком базы является наличие информации только о российских патентах и только с 1994 г.; 2) евразийского патентного ведомства, где размещены российские и зарубежные патенты с момента их издания (т.е. до 1994 г.).

Третий этап - сбор информации. Основой анализа послужили \УЕВ-сайты университетов, с которых собраны списки преподавателей технических факультетов. Исследование научного потенциала преподавателей проведено в соответствии с вышеописанной методикой. Информация о патентах и публикациях 1593 преподавателей собрана в 2008 г.

Четвертый этап - сводка, группировка и анализ собранной информации. По Новосибирскому государственному техническому университету собранная информация сгруппирована по кафедрам и факультетам, двум категориям сотрудников: штатным и совместителям, а также обобщена в целом по вузу. Для других технических вузов информация обобщена только по кафедрам, аналогичным Новосибирскому университету.

Авторская система показателей патентной активности, кроме объемного показателя числа созданных патентов, включает: 1) процент преподавателей, информацию о патентах которых можно найти в патентных базах - показывает долю преподавателей, способных находить практическое применение своим знаниям; 2) патентную активность (среднее число патентов на одного преподавателя) - характеризует среднюю профессиональную продуктивность преподавателя.

Результаты исследования квалификации преподавателей технических университетов позволили сформулировать следующие выводы:

1. Квалификация преподавателей складывается из двух составляющих: научного потенциала, учитывающего вклад ученого в мировую науку, и практического опыта, в основе которого результаты прикладных исследований.

2. Для анализа квалификации преподавателей технических университетов, расположенных вблизи научно-исследовательских центров, целесообразно проводить оценку и анализ цитируемости научных работ и патентной активности. К таким вузам относится Новосибирский государственный технический университет: 31 % преподавателей имеют публикации, информацию о которых можно найти на сайте 181, и 34,2 % преподавателей выполняют прикладные исследования, приводящие к созданию патентов. Анализ публикаций и патентов отдельно по каждой группе пре-

подавателей показал: научным потенциалом обладают в основном совместители (индекс цитируемости 6,5 против 1,2 у штатных преподавателей), а патентной активностью - обе категории преподавателей (2 патента имеет средний штатный преподаватель, 2,6 - совместитель).

3. Для оценки квалификации преподавателей технических университетов, отдаленных от научных центров, следует использовать только патентную активность. По кафедрам электрических основ электротехники такой анализ представлен в таблице 7. Значительная часть преподавателей каждого университета имеет патенты, чего нельзя сказать о научных публикациях.

Таблица 7

Оценка квалификации преподавателей кафедр электрических основ электротехники технических университетов

Сибирского федерального Округа в 2008 г.

Университет' Процент преподавателей, имеющих патенты Число патентов на одного преподавателя Процент преподавателей, имеющих публикации (по данным 151)

НГТУ 42,1 5,1 21,1

ОмГТУ 66,7 4,7 0,0

ТПУ 47,6 3,9 38,1

АлтГТУ-1 55,6 3,7 0,0

СибГТУ 37,5 3,2 6,3

СФУ 50,0 1,3 10,0

Университеты: Томский политехнический (ТПУ), Новосибирский государственный технический (НГТУ). Сибирский федеральный (СФУ), Омский государственный технический (ОмГТУ), Алтайский государственный технический (АлтГТУ), Сибирский государственный технологический (СибГТУ).

Полученные результаты позволяют констатировать, что для оценки квалификации преподавателей российских технических университетов целесообразно использовать показатели цитируемости научных работ и патентной активности. Применять показатели необходимо дифференцировано, в зависимости от близости университета к научным центрам.

6. Статистическое обоснование достоверности и достаточности информации, размещенной в информационной сети университетов, для расчета индекса цитируемости

В случае использования информации, размещенной в информационной сети университетов, возникает вопрос о том, насколько она достоверна и может быть применима для независимого исследования квалификации преподавателей. Для оценки достоверности автором проведен расчет показателей цитируемости по двум спискам преподавателей: взятому в информационной сети и полученному из кадровой службы университе-

та. Для каждого показателя рассчитаны абсолютное отклонение (по модулю) между полученными значениями и вероятность появления случайных значений в анализируемых массивах информации. Расчеты проведены по естественнонаучным факультетам Новосибирского, Томского и Бурятского государственных университетов. Незначительное абсолютное расхождение значений анализируемых показателей получено только для средней цитируемостн публикаций: 0,2 ссылки для Новосибирского и 0,1 - для Томского и Бурятского университетов. Для этого показателя близка к нулю и вероятность появления случайных значений в анализируемых массивах данных (табл. 8).

Таблица 8

Вероятность совпадения показателей, рассчитанных по двум источникам информации (рассчитана по __

Показатели Госуда рстве н н ые у н иверс игеты

Новосибирский Томский Бурятский

Среднее число ссылок на одну публикацию 0,9999 0.9560 0.9761

Максимальное число ссылок 0,2922 0.0000 0,0000

Процент преподавателей, имеющих публикации 0,7234 0.0125 0,0000

Число публикаций на одного преподавателя 0,0006 0.4156 0,0238

Число ссылок на одного преподавателя 0,0000 0.9963 0,0053

Таким образом, несмотря на то, что численность преподавателей, указанная на сайтах университетов, не совпадает с численностью реально работающих, индексы цитируемости научных публикаций отличаются незначительно. Следовательно, правомерно использовать информацию о преподавателях, размещенную в информационной сети, для изучения цитируемости их научных работ.

7. Методика потребительского мониторинга качества вузовского образования

Изучив опыт проведения исследования удовлетворенности потребителей качеством образовательных услуг, автор пришел к выводу, что ни один вуз не проводит комплексного исследования всех групп потребителей, а зачастую ограничивается только изучением удовлетворенности выпускников и работодателей. Используемый ими инструментарий не позволяет провести сравнительный анализ удовлетворенности разных групп потребителей. Процедура мониторинга ничем не отличается от маркетингового анализа. Крайне редко процесс изучения удовлетворенности потребителей заканчивается разработкой корректирующих мероприятий. В связи с этим, автором разработана методика потребительского монито-

ринга, лишенная названных недостатков, которая в 2003 г. внедрена в Сибирском университете потребительской кооперации.

Потребительский мониторинг, по мнению автора, - это периодическое массовое отслеживание состояния удовлетворенности потребителей образовательных услуг, сопоставление полученных результатов с требованиями и ожиданиями, выявление тенденций их изменений с целыо принятия управленческих решений. Авторская методика мониторинга включает ряд компонентов (табл. 9).

Таблица 9

Компоненты потребительского мониторинга_______

Компоненты Содержание

Цель Измерение удовлетворенности потребителей для управления качеством образовательного процесса

Функции Аналитическая, диагностическая, прогностическая, информационная, организационно-управленческая

Требования Достоверность, простота, оперативность, экономичность

Объекты Внутренние (абитуриенты, студенты, выпускники, преподаватели и сотрудники университета) и внешние потребители (работодатели)

Субъекты Центр менеджмента качества университета (координирует процесс мониторинга и формирует аналитические отчеты); методисты деканатов, кураторы академических групп, уполномоченные по качеству структурных подразделений университета, студенты и аспиранты (проводят опросы потребителей); специалисты центра информатизации университета (разрабатывают программы обработки анкет), специалисты лаборатории вычислительной техники (обрабатывают результаты опросов)

Каналы распространения информации Советы университета, факультетов; страница университетского сайта; ежегодная научно-методическая вузовская конференция, посвященная качеству профессионального образования; вузовская газета

Способы сбора первичной информации Документированный, опрос (интервью с деканами, работниками ректората, заведующими кафедрой, анкетирование)

Этапы 1. Определение потребностей и ожиданий потребителей 2. Оценка удовлетворенности потребителей качеством образовательных услуг, оказываемых университетом 3. Сопоставление ожиданий и фактической удовлетворенности потребителей 4. Формирование планов корректирующих и предупреждающих мероприятий для улучшения качества предоставляемой образовательной услуги

В Сибирском университете потребительской кооперации система мониторинга разработана для всех групп потребителей. Ежегодно в вузе опрашивается около 4 тыс. респондентов. Результаты гарантированы с предельной ошибкой 0,1 балла и 2,6 процентного пункта (с вероятностью 0,954). Фрагмент структуры и содержания потребительского мониторинга студентов 1 курса Сибирского университета потребительской кооперации представлен в таблице 10.

Таблица 10

Структура и содержание потребительского мониторинга студентов 1 курса

Сибирского университета потребительской кооперации_

Компоненты____Содержание_

Цель

исследования

Определение потребностей и ожиданий студентов, оценка привлекательности университета

Оценивание удовлетворенности качеством обучения на подготовительных курсах___

Инструментарий

Анкета «Нывший абитуриент СибУПК»

Критерии и индикаторы оценки

Мотивы получения высшего образования, выбора специальности и университета

Техника сбора информации

Периодичность Выборка_

Закрытые и полузакрытые вопросы

Качество подготовки на подготовительных курсах:

• организация подготовительных курсов

• условия обучения

• качество преподавания результата вность обучения

Закрытый вопрос с пятибалльной шкалой оценки

Предложения по улучшению деятельности подготовительных курсов

Открытый вопрос

Ежегодно 75%

Несмотря на простоту сбора субъективной информации, следует с осторожностью относиться к мнению, выраженному студентами, поскольку они не всегда представляют свои ожидания и в силу разного уровня довузовской подготовки и менталитета не могут достаточно надежно оценить качество образования. Вывод сделан по результатам анализа ответов студентов разных вузов, оценки тесноты связи между официальным рейтингом кафедр и мнением студентов о деятельности кафедр, уровнем цитируемости публикаций преподавателей и мнением студентов о качестве профессорско-преподавательского состава (табл. 11).

Таблица 11

Коэффициенты корреляции между мнением студентов о качестве профессорско-преподавательского состава и уровнем цитируемости

научных публикаций преподавателей российских государственных университетов

Группы факультетов российских университетов и университетов Сибирского федерального округа (СФО) Коэффициент корреляции

Химические факультеты университетов России -0,313

Физические факультеты университетов СФО -0,221

Естественнонаучные факультеты университетов СФО 0,456

Математические факультеты университетов СФО 0.618

Примечание. Информация о мнении студентов взята и а \УЕВ-сайте «ВСЕВЕД» 14.03.2009 г.

(ht^p://\v^^'vv.ed.vseved.R^/cgi-bin/access.cg¡9v^цzid-l457&modc=spec&spec=S8).

Между мнением студентов о качестве преподавателей и уровнем цитируемости их публикаций нет четкой зависимости. Для химических факультетов российских государственных университетов и физических факультетов государственных университетов Сибирского федерального

округа зависимость очень слабая, обратная. Это объясняется тем, что качество преподавателей данных факультетов студенты оценивают одинаково высоко: от 4 до 5 баллов. В то же время уровень цитируемости значительно отличается: от 0,5 до 9,9 ссылок на одну публикацию. Для естественнонаучных и математических факультетов прослеживается прямая существенная зависимость: оценки студентов от 3,5 до 4,7 баллов, а индекс цитируемости, за исключением естественнонаучного факультета Новосибирского государственного университета (5,4), находится в пределах от 0 до 2,4, т.е. примерно одинаковый. Возможно, полученный результат обусловлен тем, что студенты оценивают только педагогическое мастерство, но не научную составляющую квалификации преподавателя.

Таким образом, мнение студентов о качестве квалификации преподавателей может значительно расходиться с объективной оценкой их научной квалификации. Следовательно, оценки студентов не должны быть основным индикатором для межвузовского сравнения качества образования. Тем не менее, эту информацию следует использовать для выявления проблем в образовательном процессе университета и принятия административных мер по их устранению.

III. ВЫВОДЫ

Проведенное исследование показало: качество образования - это многогранное понятие, отдельные аспекты которого исследуются разными науками. В настоящее время недостаточно разработаны методологические основы статистического исследования качества образования. Статистическая информация, используемая общественными и государственными структурами, для оценки качества образования не является достаточно надежной. Кроме того, не применяются зарубежные методики оценки качества, отсутствует традиция независимой оценки деятельности вуза. Все это обусловило целесообразность авторского исследования, благодаря которому углублены теоретические основы и развита методология статистики качества образования.

Получены следующие основные результаты:

• уточнено статистическое определение понятия «качество образования», определены принципы и сформирована концепция статистического исследования качества вузовского образования;

• выявлены наиболее значимые для оценки качества высшего образования характеристики: показатели научной квалификации преподавателей и результатов образовательной деятельности, определена система статистических информативных показателей для исследования качества подготовки специалистов в вузах;

• предложена и апробирована методика формирования системы информативных показателей для расчета рейтинговой оценки кафедр университета;

• расширен перечень организационных форм статистического наблюдения;

• предложены новые системы статистических показателей квалификации преподавателей, востребованности и конкурентоспособности выпускников;

•обоснован перечень признаков для кластеризации университетов по уровню научной квалификации преподавателей;

• разработаны методики статистического исследования квалификации преподавателей университетов;

• впервые проведено исследование научной квалификации преподавателей российских университетов, основанное на объективной независимой оценке их деятельности;

• доказана достаточность информации, размещенной в информационной сети университетов, для проведения независимого исследования научной квалификации преподавателей;

• разработана и апробирована методика статистического мониторинга потребителей образовательных услуг;

• предложена программа наблюдения востребованности выпускников;

• адаптирован статистический анализ 8\УОТ-матрицы для исследования конкурентоспособности выпускников;

• показано, что мнение, выраженное студентами, не всегда объективно. Однако исключать его не следует из интегральной оценки качества подготовки специалистов в вузах.

IV. ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИОННОЙ РАБОТЫ ОТРАЖЕНЫ В СЛЕДУЮЩИХ ПУБЛИКАЦИЯХ

Статьи в изданиях, рекомендованных ВАК

1. Донецкая С.С. Российский подход к ранжированию ведущих университетов мира // ЭКО. - 2009. - № 8 (422). - 0,7 п.л.

2. Донецкая С.С. Анализ квалификации преподавателей технических вузов, основанный на объективной оценке их деятельности // Вестник Новосибирского государственного университета. Серия: Социально-экономические науки. - 2009 - Т. 9. - Вып. 2. -1,0 п.л.

3. Донецкая С.С. Сравнительный анализ научного потенциала преподавателей естественнонаучных факультетов государственных универ-

ситетов Сибирского федерального округа // Региональная экономика: теория и практика. - 2008. -№ 30 (87). - 1,1 пл.

4. Донецкая С.С. Анализ научного потенциала преподавателей Новосибирского государственного университета на основе объективной оценки их научной деятельности // Вестник Новосибирского государственного университета. Серия: Социально-экономические науки. - 2008. -Т. 8.-Вып. 2.-1,0 п.л.

5. Струминская Л.М., Донецкая С.С. Практические аспекты внедрения системы менеджмента качества в вузе // Стандарты и качество. -2007. - № 7. - 0,8 п.л. (ает. - 0,4 п.л.).

6. Донецкая С.С. Научный потенциал преподавателей российских университетов (на примере химических факультетов) // ЭКО. - 2007. -№4 (394).-0,7 п.л.

7. Загоруйко Н.Г., Рыскулов С.Н., Донецкая С.С. Методика отбора показателей для рейтинговой оценки деятельности кафедр университета // Университетское управление: практика и анализ. - 2006. - № 6 (46). -1,0 п.л. (авт. - 0,3 п.л.).

8. Капелюк З.А., Донецкая С.С., Струминская JI.M. Потребительский мониторинг удовлетворенности качеством образовательных услуг в вузе // Стандарты и качество. - 2006. - № 1. - 0,6 п.л. (авт. - 0,2 п.л.).

Монографии

9. Клещевский Ю.Н., Хасбутдинова J1.B., Донецкая С.С. и др. Менеджмент качества и инновации в образовании: региональный аспект: Монография. - М.: РГТЭУ, 2010. - 60 пл. (авт. - 2,5 пл.)

10. Донецкая С.С. Теория и практика оценки квалификации преподавателей университетов: Монография. - Новосибирск: Новосиб. гос. ун-т, 2009. - 5,5 п.л.

11. Величко А.Н., Гаргай В.Б., Горина Т.В., Гусев В.П., Донецкая С.С. и др. Проверка знаний и потребности экономики: Монография -Новосибирск: AHO Редакция журнала «ЭКО», 2005. - 7,1 п.л. (авт. -0,3 пл.).

Статьи в научных изданиях

12. Донецкая С.С. Вузы вошли в ранж // Эксперт Сибирь. - 2010. -№ 13-14(269). -0,3 пл.

13. Донецкая С.С. Исследование удовлетворенности потребителей качеством образования на гуманитарном факультете Новосибирского государственного университета // Стратегии и инструменты управления

экономикой: отраслевой и региональный аспект: Материалы третьей международной научно-практической конференции. - СПб.: ИПЦ СПГУТД, 2010.-0,4 п.л.

14. Донецкая С.С. Анализ конкурентоспособности выпускников новосибирских вузов // Высшее профессиональное образование: традиции и инновации: Труды II международной научной конференции. - Кемерово: Кузбассвузиздат, 2009. - 0,3 пл.

15. Капелюк З.А., Струминская Л.М., Донецкая С.С. Опыт и проблемы формирования системы менеджмента качества подготовки специалистов в вузе // Ректор вуза. - 2008. - № 3. - 1,2 п.л. (авт. - 0,4 пл.).

16. Донецкая С.С. Исследование удовлетворенности потребителей качеством образовательных услуг в государственном и негосударственном вузах // Стратегии и инструменты управления экономикой: отраслевой и региональный аспект: Материалы второй всероссийской научно-практической конференции. - СПб.: ИПЦ СПГУТД, 2008. - 0,5 пл.

17. Донецкая С.С. Сравнительная оценка рейтинга кафедр университета 2004-2006 гг. // Инновационные технологии в образовательном процессе университета: Материалы научной конференции. - Новосибирск: СибУПК, 2007. - 0,3 п.л.

18. Струминская Л.М., Донецкая С.С. Сертификация системы менеджмента качества вуза - основное условие прохождения аттестации // Совершенствование качества высшего профессионального образования: Материалы научной конференции. - Новосибирск: СибУПК, 2005. -0,8 пл. (авт. - 0,4 пл.).

19. Донецкая С.С., Струминская Л.М. Мониторинг удовлетворенности потребителей качеством подготовки специалистов в университете // Совершенствование качества высшего профессионального образования: Материалы научной конференции. - Новосибирск: СибУПК, 2005. -0,3 п.л. (авт. - 0,2 пл.).

20. Струминская Л.М., Донецкая С.С. Мониторинг удовлетворенности персонала деятельностью университета // Внутривузовские системы обеспечения качества подготовки специалистов: Материалы 3-й международной научно-практической конференции. - Красноярск: Гос. ун-т цвет, металлов и золота, 2005. - 0,5 п.л. (авт. - 0,2 пл.).

21. Струминская Л.М., Донецкая С.С. Качество образования в оценках студентов // Внутривузовские системы обеспечения качества подготовки специалистов: Материалы международной научно-практической конференции. - Красноярск: Гос. ун-т цвет, металлов и золота, 2004. -0,4 п.л. (авт. - 0,2 пл.).

22. Донецкая С.С., Струминская Л.М. Оценка удовлетворенности потребителей качеством подготовки специалистов в Сибирском универ-

ситете потребительской кооперации // Проблемы высшего технического образования: Межвузовский сборник научных трудов. - Вып. 4 (29) Внут-ривузовские системы качества: опыт сибирского региона. - Новосибирск: Изд-во НГТУ, 2004. - 0,5 п.л. (авт. -0,2 пл.).

23. Донецкая С.С., Струминская Л.М. Создание системы обеспечения качества подготовки специалистов в СибУПК // Образование в новом тысячелетии: опыт, проблемы и перспективы развития: Материалы международной научно-практической конференции. - Новосибирск: НИПКиПРО, 2003. - 0,4 п.л. (авт. - 0,2 пл.).

Учебники, учебные пособия

24. Храмцова Т.Г., Бутримова Г.А., Донецкая С.С.и др. Статистика. - Новосибирск: СибУПК, 2007. - 13,8 пл. (авт. - 1,4 пл.).

25. Донецкая С.С. Статистика. - Новосибирск: Новосиб. гос. ун-т, 2004. - 4,5 пл.

Подписано в печать 24.06.2010. Формат 60х84/16. Бумага офсетная. Тираж 150 экз. Печ. л. 2,25. Уч.-изд. л. 2,09. Заказ № 339._

Типография Сибирского университета потребительской кооперации. 630087, Новосибирск, пр. К. Маркса, 26.

Диссертация: содержание автор диссертационного исследования: доктора экономических наук, Донецкая, Светлана Сергеевна

Введение.

1. Теоретические основы статистического исследования качества вузовского образования.

1.1. Современные подходы к определению понятия «качество образования».

1.2. Содержание и проблемы основных подходов к оценке качества образования.

1.3. Концепция статистического исследования качества вузовского образования.

2. Российский и зарубежный опыт оценки качества подготовки специалистов в вузах.

2.1. Сравнительный анализ аккредитацинных требований к деятельности вузов.

2.2. Анализ рейтинговых моделей в образовании.

2.3. Мнение российских потребителей о критериях качества высшего образования.

3. Методология статистического исследования качества вузовского образования.

3.1. Обоснование возможности исследования качества высшего образования с помощью системы информативных показателей.

3.2. Система статистических показателей качества подготовки специалистов в вузах.

3.3. Методика статистического исследования квалификации преподавателей государственных классических и технических университетов.

3.4. Методика статистического исследования востребованности выпускников и удовлетворенности потребителей качеством высшего образования.

4. Статистическое исследование квалификации преподавателей государственных классических и технических университетов.

4.1. Статистическое исследование научной квалификации преподавателей государственных классических университетов.

4.2. Статистическое исследование квалификации преподавателей технических университетов Сибирского федерального округа.

4.3. Оценка достоверности источников статистической информации.

5. Статистическое исследование востребованности выпускников и удовлетворенности потребителей качеством вузовского образования.

5.1. Статистическое исследование востребованности выпускников и удовлетворенности потребителей качеством образования.

5.2. Статистическое исследование конкурентоспособности выпускников.

5.3. Сравнение данных официальной статистики вузов и результатов опроса студентов.

Диссертация: введение по экономике, на тему "Методология статистического исследования качества подготовки специалистов в вузах"

Актуальность темы диссертационного исследования. В последние два десятилетия роль науки и образования все сильнее сказывается на уровне экономического развития государств. Это наиболее заметно в европейских странах, США, Японии, КНР и некоторых др., где до 25 % прироста национального дохода связано с развитием классического высшего образования [249]. В связи с этим приоритетным направлением обеспечения конкурентоспособности и национальной безопасности данных стран является повышение качества как общего, так и профессионального образования.

Повышение качества подготовки специалистов с высшим профессиональным образованием является также приоритетным направлением в современной образовательной политике России. В настоящее время главная роль в вопросах регулировании и финансировании образовательных учреждений отводится государству. Существующая система обеспечения качества образования базируется на процедурах лицензирования и аккредитации учебных заведений высшего профессионального образования, на основе которых подтверждается соответствие образовательного учреждения жестко регламентированным требованиям к его деятельности и качеству реализуемых образовательных программ.

После вступления России в Болонский процесс отечественные вузы проходят процедуру общественно-профессиональной аккредитации, которая предъявляет более строгие, чем государство, требования и ориентирована на выявление соответствия уровня подготовки студентов запросам работодателей, инвесторов и других заинтересованных сторон, в том числе международных организаций.

В настоящее время качество образования стали сопоставлять с позицией вуза в национальном или международном рейтингах.

Несмотря на разнообразие современных подходов к оценке качества образования, существует ряд проблем, таких как:

• отсутствие традиции независимой оценки деятельности вузов [45]. На сегодняшний день ни система аккредитации, ни рейтинговые системы не ориентированы на международные стандарты и показатели качества образования. В связи с этим в Концепции долгосрочного социально-экономического развития Российской Федерации на период до 2020 г. [13] указано, что основными ориентирами развития системы образования к 2012 г. должны стать: ужесточение лицензионных и аккредитационных требований, создание системы независимой общественно-профессиональной аккредитации и системы общественных рейтингов; обеспечение условий, при которых показатели качества образования российских учебных заведений будут находиться в начале рейтинг-листа результатов международных сопоставительных исследований;

• громоздкость существующих отечественных методик оценки качества образования. Стремясь максимально учесть все факторы, влияющие на качество образования, авторы методик включают в них большое количество показателей, которые зачастую дублируют друг друга, усложняют процедуру оценки и делают результаты малопонятными;

• сложность получения достоверной статистической информации о деятельности вузов. Каждый подход к оценке качества высшего образования, будь то аккредитация или рейтинговая оценка, использует одинаковые источники информации: данные официальной статистики; сведения, полученные непосредственно от вузов; опросы целевой аудитории и независимых экспертов. Однако, по мнению представителей рейтинговых агентств, больше всего проблем связано с получением статистической информации [164], прежде всего чрезмерной усложненностью этой процедуры; потерей данных на отдельных этапах ее обработки; несовпадением данных, собираемых различными ведомствами; несоответствие методологии статистического наблюдения международным стандартам; отсутствием информационных баз данных образовательной статистики. Указанные проблемы заставляют рейтинговые агентства и организации общественной аккредитации искать альтернативные источники объективной и достоверной статистической информации;

• отсутствие статистики качества образования. Система показателей федерального статистического наблюдения содержит только количественные характеристики деятельности учебных заведений: численность учащихся, прием, выпуск в учебные заведения, численность профессорско-преподавательского состава, наличие и использование площадей, финансирование и использование денежных средств и др.

Между тем статистические методы позволят сделать исследование качества высшего образования массовым, периодическим, результаты которого при создании доступной базы данных могут быть использованы при независимой оценке образовательных программ и ранжировании вузов.

Таким образом, целесообразность разработки методологии статического исследования качества высшего образования очевидна и обусловливает актуальность данной работы.

Степень разработанности проблемы.

Проблемы оценки качества образования рассмотрены в трудах

A.И. Вроейнстийна, E.H. Геворкян, A.B. Гличева, М.А. Гусаковского, Ю.А. Захарова, В.А. Кальней, В.П. Панасюк, А.Т. Петровой, М.М. Поташкина, Г.Б. Скок, А.И. Субетто, Н.В. Тихомировой и др.

Проблемам аккредитации посвящены работы Н.П. Аврамова, JI.H. Глебовой, И.Т. Заики, Г.И. Лазарева, Г.Н. Михайловой, Г.Н. Мотовой,

B.Г. Наводнова, Ю.Б. Рубина, В.А. Самойлова, В.Д. Шадрикова и др.

Анализ рейтинговых моделей в образовании проводился И.А. Артюшиной, И.Е. Волковой, М.М. Ковалевым, И.В. Маршаковой-Шайкевич, Д.А. Мельничук, C.B. Микони, В.М. Московкиным,

Н.Ш. Никитиной, Ю.П. Похолковым, В.П. Прокофьевым, Н.Б. Филиновым, В.А. Шутилиным и др.

Маркетинговым исследованиям и проблемам разработки потребительского мониторинга и системы менеджмента качества посвящены научные публикации И.К. Беляевского, О.П. Зайцевой, В.А. Качалова, Е.В. Кравченко, Л.Г. Миляевой, Н.И. Мовчан, Э.В. Новаторова, А.П. Панкрухина, Д.А. Шевченко и др.

Современные положения статистики образования и науки изложены в трудах И.И. Елисеевой, С.Д. Ильенковой, М.Г. Назарова и др. Проблемы модернизации статистики образования определены в постановлениях Правительства Российской Федерации, неоднократно обсуждались Минобрнауки РФ и Росстатом, а также отражены в трудах ученых государственного университета - Высшей школы экономики: Л.М. Гохберга, И.Ю. Забаруриной, Н.В. Ковалевой, В.И. Кузнецовой, O.K. Озеровой, Я.М. Рощиной, O.P. Шуваловой и др.

Несмотря на разносторонние подходы к исследованию проблем экономики и статистики образования, в современной экономической литературе не нашли достаточного освещения методологические вопросы статистического исследования качества подготовки специалистов в вузах. Отсутствует статистическое определение понятия «качество образования», учитывающее все цели его получения, не разработана система статистических показателей. Предложения по модернизации статистики образования на федеральном и региональном уровнях сводятся в основном к использованию громоздких программ наблюдения, в которых качество образования потребителями оценивается терминами «хорошее», «удовлетворительное», «плохое», а на уровне вуза - к проведению единовременных маркетинговых исследований выпускников или студентов. Для оценки качества высшего образования практически не применяются показатели, используемые в зарубежных странах и глобальных рейтингах, участниками которых являются российские университеты. Не используются наукометрические и патентные базы данных, которые в условиях существующих проблем с получением официальной статистической информации и в связи с необъективностью сведений, представляемых непосредственно вузами, могут стать основным источником объективной информации для общественных институтов независимого контроля качества образования. Между тем глобализация образовательного пространства требует единых подходов к оценке качества образования, в связи с чем необходимо рассмотреть возможность использования соответствующих зарубежных методик.

Вышесказанное определило цель и задачи исследования.

Цель диссертационного исследования состоит в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки.

Для достижения указанной цели поставлены следующие научные и практические задачи:

• исследовать понятие «качество образования» и существующие подходы к его оценке, выявить проблемы статистического исследования качества высшего образования, разработать концепцию исследования;

• проанализировать российский и зарубежный опыт оценки качества подготовки специалистов в вузах, систематизировать аккредитационные требования и показатели рейтинговых моделей;

• разработать методологию статистического исследования качества вузовского образования. Для этого сформировать систему информативных показателей качества подготовки специалистов в вузах, разработать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, востребованности выпускников и удовлетворенности потребителей качеством образования;

• апробировать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, оценить достоверность использования для этой цели информации, размещенной на "№ЕВ-сайтах университетов;

• исследовать востребованность выпускников и удовлетворенность потребителей качеством образования в вузах г. Новосибирска, определить степень доверия результатам опросов студентов.

Объектом исследования является качество вузовского образования в Российской Федерации.

Предметом исследования служит методология статистического исследования качества высшего образования, основанная на объективной информации, обеспечивающей независимость оценки.

Объект наблюдения - классические, технические и экономические университеты Сибирского федерального округа, химические факультеты ведущих государственных университетов Российской Федерации.

Область исследования. Содержание диссертации соответствует области исследования: п. 3.1. «Методы статистического измерения и наблюдения социально-экономических явлений, обработка статистической информации, оценка качества данных наблюдений; организация статистических работ»; п. 3.2. «Методология построения статистических показателей, характеризующих социально-экономические совокупности, построения демографических таблиц, измерения уровня жизни населения, состояния окружающей среды»; п. 3.4. «Методология социального и экономического мониторинга, статистического обеспечения управления административно-территориальным образованием; измерение неравномерности развития территориальных образований» Паспорта номенклатуры специальностей научных работников (экономические науки).

Теоретической и методологической основой исследования выступают фундаментальные и прикладные работы ведущих российских и зарубежных ученых, посвященные статистическим методам исследования качества образования, квалификации научных работников, рейтинговым моделям, маркетингу в сфере образования. Использованы общенаучные принципы и методы: анализа и синтеза, индукции и дедукции, системного подхода, исторический и логический, абстракции и эвристический.

В качестве исследовательского инструментария применялись методы наблюдения, сводки и группировки, обобщающих показателей, регрессионного и корреляционного анализа, сравнительного анализа, экспертных оценок, распознавания образов, проверки гипотез, а также табличные и графические методы представления результатов исследования. Обработка исходной информации проводилась с применением программ: «Statistica», «Access» и «Microsoft Excel», а также программ, составленных с помощью «С++».

Информационная база исследования сформирована на основе данных сайтов компании Thomson Reuters (бывшего Института научной информации США (ISI)), Федеральной службы по интеллектуальной собственности, патентам и товарным знакам «Роспатент», Евразийского патентного ведомства, ведущих государственных университетов России и университетов Сибирского федерального округа, независимого рейтингового агентства в сфере образования «РейтОР», а также результатов многолетних авторских исследований потребителей образовательных услуг Сибирского университета потребительской кооперации и публикаций в периодической печати.

Достоверность и обоснованность основных положений, выводов и рекомендаций, содержащихся в диссертационной работе, подтверждаются корректным применением общенаучных и специальных методов исследований; репрезентативным объемом использованного информационного массива; положительной апробацией результатов исследования.

Научная новизна результатов исследования, полученных автором, заключается в обосновании и разработке методологии статистического исследования качества образования в российских университетах.

Наиболее существенными, обладающими научной новизной, являются следующие результаты исследования:

1. Углубляющие теорию статистики качества образования:

• уточнено статистическое определение понятия «качество образования», которое отличается от известных тем, что учитывает перспективные цели получения образования; разработана концепция статистического исследования качества вузовского образования, основанного на информации, обеспечивающей независимость оценки и соответствие используемых показателей международным требованиям;

• предложена авторская классификация показателей, используемых в России и за рубежом при аккредитации и рейтинговании вузов, выполненная в соответствии с системным подходом к качеству образования и выявившая, что наиболее важными для оценки качества образования являются те показатели, которые характеризуют научную квалификацию преподавателей и результаты образовательной деятельности вузов. Обоснована авторская система статистических информативных показателей качества подготовки специалистов в вузах, которая отличается от существующих российских систем аккредитационных и рейтинговых показателей тем, что содержит универсальные показатели научной квалификации преподавателей и результатов образовательной деятельности, применимых как для российских, так и зарубежных университетов.

2. Развивающие методологию статистического исследования качества образования:

• адаптирован метод решения «обратных задач» к формированию системы показателей рейтинговой оценки кафедр университетов, который в отличие от метода «прямых задач» позволяет выявить информативные показатели, достаточно надежно оценивающие рейтинг кафедр;

• впервые проведено статистическое исследование научной квалификации преподавателей государственных классических университетов на основе предложенной методики, построенной на изучении цитирования научных публикаций преподавателей, которое используется в современном научном мире для оценки квалификации научных работников и, как показало исследование, может быть также применено для оценки научной квалификации преподавателей, прежде всего естественнонаучных факультетов. На этапе наблюдения использованы новые для статистической науки организационные формы: наукометрические базы данных. Предложена система статистических показателей и выбраны признаки кластеризации университетов, отражающие научную квалификацию преподавателей. Методика апробирована на химических факультетах государственных университетов России и естественнонаучных факультетах государственных университетов Сибирского федерального округа;

• разработана методика статистического исследования квалификации преподавателей технических университетов. Предложено дополнительно к изучению цитируемости публикаций анализировать патентную активность преподавателей и дифференцировать расчет показателей в зависимости от степени интеграции объекта наблюдения с научно-исследовательскими центрами. Для исследования патентной активности заявлена авторская система показателей и новые организационные формы наблюдения: патентные базы данных. Методика апробирована на технических университетах Сибирского федерального округа;

• статистически обоснованы достоверность и достаточность информации, размещенной в информационной сети университетов, для расчета индекса цитируемости научных публикаций;

• разработана методика потребительского мониторинга, которая отличается от маркетинговых исследований, широко используемых российскими вузами, тем, что предполагает периодическое массовое изучение удовлетворенности потребителей образовательных услуг, сопоставление полученных результатов с требованиями и ожиданиями, выявление тенденций их изменения с целью принятия управленческих решений.

Теоретическое значение диссертационной работы заключается в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки. Новым для теории статистики являются предложенные автором организационные формы статистического наблюдения, системы статистических показателей научной квалификации, патентной активности преподавателей университетов, удовлетворенности и конкурентоспособности выпускников, а также группировки и классификации.

Практическая значимость исследования определяется возможностью использования полученных результатов для анализа качества вузовского образования на любых уровнях: вузовском, региональном и федеральном.

В настоящее время в деятельности центра менеджмента качества Сибирского университета потребительской кооперации используются методики потребительского мониторинга и отбора информативных показателей рейтинговой оценки кафедр. Методика исследования квалификации преподавателей применяется в Новосибирском государственном университете. Результаты исследования квалификации преподавателей университетов Сибирского федерального округа востребованы администрацией Новосибирской области и департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение».

Апробация и внедрение результатов исследования осуществлялись по следующим направлениям: в деятельности университетов, связанной с менеджментом качества, и деятельности региональных органов власти в области оценки качества вузовского образования.

Результаты диссертационного исследования внедрены и используются в деятельности центра менеджмента качества Сибирского университета потребительской кооперации для отслеживания удовлетворенности потребителей качеством образовательных услуг и построения рейтингов кафедр и факультетов университета. Результаты исследования размещены на сайте университета (http://www.sibupk.nsk.su/New/04/quality/quality.htm) и учтены в 2008 г. при прохождении комплексной оценки деятельности университета и сертификации системы менеджмента качества (справка об использовании результатов диссертационного исследования от 25.06.2009 № 16-947).

Результаты работы, состоящие в анализе научного потенциала всех преподавателей Новосибирского государственного университета, использованы в 2008 г. ректоратом университета при представлении сведений о профессиональной компетентности преподавателей университета в независимое рейтинговое агентство «РейтОР» (г. Москва) с целью участия в первом российском рейтинге ведущих университетов мира (справка об использовании результатов диссертационного исследования от 25.06.2009 №40-01/150).

Результаты исследования апробированы при составлении рейтинга кафедр Благовещенского государственного педагогического университета (справка об использовании результатов диссертационного исследования от 10.08.2009 № 479) и Благовещенского филиала Московской академии предпринимательства (справка об использовании результатов диссертационного исследования от 17.08.2009 № 01-14/250).

Материалы исследования использованы в 2008 г. департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение» для независимой оценки квалификации преподавательского состава естественнонаучных факультетов государственных университетов Сибирского федерального округа (акт о внедрении от 27.08.2009 № 01-29).

Результаты обсуждались на международных, всероссийских и региональных научных конференциях, в том числе «Высшее профессиональное образование: традиции и инновации» (Кемерово, 2009 г.), «Образование и общество» (Москва, 2009 г.), «Стратегии и инструменты управления экономикой: отраслевой и региональный аспект» (Санкт-Петербург, 2008, 2010 гг.), «Внутривузовские системы обеспечения качества подготовки специалистов» (Красноярск, 2003, 2004, 2005, 2006 гг.), «Проблемы обеспечения качества университетского образования» (Кемерово, 2004 г.), «Образование в новом тысячелетии: опыт, проблемы и перспективы развития» (Новосибирск, 2003 г.).

Научные публикации. Основные теоретические и методологические результаты исследования нашли отражение в 25 опубликованных работах общим объемом 103,7 п.л. (в т.ч. авторские - 23,2 п.л.), из них три монографии, 8 статей в ведущих рецензируемых журналах, рекомендованных Высшей аттестационной комиссией.

Объем и структура диссертации. Работа состоит из введения, пяти глав, заключения, библиографического списка, включающего 304 наименования, 40 приложений, содержит 305 страниц основного текста, 62 таблицы и 23 рисунка.

Диссертация: заключение по теме "Бухгалтерский учет, статистика", Донецкая, Светлана Сергеевна

Результаты исследования позволили сделать вывод, что показатели востребованности, удовлетворенности и конкурентоспособности выпускников следует, прежде всего, использовать для оценки и анализа качества образования студентов гуманитарного профиля, поскольку рассчитать показатели объективной оценки квалификации преподавателей, включенных нами в интегральную модель оценки качества вузовского образования, для гуманитарных факультетов не представляется возможным.

Несмотря на простоту сбора субъективной информации, следует с осторожностью относиться к мнению, выраженному студентами об удовлетворенности качеством подготовки и уровне своей конкурентоспособности. Мнение студентов о качестве образования не может быть основным критерием при межвузовском и даже внутривузовском сравнении. Более надежной является информация, полученная от выпускников или работодателей. Вместе с тем мнения студентов могут и должны быть использованы для выявления проблем в образовательном процессе и принятии административных мер по их устранению.

ЗАКЛЮЧЕНИЕ

Проведенное исследование позволило сформировать и апробировать методологию статистического подхода к изучению качества подготовки специалистов в вузах, основанного на объективной информации, обеспечивающей независимость оценки. На основе полученных результатов сделаны следующие выводы.

1. Качество образования — это многогранное понятие, отдельные аспекты которого анализируются философией, экономикой, статистикой, социологией и педагогикой. В настоящее время наиболее слабо представлен статистический подход: нет определения понятия, учитывающего как краткосрочные, так и перспективные цели получения высшего образования, не проводится статистическое исследование качества образования, а организация существующей системы статистического наблюдения за деятельностью высших образовательных учреждений нуждается в совершенствовании.

Анализ существующих определений понятия «качество образования» позволил автору выявить их общие характеристики: многоаспектность, многокритериальность, многосубъектность, многоуровневость, системность и статичность. В то же время качество образования - динамическое понятие, характеризующие соответствие результата образовательной деятельности долгосрочным целям личности и общества. Понимание этого позволило автору уточнить определение качества образования с точки зрения статистической методологии. Под качеством образования следует понимать количественную характеристику совокупности показателей условий обучения и результатов образовательной деятельности, состоящих в привитии обучаемым необходимых знаний, умений и навыков, соответствующих современным требованиям науки и экономики, а также формирующих у обучаемых способность учиться всю жизнь.

2. Автором составлена концепция статистического исследования качества высшего образования, в основу которой положена гипотеза. Согласно гипотезе качество российского вузовского образования может быть оценено с помощью системы информативных статистических показателей, соответствующей международным требованиям и включающей показатели квалификации преподавателей и результатов образовательной деятельности, расчет которых основан на информации, обеспечивающей независимость оценки.

Кроме того, определены принципы исследования. Прежде всего это общенаучные принципы объективности, причинности, истинности, воспроизводимости, теоретичности, системности и критичности, а также частные принципы, в основе которых Берлинские принципы ранжирования учебных заведений: альтернативность, ясность, многовариантность, валидность, достоверность, сопоставимость, стабильность. В соответствии с гипотезой и в силу целесообразности применения индуктивного подхода к исследованию качества образования частными принципами, по мнению автора, также должны быть: информативность, доступность, надежность и адекватность.

3. Анализ существующих управленческих подходов к оценке качества образования показал, что на организационном уровне используются три подхода. Первый основан на обязательном выполнении вузами аккредитационных требований. Аккредитация проводится преимущественно по нестрогим качественным критериям. При государственной аккредитации оцениваются в основном условия обучения, при общественно-профессиональной - качество образовательного процесса. Второй подход к оценке качества образования — это рейтингование вузов. В основе рейтинговых оценок используются показатели, учитывающие различные составляющие качества образования: качество условий, качество процесса и качество конечного результата деятельности учебного заведения. Во всех рейтингах (как российских, так и зарубежных, как национальных, так и международных) основное внимание уделяется научной квалификации преподавателей, немаловажная роль отводится также оценке материальных ресурсов и качества результата образовательной деятельности. В российских рейтингах прежде всего оценивается качество процесса обучения. Третий подход к оценке качества образования — это опрос потребителей образовательных услуг.

4. Автором адаптирован метод решения «обратных задач» к формированию системы показателей для рейтинговой оценки кафедр (факультетов) университетов, который в отличие от метода «прямых задач» позволяет выявить информативные показатели, достаточно надежно оценивающие рейтинг кафедр. Апробация проведена в Сибирском университете потребительской кооперации. Из 32 показателей, предложенных для расчета рейтинга, отобрано пять наиболее информативных. Надежность результатов подтверждает высокое значение коэффициента корреляции (0,75) между значениями рейтинга, рассчитанного по пяти и 32 показателям. Результат эксперимента позволил автору доказать, что исследование качества высшего образования может быть также проведено с использованием системы информативных показателей.

5. Составлена авторская система статистических информативных показателей для исследования качества высшего образования, включающая четыре характеристики: индекс цитируемости научных работ, патентную активность преподавателей, востребованность выпускников и удовлетворенность выпускников и (или) работодателей качеством образования. На основе анализа существующих подходов к оценке качества образования удалось выяснить, что первые два показателя характеризуют и квалификацию преподавателей, и результаты их научной деятельности, последние два -результаты образовательной деятельности. Таким образом, интегральная оценка качества подготовки в вузах представлена показателями результатов основных видов деятельности учебного учреждения: образовательной и научной.

6. В ходе исследования определены источники объективной статистической информации. Для оценки квалификации преподавателей источником объективной информации, по мнению автора, должны служить наукометрические и патентные базы данных. В настоящее время они не используются Росстатом. Однако информатизация общества привела к тому, что значительная часть информации о научных публикациях ученых и преподавателей университетов, а также патентах содержится в наукометрических базах данных. Игнорировать этот факт невозможно. В связи с этим, статистической науке следует расширить существующий перечень организационных форм наблюдения, включив в него наравне с отчетностью, специально организованным наблюдением и регистрами также наукометрические и патентные базы данных.

Источником информации о востребованности выпускников и удовлетворенности потребителей является опрос выпускников, студентов и работодателей. Для исследования данных групп потребителей автором составлены программы наблюдения, которые могут быть использованы любым учебным заведением, желающим оценить качество образования.

7. Составлена методика статистического исследования научной квалификации преподавателей государственных классических университетов, которая предполагает обоснование выбора наукометрической базы данных, сбор информации о цитируемости научных публикаций преподавателей, ее обобщение и группировку по кафедрам, факультетам и категориям преподавателей, а также расчет и анализ системы статистических показателей. Методика данного исследования основана на изучении цитирования первичных научных публикаций преподавателей, известных мировому научному сообществу.

В систему статистических показателей научной квалификации преподавателей, кроме индекса цитируемости и общего числа публикаций, автором предложено включить: среднее число ссылок на одну публикацию (индекс цитируемости публикации); среднее число ссылок на одного преподавателя; среднее число публикаций на одного преподавателя; процент преподавателей, имеющих публикации и максимальное число ссылок.

Обоснована целесообразность использования для группировки классических университетов по уровню научной квалификации преподавателей двух группировочных признаков: индекса цитируемости публикации и процента преподавателей, имеющих публикации.

Предложенная методика апробирована на естественнонаучных факультетах классических университетов Сибирского федерального округа, химических факультетах российских государственных классических университетах и Новосибирском государственном университете. Исследование научной квалификации преподавателей классических университетов с использованием наукометрических баз данных проведено впервые в России.

На примере Новосибирского государственного университета показано, что использование базы данных компании Thomson Reuters (Бывшего Института научной информации США (ISI)) не позволяет провести исследование научной квалификации преподавателей гуманитарных факультетов вследствие отсутствия в ней научных работ российских ученых гуманитарных специальностей. По мнению автора, это следует делать либо с помощью других показателей, либо воспользоваться другой наукометрической базой.

8. Доказано, что для расчета индекса цитируемости публикаций преподавателей достаточно иметь информацию о поименных списках преподавателей, которая размещена на WEB-сайтах университетов. Ошибка цитируемости публикаций преподавателей трех анализируемых государственных университетов (Бурятского, Новосибирского и Томского) составляет не более 0,2 ссылки, а вероятность появления случайных значений в анализируемых массивах данных менее 0,01.

Таким образом, расчет индекса цитируемости публикаций, а следовательно, и анализ научной квалификации преподавателей может проводиться независимо от вузов.

9. Предложена авторская методика исследования квалификации преподавателей технических и технологических факультетов технических университетов, которая предполагает обоснование выбора информационной базы, сбор информации о цитируемости научных публикаций и патентной активности преподавателей, ее обобщение и группировку по кафедрам, факультетам и категориям преподавателей, а также расчет и анализ системы статистических показателей.

Авторская система статистических показателей патентной активности включает: число созданных преподавателями патентов, среднее число патентов на одного преподавателя (патентную активность) и процент преподавателей, имеющих патенты.

Квалификация преподавателей технических университетов складывается из двух составляющих: научного потенциала, который учитывает вклад ученого в мировую науку, и практического опыта, основу которого составляют результаты прикладных исследований. В связи с этим методика исследования квалификации преподавателей технических университетов основана на изучении цитирования первичных научных публикаций преподавателей и анализе созданных преподавателями патентов.

Анализ цитируемости научных публикаций преподавателей целесообразно проводить только в тех вузах, где трудятся совместители, чье основное место работы - исследовательские институты. Патентная активность может быть исследована в любом техническом вузе. Данная методика апробирована на технических университетах Сибирского федерального округа. Проведенное статистическое исследование квалификации преподавателей технических университетов, основанное на расчете показателей патентной активности с использованием патентных баз данных, является новым не только для России. Аналогов данному исследованию в мировой практике вообще нет.

10. Составленная автором методика статистического исследования востребованности выпускников включает создание информационной базы о выпускниках, разработку программы проведения наблюдения, сбор, обобщение, группировку и анализ собранной информации. Для анализа востребованности выпускников предложено рассчитывать показатели текущей и срочной трудоустроенности (процент трудоустроенных в настоящее время и в течение первого года выпуска).

Методика апробирована на Новосибирском государственном университете. Уровень- трудоустроенности выпускников гарантирован с ошибкой, не превышающей 0,8 процентного пункта (с вероятностью 0,954).

11. Автором разработана методика потребительского мониторинга, включающая формулирование цели, определение объектов и субъектов мониторинга, выбор методов сбора и каналов распространения информации, а также обоснование этапов его проведения. В отличие от существующих разработанная методика позволяет проводить периодическое массовое статистическое исследование удовлетворенности потребителей качеством образовательных услуг, оказываемых образовательным учреждением. Результаты мониторинга могут быть применимы для внутривузовского сравнения качества обучения студентов на разных специальностях, а также принятия администрацией университета оперативных мер по корректировке образовательного процесса, а следовательно, повышению качества подготовки.

Методика разработана и успешно используется в Сибирском университете потребительской кооперации с 2003 г. Оценки удовлетворенности потребителей гарантированы с ошибками, не превышающими 0,1 балла и 2,6 процентного пункта (с вероятностью 0,954).

12. Автором предложено в качестве дополнения к оценке удовлетворенности выпускников (работодателей) использовать оценку конкурентоспособности выпускников. Для расчета адаптирован статистический анализ 8\\ЮТ-матрицы и предложена система статистических показателей конкурентоспособности, включающая показатели текущей, перспективной и общей конкурентоспособности выпускников.

Апробация методики проведена на Новосибирском государственном университете, Новосибирском государственном университете экономики и управления, Сибирском университете потребительской кооперации.

13. Автору удалось доказать, что показатели востребованности, удовлетворенности и конкурентоспособности выпускников следует, прежде всего, использовать для оценки и анализа качества образования студентов гуманитарного профиля, поскольку рассчитать показатели объективной оценки квалификации преподавателей, включенных в интегральную модель оценки качества вузовского образования, для гуманитарных факультетов не представляется возможным.

14. Несмотря на простоту сбора субъективной информации, следует с осторожностью относиться к мнению, выраженному студентами, поскольку данная категория потребителей не всегда четко представляет свои ожидания и не может достаточно надежно оценить качество предоставляемой образовательной услуги. В связи с этим, мнение студентов о качестве образования не может быть основным критерием при межвузовском и даже внутривузовском сравнении. Более надежной является информация, полученная от выпускников или работодателей. Вместе с тем, мнения студентов могут и должны быть использованы для выявления проблем в образовательном процессе и принятии административных мер по их устранению.