Разработка математических методов и моделей анализа и прогнозирования качества обучения в вузе на основе компетентностного подхода тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Разработка математических методов и моделей анализа и прогнозирования качества обучения в вузе на основе компетентностного подхода"



На правах рукописи

Каюкова Инна Викторовна

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И МОДЕЛЕЙ АНАЛИЗА И ПРОГНОЗИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ НА ОСНОВЕ КОМПЕТЕНТНОСТНОГО ПОДХОДА

08.00.13 — Математические и инструментальные методы экономики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

1 •;:/2:11

Волгоград - 2014

005547970

005547970

Работа выполнена на кафедре «Прикладная математика и информатика» в Саратовском государственном социально-экономическом университете

Научный руководитель доктор физико-математических наук, профессор

Гусятников Виктор Николаевич.

Официальные оппоненты: Большаков Александр Афанасьевич,

доктор технических наук, профессор, Саратовский государственный технический университет имени Гагарина Ю.А., кафедра «Системы искусственного интеллекта», профессор;

Кушников Вадим Алексеевич, доктор технических наук, профессор, Институт проблем точной механики и управления РАН, ведущий научный сотрудник.

Ведущая организация Федеральное государственное бюджетное

образовательное учреждение высшего профессионального образования «Саратовский государственный университет имени Н.Г. Чернышевского».

Защита состоится 21 мая 2014 года в 15 час. 00 мин. на заседании диссертационного совета ДМ 212.028.07, созданного на базе Волгоградского государственного технического университета по адресу: 400005, г. Волгоград, проспект Ленина, 28, ауд. В-1001.

С диссертацией можно ознакомиться в библиотеке Волгоградского государственного технического университета.

Автореферат разослан 20 апреля 2014 г. Ученый секретарь

диссертационного совета Морозова Ирина Анатольевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования.

Образовательные процессы являются важной составной частью социально-экономических общественных процессов, которые определяют успешность развития отдельных стран и регионов в наступивший период экономики знаний. Важность этих проблем диктует необходимость коренных преобразований в системах образования ведущих стран мира. Одной из ключевых проблем образовательной системы, в том числе и российской, является повышение качества высшего образования. Важным этапом процесса модернизации высшей школы стал переход на компетентностный подход к оценке качества образования, который требует изменения существующих методов оценки качества обучения.

В настоящее время предложено множество содержательных идей, касающихся самого понятия компетенции и методов ее оценки. Однако проблема измерения уровня компетенций, формируемых в процессе обучения, до сих пор не имеет общепризнанного решения ни в нашей стране, ни за рубежом. Это связано с тем, что сама задача измерения компетенции не может быть решена в рамках только педагогической науки. Она является частью более общей задачи оценки качества трудовых ресурсов как фактора, влияющего на процессы социально-экономического развития, и в ее решении должны участвовать и работодатели, и государственные органы управления, и общественные организации, представляющие все общество. Такая неоднородность субъектов, участвующих в оценке качества образования, приводит к несогласованности предлагаемых методик и невозможности их системного применения. Следствием этого является отсутствие математических моделей для описания сложного и многогранного понятия компетенции, а также методологии измерения уровня компетенции студентов.

Степень разработанности темы исследования.

Различные подходы к исследованию проблемы качества подготовки специалистов раскрыты в трудах российских и зарубежных ученых: Г.Г. Азгальдова, A.B. Гличева, E.H. Ефимова, E.H. Мелешко, А.Я. Савельева,

3

A.И. Субетто, Н.Ф. Талызиной, Ю.Г. Татур, P.A. Фатхутдинова,

B.З. Ямпольского и других авторов.

Формирование современных представлений о принципах и подходах к' управлению качеством связано с именами известных зарубежных исследователей: Э. Демингом, Д. Джураном, К. Исикавой, Т. Конти, Ф. Кросби, А. Фейгенбаумом, Д. Харрингтоном и др. Большой вклад в разработку теории и практики управления качеством внесли российские ученые и практики: Ю.П. Адлер, И.Г. Венецкий, С.Д. Ильинкова, В.Ю. Огвоздин, В.В. Окрепилов и многие другие.

Результаты, связанные с проведением педагогического эксперимента, были описаны в работах: Ю.К. Бабанского, Дж. Гласса, М.И. Грабаря, В.И. Загвязинского, К.А. Краснянского, Дж. Стенли и др.

Внимание проблемам теории и методики педагогических измерений уделено в работах B.C. Аванесова, Т.М. Балыхиной, В.А. Болотова, A.A. Большакова, В.И. Звонникова, Н.Ф. Ефремовой, В.М. Кадневского, Л.В. Караваевой, Т.И. Корчинской, В.А. Кушникова, А.Н. Майорова,

A.C. Масленникова, Л.М. Поддубной, Б.У. Родионова, М.Б. Челышковой и др.

Положения современной теории тестов (Item Response Theory) и ее параметрические методы освещены в исследованиях И.Н. Елисеева, Е.Ю. Игнатьевой, Е.Ю. Кардановой, B.C. Кима, Ф. Лорда, A.A. Маслака,

B.Г. Наводнова, H.H. Найденовой, Ю.М. Неймана, В.Ю. Переверзева,

C.А. Позднякова, Г. Раша и др.

Цель исследования: Основной целью диссертационного исследования является анализ процессов оценки качества образования, построение математических моделей и разработка методов для количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения.

Задачи:

— раскрыть понятие качества образования с учетом требований всех заинтересованных сторон, сформировать наборов объективных показателей в рамках компетентностного подхода к оценке качества обучения;

4

- провести анализ существующих моделей количественной оценки качества обучения, адаптировать их для измерения и прогнозирования вероятности проявления отдельных составляющих компетенции;

- разработать методику оценки «правильности» профиля знаний студентов и проанализировать его связь с уровнем компетентности;

- построить модель для оценки уровня компетенции, формируемой в процессе обучения, на основе тестовых измерений;

- предложить инструменты для реализации механизма взаимодействия вуза и работодателя, позволяющие оперативно учитывать требования работодателей к качеству подготовки студентов.

Объектом исследования является высшее учебное заведение.

Предмет исследования - процессы управления качеством обучения и взаимодействия вуза и работодателя.

Область исследования.

Работа выполнена в соответствии с пунктом 1.9. Паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики»: «Разработка и развитие математических методов и моделей анализа и прогнозирования развития социально-экономических процессов общественной жизни».

Рабочая гипотеза исследования.

Основная гипотеза проведенного исследования состоит в том, что существует возможность объективной количественной оценки достигнутого уровня компетенций студента (проявляющихся только в практической деятельности выпускника) в ходе его подготовки, которая может быть реализована с использованием банков тестовых заданий, удовлетворяющих модели Раша, а также применением многомерной модели оценки уровня компетенций.

Теоретическую и методологическую основу исследования

составили научные публикации российских и зарубежных учёных по вопросам качества образования, его оценки методом тестирования и измерения латентных переменных.

Для получения результатов диссертационного исследования были использованы методы системного анализа, математического планирования эксперимента, прикладной математической статистики, теории управления сложными информационными системами, латентных переменных. Также применяются общенаучные и общеэкономические методы исследования.

В качестве инструментальных средств использованы Microsoft Excel, Statistica и Winsteps, а также адаптивная среда тестирования АСТ-тест.

Информационной базой исследования послужили результаты тестирований, проведенных на базе ФГБОУ ВПО «Саратовский государственный социально-экономический университет» (СГСЭУ), а также ведущих вузов поволжского региона.

Положения, выносимые на защиту:

1. Качество образования является сложным составным понятием, набор требований к которому, формируемый как совокупность требований различных групп потребителей образовательных услуг, можно объединить в три группы: внутреннее качество (требования преподавателей, учащихся, вузов), внешнее качество (требования общества, требования государства в лице министерства образования) и качество при использовании (требования работодателей, выпускников).

2. Введение в модель Раша дополнительных параметров, основанных на экспертной оценке степени нестандартности и практической значимости каждого из тестовых заданий, позволяет выявить новые латентные характеристики личности обучаемого, связанные с его профессиональной компетентностью.

3. Разработанный алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования, позволяет дополнить характеристики компетенции, выявленные с помощью модернизированной модели Раша, сведениями о структуре знаний учащихся и степени ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения.

4. Предложенная методика оценки уровня компетенции как многомерного объекта, характеристиками которого являются способность

6

решать трудные, нестандартные и практически важные задачи, уровень структурированности знаний, а также степень отклонения хода выполнения задания от идеальной траектории, позволяет количественно оценить и спрогнозировать уровень формируемой компетентности выпускника.

5. Разработанное программное средство, реализующее предложенную методику оценки уровня формируемых компетенций, является средством контроля текущего уровня сформированной компетенции, которое может встраиваться в существующие системы управления качеством образовательного процесса на оперативном уровне управления.

Научную новизну содержат следующие результаты исследования:

1. Уточнено понятие качества обучения, которое рассмотрено с точки зрения всех заинтересованных сторон в виде наборов показателей и в состав которого включены дополнительные показатели (соответствие профессиональным стандартам, уровень профессиональной квалификации и способность выпускников адаптироваться к условиям конкретного предприятия, соответствие потребностям рынка труда, уровень доступности образования, возможность повышать занятость, увеличивать НВП, снижать напряженность в обществе), связанные с внешней оценкой со стороны работодателей, выпускников и всего общества.

2. Модернизирована модель Раша для оценки качества обучения, путем введения в нее дополнительных параметров, характеризующих нестандартность заданий теста и их практическую значимость, что позволило использовать модель для прогнозирования вероятности проявления отдельных составляющих компетенции.

3. Разработан алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования на банке тестовых заданий, удовлетворяющих требованиям модернизированной модели Раша и процедуру сопоставления полученных показателей профиля с эталонными значениями.

4. Предложен новый подход к оценке уровня компетенции как многомерного объекта, характеристики которого определяются из нескольких показателей (способность решать трудные, нестандартные и

7

практически важные задачи, структурированность знаний, правильность хода выполнения задания и т.д.), каждый из которых является проекцией этого объекта на соответствующую ось, что позволяет получить объективную и оперативную оценку уровня формируемой компетентности.

5. Разработана методика оценки компетенций, включающая систему экспертных оценок нестандартности и практической значимости тестовых заданий, реализующую механизм взаимодействия вуза и работодателя, позволяющая прогнозировать уровень формируемых компетенций в системе управления качеством образования.

Практическая значимость исследования заключается в том, что предлагаемая методика позволяет измерить уровень компетенции студента с заданной точностью и достоверностью. Полученные результаты могут использоваться для оценки качества учебного процесса с использованием компетентностного подхода, а также прогнозировать профессиональную пригодность выпускника с точки зрения работодателя.

Апробация результатов исследования

Основные положения диссертации обсуждены и получили апробацию в тезисах, статьях и выступлениях на международных и всероссийских научных конференциях: «Компьютерные науки и информационные технологии», «Современные модели исследования социально-экономических процессов: Теория и Практика» (Саратов, 2009 г.), «Информационные технологии в общем образовании», «Актуальные проблемы и перспективы развития современной экономики и управления» (Саратов, 2010 г.), «Современные исследования в области естественных и технических наук: междисциплинарный поиск и интеграция» (Тольятти, 2012 г.), «Интеграционные процессы в сфере образования как фактор устойчивого развития региональной инновационной экономики», «Наука - бизнес -образование: проблемы и перспективы компетентностного взаимодействия» (Ульяновск, 2012 г.), «Экономическое прогнозирование: модели и методы» (Воронеж, 2013 г.), «Междисциплинарные исследования в области математического моделирования и информатики» (Тольятти, 2013 г.).

По т( ме диссертации опубликовано 22 работ общим объёмом 9,3 п.л., в том числе шторских - 6,5 п.л., из них 4 работы в ведущих рецензируемых журналах, 1 .ходящих в перечень ВАК.

Объем и структура диссертационной работы обусловлены целью и задачами и следования. Диссертационная работа состоит из введения, трех глав, заклкчения, библиографического списка из 157 источников. Основное содержант работы изложено на 137 страницах.

Соде] 1жание работы: Введение

Глава 1. Пр эблемы оценки качества обучения и подходы к ее решению

1.1 Качесп о обучения в Российской и международной системе образования

1.2 Подход а к определению качества образования согласно современным стандар гам качества

1.3 Роль ксмпетенций в системе оценки качества образования и проблемы оценки /ровня компетенций

Глава 2. Технологии тестирования и математические модели для оценки качества об разования при компетентностном подходе

2.1 Способ л организации тестирования, обеспечение достоверности результ 1тов

2.2 Теория 1атентных переменных и модель Раша

2.3 Модернизация модели Раша для измерения отдельных характеристик компев нции

Глава 3. Построение модели для оценки и прогнозирования уровня формируем ых компетенций

3.1 Постро« :ние и анализ банка тестовых заданий

3.2 Измерение компетентности выпускников и механизмы взаимодействия вуза и р аботодателя

Заключение

Список исп эльзованных источников

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Первая группа проблем, рассмотренных в диссертации, касается построения концепции качества образования, уточнения основных понятий с ним связанных. Основой рассмотрения качества образования стал подход к образованию как к сложной системе, удовлетворяющей потребности широкого круга разнородных потребителей.

Современные системы управления качеством (ISO 9001:2000, TQM, Болонская декларация) требуют количественного измерения и контроля показателей качества, адекватно характеризующих процессы получения конечной продукции и оказывающих влияние на ее качество. Особенностью образовательных процессов является неоднородность субъектов, участвующих в оценке качества образования, несогласованность их требований, большая длительность процесса обучения и запаздывание результатов оценки со стороны общества и работодателей относительно самого процесса обучения. В настоящее время общая концепция качества образования, учитывающая все эти особенности, еще не выработана. Для оценок в настоящее время используются данные рейтинговых агентств (российских и зарубежных), оценки со стороны госструктур (критерии эффективности и аккредитационные показатели), оценки общества (средние и минимальные баллы ЕГЭ, необходимые для поступления на бюджетные места) и т.д.

Качество-образования!

Внешнее! качество!

Внутреннее' качество?

Качестео-прн-использовании!

Требования' общества!

Требования-государства-(аккреднгацношдае-требования-министерства-образования)!

Требования-учащихся!

Требования-админнстр ацни-вузов*?

Требования-преподавателей!

Требования-работодателей!

Требования-выпускников^

Рис. 1 Классификация наборов показателей качества высшего образования

10

Для описания качества образования в работе предлагается применить подход, описанный в стандарте ISO 9126 (ГОСТ 9126) и предназначенный изначально для оценки качества программных средств. В этом стандарте предлагается рассматривать в составе понятия качества сложной системы 3 компонента: внутреннее качество, внешнее качество и качество при использовании. Пример реализации подобного подхода к определению качества образования представлен на рис. 1.

На рис. 1 приведена классификация показателей качества образования, соответствующих различным группам потребителей. Анализ приведенных наборов показателей качества позволил сделать вывод о том, что многие характеристики качества, входящие в эти наборы являются латентными и для их количественной оценки необходимо построение соответствующих математических моделей. Универсальным показателем, входящим во все эти наборы характеристик качества образования, может быть показатель компетентности обучающегося.

«Компетенция - способность применять знания, умения и практический опыт для успешной трудовой деятельности». Исходя из данного определения ясно, что компетенция может проявиться только в реальной деятельности человека. Поэтому прямое измерение уровня компетентности студента в процессе обучения невозможно. Таким образом, задача оценки уровня компетенции состоит в разработке методики, позволяющей на основе некоторых косвенных измерений, доступных на этапе обучения, спрогнозировать уровень компетенции будущего специалиста.

Принятые российской системой высшего образования федеральные государственные образовательные стандарты (ФГОС) предусматривают переход к компетентностной модели описания результатов освоения основных образовательных программ (ООП). Сами компетенции, которые должны формироваться в процессе обучения по каждому направлению подготовки достаточно подробно описаны в соответствующих ФГОС. Однако серьезной проблемой является отсутствие методической базы для измерения уровня формируемых компетенций.

11

Вторая группа проблем, рассмотренных в работе, связана с модернизацией модели Раша и реализации возможности ее использования для оценки уровня формируемых компетенций.

Оценка уровня компетенции отличается от традиционного показателя уровня знаний тем, что испытуемому необходимо продемонстрировать имеющиеся знания умения и навыки на практике в нестандартной ситуации. Поэтому результат может зависеть не только от сложности материала, но и от нестандартности ситуации, в которой студент должен эти знания проявить, а также от многих других факторов.

Одним из подходов, позволяющих провести корректную оценку получаемых с помощью тестов результатов, является теория педагогических измерений (Item Response Theory, или IRT). Суть данной методики заключается в том, что каждое задание в тесте имеет определенный, отличный от других, уровень трудности, измеряемый в логитах. Система заданий в тестах образует последовательность заданий с равномерно возрастающей трудностью. Под логитом понимается переменная Z, рассчитывающаяся по формуле (1)

Z = I«(P/(1-P)), (1)

Величина Р/(1-Р) называется отношением шансов и представляет собой отношение вероятности того, что событие произойдет к вероятности того, что оно не произойдет.

По результатам тестирования для каждого испытуемого определяется количество правильных и неправильных ответов, а также их доля от общего количества. Затем определяется уровень подготовленности испытуемого по

формуле в, = 1п(—), где р, — доля правильных ответов г-го испытуемого, д,- -9/

доля неправильных ответов. Полученные величины измеряются в логитах и рассчитываются следующим образом. Сначала необходимо вычислить доли верных pi и неверных qt=l-pi ответов испытуемых.

где XI - индивидуальный балл испытуемого, N - количество заданий в тесте. Далее вычисляем начальные значения уровня подготовленности испытуемых по формуле

(3)

91

Расчеты выполняются для всех испытуемых и заносятся в таблицу.

На следующем этапе вычисляем начальное значение трудности заданий

к

$=1п— (4)

гдепринимает значения от 1 до М- количество испытуемых.

На основе полученных результатов вычисляются средние значения уровня подготовленности испытуемых и трудности заданий.

А п и

'-V (5)

В результате получаются значения параметров на разных интервальных шкалах. Для того чтобы свести их в единую шкалу стандартных оценок, необходимо вычислить дисперсии Бд и

" _ Л. —

£(0,°)2-Л'(0)2 £(/?у°)2-М(/?)2 - Л= —--(6)

9 N-1 0 М-1 4 '

Далее вычисляем угловые коэффициенты:

1 +

1 + — 2,28

2,28

] V/! 8.35

8.35 1

(7)

Расчет окончательных параметров 01 и /3) осуществляется по формулам: в,=ав6°+р, р] = арр] + в, (8)

Значения вычисленных параметров в-, и /3) могут измениться на других выборках испытуемых. При больших объемах выборки можно вычислить значения, к которым в результате итерационной процедуры, будут

стремиться Q¡ и /?,-. Обычно итерационная процедура выполняется методом наибольшего правдоподобия Р.Фишера.

Статистический анализ результатов тестирования, проводимого по типовой методике, показывает, что для оценки уровня подготовленности учащегося с необходимым уровнем надежности требуется не менее 30 заданий. Необходимая длина теста определяется по обобщенной формуле Спирмена-Брауна для определения ожидаемой надежности теста.

■ кг„

Г" ~1 + (А-1)г„'

где к — число раз, в которое увеличивается длина теста;

гн - коэффициент надежности теста до увеличения длины теста;

гн — коэффициент надежности после увеличения длины теста.

После проведения измерения и определения основных характеристик теста и испытуемых следует перейти к анализу полученных результатов.

Имеются существенные различия при использовании статистических методов для анализа данных посредством модели Раша. Традиционное представление данных какой-либо статистической моделью подразумевается, что для экспериментальных данных необходимо выбрать наиболее «адекватную» модель.

При измерении латентных переменных на основе модели Раша используется совсем другой подход. Модель измерения задается априори, а тестовые задания подбираются таким образом, чтобы полученные с их помощью результаты удовлетворяли модели.

Измерение компетенций в ходе обучения является относительно новой задачей. Традиционно компетенции измеряются профессиональными психологами - сотрудниками рекрутинговых агентств, при поиске и приеме на работу необходимых специалистов. Для оценки уровня компетенции характеристику трудности задания предложено дополнить характеристиками нестандартности задания и его практической значимости. Для каждой такой характеристики построена своя модель Раша, с помощью которой отдельно оценивается умение выполнять задания: трудные, нестандартные и

необходимые в профессиональной деятельности. Т.е. по результатам одного теста испытуемый получает три оценки.

Тогда формулы для вероятности правильного ответа г'-го испытуемого на некоторое задание примут вид:

Р(в )- ехр(а'• рт ехР(а2(вц ~Рг)) . р(й у ехр(а3(0п -/?3)) Л"' 1 + ехр(а,-/?,))' Л,г; 1 + ехр(о2(0,2 - /?2))' Л 1+ехр(в)(вй-Д))

где 9ц, 0¡2, 0,з - уровень подготовленности г'-го испытуемого к решению трудных, нестандартных и практически значимых задач соответственно; Р2, Рз - уровень трудности, нестандартности и практической значимости данного задания соответственно.

С помощью данного подхода по результатам одного тестирования можно количественно и по отдельности оценить возможности каждого испытуемого решать трудные, нестандартные и практически важные задачи. Каждая из рассмотренных характеристик может быть интерпретирована как проекция многомерной величины уровня компетенции на соответствующую ось.

Для иллюстрации того, что характеристики 0ц, в12, вц отражают различные аспекты формируемых компетенций, рассмотрим результаты тестирования по дисциплине «Информатика». Тесты для этой дисциплины сформированы в соответствии с требованиями модели Раша и предназначены для измерения профессиональной компетенции: наличие навыков работы с компьютером как средством управления информацией, способность работать с информацией в глобальных компьютерных сетях. Каждое задание в тесте получило оценку по трем аспектам. Трудность задания определена из статистики решаемости данного задания. Нестандартность и практическая значимость каждого задания оценивалась экспертно. В выборку студентов включены результаты тестирования более 200 студентов.

На рис. 2 показаны усредненные по данной выборке зависимости трудности, нестандартности и практической значимости решаемых заданий от уровня подготовленности студентов, вычисленной с помощью классической однопараметрической модели Раша.

Рис. 2 Характеристики решенных заданий в зависимости от уровня подготовленности студентов

Из рисунка видно, что измеренные характеристики отражают разные аспекты компетенции студентов. На графиках можно условно выделить три области. В диапазоне уровней подготовленности от -2.5 до -0.5 логита можно отметить, что уровень знаний студентов достаточно низкий, однако умение решать практически значимые и нестандартные задачи у этих студентов практически такое же, как у студентов со средним уровнем подготовки (от -0.5 до + 1.0 логита). В области высоких уровней подготовки (выше 1.5 логита) наблюдается корреляция между умением решать трудные, нестандартные и практически значимые задачи.

Третья группа проблем связана с поиском дополнительных параметров и характеристик, позволяющих выявить максимально полно все аспекты компетенции обучающегося. В качестве таких характеристик в работе предложено использовать профиль правильности знаний обучающегося.

В отличие от традиционных средств контроля тесты позволяют выявить не только уровень компетенции, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой

педагогом на момент начала обучения. Особенно привлекательно выглядит оценка структуры знаний студентов в тех случаях, когда речь идет об оценке эффективности работы отдельных преподавателей либо групп преподавателей, как например, при аттестации образовательных учреждений.

На фоне многообразия существующих аттестационных моделей, методик, технологий, показателей и критериев, оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки. В то время как уровень подготовленности зависит от прилежности учащегося, его способности и желания учиться, структура знаний в большей степени отражает особенности организации учебного процесса. На формирование структуры знаний обучаемых влияют умение преподавателя правильно построить программу подготовки и доступно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся и применение индивидуального подхода.

Для анализа результатов тестирования с учетом не только уровня трудности, но и степени нестандартности решаемых заданий предлагается преобразовать вектор профиля знаний в матрицу профиля знаний. При этом результаты тестирования, размещенные в матрице, упорядочены по столбцам в порядке возрастания нестандартности и по строкам в порядке возрастания трудности заданий.

Предложено взять за образец правильного профиля матрицу, положительные результаты в которой расположены параллельно побочной диагонали. Примеры правильных профилей приведены в таблице, где показано одно из сечений матрицы профиля знаний для некоторого интервала величин практической значимости.

Сечение матрицы профиля знаний

Таблица

Сложность

Результаты студента 1 Результаты студента 2 Результаты студента 3

о я 1 1 1 0 0 1 1 1 1 0 1 1 1 1 1

1 1 1 0 0 0 1 1 1 0 0 1 1 1 1 0

1 0 0 0 0 1 1 0 0 0 1 1 1 0 0

к 0 0 0 0 0 1 0 0 0 0 1 1 0 0 0

5 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0

см=-

(10)

В данной работе предлагается следующая мера «правильности» профиля, которая по аналогии с мерой правильности профиля Гуттмана рассчитывается по следующей формуле:

1А-5Ж

где Кп — результат задания, попадающего и непопадающего в границы правильного профиля соответственно, Д-, — уровень сложности задания, попадающего и непопадающего в границы правильного профиля соответственно. Сходная методика оценки предложена в работе для оценки правильности хода выполнения отдельного задания.

Четвертая группа проблем. Оценку «правильности» процесса формирования конечного ответа на отдельное задание можно формализовать следующим образом. Например, имеется задание на установление соответствия, состоящее из четырех пунктов. Ход ответа фиксируется в матрице, в которой столбцы соответствуют кликам, изменяющим состояние формируемого ответа, а строки пунктам задания. В начальном состоянии матрица заполнена нулями, что соответствует отсутствию правильных ответов на все пункты задания. Каждый клик может изменить один элемент матрицы. При идеальном ответе каждый клик добавляет единицу в очередной столбец матрицы. Ход формирования ответа можно проиллюстрировать графиком, показанным на рис. 3, где по оси X отложен номер клика, по оси У количество единиц в соответствующем столбце матрицы, отображающей процесс формирования ответа.

Рис. 3. График хода формирования ответа на отдельное задание На графике показано два варианта выполнения одного задания. В обоих вариантах конечный ответ получен правильный. Но в первом варианте (левый график на рисунке) ответ получен за минимальное количество действий, и ход получения ответа может быть оценен как идеальный. Мерой отклонения траектории ответа от идеальной можно выбрать площадь фигуры, заключенной между графиком идеального и реального ответов.

Отобразить все компоненты компетенции можно с помощью лепестковых диаграмм, которые позволяют отобразить все характеристики уровня формирования компетенции, а также сопоставить результаты каждого испытуемого со средними показателями. Большей информативностью обладают диаграммы, построенные для студентов, обладающих на первый взгляд одинаковым уровнем компетенций (рис. 4).

Оценка по уровню трудности заданий

1Д-ТЧ

Оценка хода выполнения задания

Оценка по уровню нестандартности заданий

Оценка профиля знаний

/ Оценка по уровню практической значимости заданий

-Студент 12

■— Средние значения - - Студент 11

Рисунок 4. Уровень компетенции студентов 11 и 12.

Из рис. 4 видно, что студент 12 получил оценку хода выполнения задания ниже среднего в отличие от студента 11, показавшего высокие результаты по всем пяти показателям. На данном этапе исследований из оценки представленных пяти параметров можно сделать экспертное заключение о предполагаемом (прогнозируемом) уровне сформированности измеряемой профессиональной компетенции. Для более объективной оценки необходимо проводить лонгитюдные исследования и сопоставлять уровень компетенции, проявленный в реальной профессиональной деятельности с оценками, данными на этапе обучения.

Пятая группа проблем касается выработки комплексной методики оценки уровня формируемой компетенции из результатов тестирования и ее применения для формирования механизма взаимодействия вуза и работодателя, а также разработки инструментария для ее реализации. На рис. 5 приведена структура методики оценки уровня компетенции

Рис. 4 Схема процесса оценки уровня компетенции

Предлагаемая методика позволяет измерять компетенции на разных этапах образовательного процесса, при этом на этапе поступления целью измерения является отбор студентов с необходимыми качествами для дальнейшего обучения в вузе, на промежуточных этапах целью является получение информации о качестве образовательного процесса, необходимой для оперативного управления, а также формирование индивидуальной траектории обучения студента. При завершении обучения измерение компетенции позволяет оценить качество специалистов и перспективы их дальнейшей карьеры. Итоговая оценка, характеризующая уровень прогнозируемой компетенции испытуемого, должна выводиться на основе анализа математической модели, описывающей взаимосвязь результатов выполнения тестовых заданий и реальной компетентности студента, проявленной им в последующем обучении, или в своей профессиональной деятельности.

В заключении автором обобщены теоретические и практические выводы, полученные в результате диссертационного исследования.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах, рекомендованных ВАК Минобрнауки РФ

1. Каюкова, И.В. Методики использования результатов компьютерного тестирования в системах поддержки принятия решений / В.Н. Гусятников, И.В. Каюкова, Т.Н. Соколова // Интеграция образования. - 2009. - № 3. -С. 26-29. - 0,5 п.л. - авт. 0,2 п.л.

2. Каюкова, И.В. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования / В.Н. Гусятников, И.В. Каюкова, О.Ю. Соколова, Т.Н. Соколова // Вестник Саратовского государственного социально-экономического университета. - 2009. - № 04. -С. 197-200. - 0,2 п.л. -авт. 0,05 п.л.

3. Каюкова, И.В. Методика оценки и прогнозирования уровня формируемых компетенций / И.В. Каюкова // Вестник Саратовского государственного социально-экономического университета. - 2010. - №5. -С. 148-151.-0,5 п.л.

4. Каюкова, И.В. Использование флэш-технологий для создания виртуальной физической лаборатории / Н.В. Гавриловская, И.В. Каюкова, Ю.С. Нагорнов, М.С. Шевцова // Современные проблемы науки и образования.-2013.-№ 1.-С. 428-433.-0,5 п.л.-авт. 0,1 п.л.

Прочие публикации

5. Каюкова, И.В. Модели для оценки уровня достижения компетенций по результатам тестирования / И.В. Каюкова // Наука и общество. - 2011. -№ 1. — С.24-27. - 0,3 п.л.

6. Каюкова, И.В. Использование профиля знаний для оценки уровня формируемых компетенций / В.Н. Гусятников, И.В. Каюкова // Наука и общество. - 2012. - № 5. - С. 13-16. - 0,5 п.л. - авт. 0,3 п.л.

7. Каюкова, И.В. Обеспечение качества образования на основе компетентностного подхода / В.Н. Гусятников, И.В. Каюкова // Проблемы экономики и менеджмента. - 2012. - № 10. - С. 139-144. — 0,6 п.л. - авт. 0,3 п.л.

8. Каюкова, И.В. Использование компьютерного тестирования в системах управления образовательной деятельностью / В.Н. Гусятников, И.В. Каюкова, Т.Н. Соколова // Устойчивое развитие социально-экономических систем: теория и практика: Сб. ст. - Саратов: Изд-во «Научная книга», 2009. - С. 32-36. - 0,5 п.л. - авт. 0,25 п.л.

9. Каюкова, И.В. Использование результатов федерального интернет-экзамена во внутривузовской системе менеджмента качества / В.Н. Гусятников, И.В. Каюкова, Т.Н. Соколова // Компьютерные науки и информационные технологии: Материалы международной научной конференции. - Саратов: Изд-во СГУ, 2009. - С.23-29 - 0,5 п.л. -авт. 0,25 п.л.

10. Каюкова, И.В. Разработка методики анализа результатов тестирования для систем управления качеством образовательного процесса / В.Н. Гусятников, И.В. Каюкова, Т.Н. Соколова // Современные модели исследования социально-экономических процессов: Теория и Практика: Материалы международной научно-практической конференции (20 мая 2009 г.). / Отв. ред. Л.А. Тягунова. — Саратов: Издательство «Научная книга»,

2009. - С.32-36 - 0,5 п.л. - авт. 0,3 п.л.

11. Каюкова, И.В. Использование профиля знаний в системе управления качеством образования / И.В. Каюкова // Всероссийская научно-практическая конференция «Информационные технологии в общем образовании» («ИТО-Саратов-2010»): Сборник трудов участников конференции. В 2 ч. ч. 1 - Саратов: Изд-во ГАОУ ДПО «СарИПКиПРО»,

2010.-С.56-61 -0,5 п.л.

12. Каюкова, И.В. Использование частотного анализа результатов тестирования в системах менеджмента качества образования / И.В. Каюкова // Всероссийская (заочная) научно-практическая конференция «Актуальные проблемы и перспективы развития современной экономики и управления»: Сб. науч. статей / Отв. ред. проф. В.И.Долгий. — Саратов: Издательство «КУБиК», 2010. - С. 107-110. - 0,4 п.л.

13. Каюкова, И.В. Изменение статистических параметров, результатов тестирования в процессе обучения / И.В. Каюкова // Социально-экономическое развитие России: Проблемы, поиски, решения: Сборник научных трудов по итогам научно-исследовательской работы СГСЭУ в 2009 -Саратов: Издательство СГСЭУ, 2010. 41. -С.151-152. -0,2 п.л.

14. Каюкова, И.В. Компьютерные методы в оценке уровня знания студентов / И.В. Каюкова // Модернизация экономики и общества: новое качество развития: сборник научных трудов по итогам научно-исследовательской работы Саратовского государственного социально-экономического университета в 2010 году. - Саратов: Издательство СГСЭУ,

2011.-С. 136.-0,2 п.л.

15. Каюкова, И.В. Методика прогнозирования уровня достижения компетенций / И.В. Каюкова // Модернизация экономики и общества России в условиях кризиса мирохозяйственных отношений: сборник научных трудов по итогам научно-исследовательской работы Саратовского государственного социально-экономического университета в 2011 году. - Саратов: Издательство СГСЭУ, 2012. - С. 145-146. - 0,2 п.л.

16. Каюкова, И.В. Математическое моделирование вероятность проявления компетенций выпускниками вузов / И.В. Каюкова // Современные исследования в области естественных и технических наук: междисциплинарный поиск и интеграция: Сборник материалов научно-практической всероссийской конференции (школы-семинара) молодых ученых: 9-11 октября 2012 г. - Тольятти: ТГУ, 2012. - С. 44-51. - 0,5 п.л.

17. Каюкова, И.В. Использование виртуальной физической лаборатории для обучения и оценки компетентности специалистов / И.В. Каюкова //

Материалы 2-й научно-практической школы-семинара молодых ученых. -Тольятти: ТГУ, 2012. - С. 62-68. - 0,5 п.л.

18. Каюкова, И.В. Использование интервальных графиков для оперативного мониторинга процесса обучения / В.Н. Гусятников, А.И. Безруков, И.В. Каюкова, Т.Н. Соколова // Информационные технологии в новых стандартах и модернизация гуманитарного образования: Сборник научных трудов Всероссийской, научной конференции. - Саратов: Изд-во «Издательский центр «Наука», 2011 - С. 19-21. - 0,5 п.л. - авт. 0,1 п.л.

19. Каюкова, И.В. Оценка качества обучения в условиях модернизации образования / И.В. Каюкова // Интеграционные процессы в сфере образования как фактор устойчивого развития региональной инновационной экономики: материалы первой Всероссийской научно-практической конференции. - Ульяновск: УлГУ, 2012. - С.40-49. - 0,6 п.л.

20. Каюкова, И.В. Измерение профиля знаний для обеспечения качества образования / И.В. Каюкова // Наука - бизнес - образование: проблемы и перспективы компетентностного взаимодействия: Сб. материалов Международной науч.-практич. конф. / под общ. ред. д.э.н., проф. Т.Ю. Ивановой. - Ульяновск: УлГУ, 2012.-С. 310-313.-0,3 п.л.

21. Каюкова, И.В. Прогнозирование уровня компетенций на основе модели Раша / И.В. Каюкова // Экономическое прогнозирование: модели и методы: материалы IX международной научно-практической конференции. -Воронеж, 2013. - С. 135-136. - 0,3 пл.

22. Каюкова, И.В. Многомерная модель тестирования для измерения уровня формируемых компетенций / В.Н. Гусятников, А.И. Безруков, И.В. Каюкова // Междисциплинарные исследования в области математического моделирования и информатики. Материалы 2-й научно-практической Ыегпе^конференции. 7-14 октября 2013 г. / отв. ред. Ю.С. Нагорнов - Ульяновск: 81ШЕТ, 2013. - С.35-40. - 0,5 п.л. -авт. 0,15 п.л.

Подписано в печать 18.02.2014 г. Формат 60x84 1/16. Бумага офсетная. Печать трафаретная. Печ. л. 1,0. Тираж 100 экз. Заказ № 95

Типография ИУНЛ Волгоградского государственного технического университета. 400005, г. Волгоград, просп. им. В.И. Ленина, 28, корп. №7.