Инструментальные средства оценки потребительского качества экономических информационных систем тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Инструментальные средства оценки потребительского качества экономических информационных систем"

□□3486183

На правах рукописи

Победённый Алексей Владимирович

ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА ЭКОНОМИЧЕСКИХ ИНФОРМАЦИОННЫХ СИСТЕМ: РАЗРАБОТКА И ИССЛЕДОВАНИЕ

Специальность 08.00.13 - математические и инструментальные методы экономики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

- 3 ДЕН 2009

Ростов-на-Дону - 2009

003486189

Работа выполнена в ГОУВПО «Ростовский государственный экономический университет (РИНХ)».

Научный руководитель: доктор экономических наук, профессор

Хубаев Георгий Николаевич

Официальные оппоненты: доктор технических наук, профессор

Карелин Владимир Петрович

кандидат экономических наук, профессор Рудский Анатолий Андреевич

Ведущая организация: Донской государственный технический

университет (ДГТУ)

Защита состоится 21 декабря 2009 года в 12 часов 00 мин. на заседании диссертационного совета ДМ 212.209.03 в Ростовском государственном экономическом университете (РИНХ) по адресу: 344002, г. Ростов-на-Дону, ул. Б. Садовая, 69, ауд. 231.

С диссертацией можно ознакомиться в научной библиотеке Ростовского государственного экономического университета (РИНХ) и на сайте www.rsue.ru.

Автореферат разослан /^ноября 2009 г.

Ученый секретарь диссертационного совета

И.Ю. Шполянская

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его наполнения, появлению и внедрению новых технологий сбора и обработки информации. Важным является тот факт, что аналогичные по своему назначению и функциям ЭИС зачастую имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество1 ЭИС, степень ее соответствия требованиям пользователя.

Ряд научных публикаций посвящен рассмотрению и сравнению методик оценки потребительского качества программных продуктов (ГШ) различного назначения. Эти методики позволяют проанализировать степень выполнения требований заказчика, оценить качество работы продукта в процессе испытаний и эксплуатации, выявить условия, обеспечивающие эффективную эксплуатацию, соотнести потребности конечного пользователя с возможностями представленных на рынке ЭИС и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества программного обеспечения. Отличительной особенностью оценки потребительского качества ЭИС является отсутствие четкого набора показателей, состав которых определяется функциональным назначением продукта.

Важным требованием при оценке потребительского качества ЭИС является возможность отследить динамику показателей и получить прогнозируемые значения при определенных уровнях внешних факторов.

1 Потребительское качество - совокупность свойств продукции, проявляющаяся в процессе потребления [см.: Социально-экономическая статистика : слов. / под ред. М.Г.Назарова - М.: Финансы и статистика, 1981.-С. 444,449,452].

Это позволит выбрать информационную систему, которая сможет обеспечивать не только текущие запросы пользователей, но и их возрастающие потребности.

Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов (ГОСТ Р28195-89, ISO/IEC 9126:1991), описывающие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта и основные показатели качества. Проблема оценки качества информационных систем рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева A.B., Кривошеевой М.А., Коган Б.И., Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н. И др. Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.

Целью диссертационного исследования является разработка инструментальных средств для автоматизированной оценки характеристик потребительского качества экономических информационных систем, исследование функциональных возможностей разработанного инструментария при анализе рыночных ЭИС.

Для достижения цели в диссертационном исследовании поставлены и решены следующие задачи:

- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС;

- разработать алгоритм измерения времени исполнения функциональных операций ЭИС;

- разработать алгоритм заполнения СУБД случайными данными, который обеспечивал бы высокую скорость заполнения при относительно низком уровне ошибок и не требовал от

пользователя знания технических деталей исследуемого продукта;

- провести активные эксперименты с несколькими рыночными ЭИС и по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выполнения функциональных операций, и выполнить сравнение исследуемых ЭИС между собой.

Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем.

Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3.

Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.

Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС и полученные в результате планирования и реализации активных экспериментов.

Работа выполнена в соответствии с пунктом «2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов

экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Положения, выносимые на защиту:

1. алгоритм оценки времени выполнения функциональных операций, позволяющий осуществлять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода;

2. разработанные инструментальные средства оценки потребительского качества экономических информационных систем, обеспечивающие возможность проводить активные эксперименты с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов и позволяющие определять характеристики потребительского качества и сравнивать ЭИС между собой по этим критериям;

3. алгоритмы наполнения СУБД данными, в том числе алгоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных;

4. программный модуль, реализующий функции контроля вносимых в ЭИС данных и использующий анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС;

5. построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС.

Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:

1. разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выполнения базовых операций, пропускную способность (число операций за единицу времени), процент ошибок и время доступности системы, «отзывчивость» пользовательского интерфейса; проводить хронометраж выполнения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества;

2. разработан алгоритм измерения времени выполнения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выполнения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода;

3. разработаны оригинальные алгоритмы наполнения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных (домены данных), наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных и позволяющие снизить уровень ошибок во время заполнения СУБД, полностью автоматизировать внесение данных различной сложности в ЭИС;

4. предложены h реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность заполнения полей при вводе данных, учесть и измерить задержки отклика ЭИС;

5. построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С «Бухгалтерия», «Ананас», «Compier ERP/CRM», «Plazma») статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: «Движение товара по складу», «Отгрузка со склада», «Поступление на склад» «Ввод остатков по складу», «Поступление материальных ресурсов», «Списание материальных ресурсов» и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.

Практическая ценность результатов исследования. Разработанные инструментальные средства оценки потребительского качества позволяют в автоматизированном режиме проводить оценку потребительского качества ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выполнения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.

Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются: в отделе Автоматизации управления ГОУВПО «РГЭУ (РИНХ)» при проектировании автоматизированной системы «Контингент»; в Министерстве экономики, торговли, международных и внешнеэкономических связей ростовской

области; в ООО «Строитель-М».

По теме диссертации опубликовано 5 печатных работ общим объемом 1,48 пл., в том числе 2 работы в изданиях, рекомендованных ВАК РФ, и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, библиографического списка и 4 приложений. Основной текст занимает 142 страницы, включает в себя 10 таблиц и 20 рисунков. Библиографический список состоит из 87 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационного исследования, сформулирована цель и задачи исследования, определен объект, предмет и методология исследования, сформулированы положения и результаты, выносимые на защиту.

В первой главе «Сравнительный анализ методик оценки качества экономических информационных систем» проведен анализ методик оценки потребительского качества ЭИС и способов измерения различных показателей качества. Сделан вывод о том, что оценка потребительского качества ЭИС представляет собой очень важную и актуальную задачу.

Проведенный анализ стандартов, регламентирующих показатели качества программного обеспечения (ISO 9126-1-4 и ГОСТ 28195-89), позволил установить, что и международные, и отечественные стандарты не в полной мере отражают характеристики потребительского качества, имеющие значение для пользователей. Сделан вывод о том, что целесообразно использовать синтез стандартов с целью получения адекватного набора показателей, который бы более полно отражал требования пользователя к качеству ЭИС. Выделен набор характеристик, применимых к абсолютному

большинству ЭИС и отражающих потребительское качество продукта:

- функциональная полнота;

- время выполнения функциональных операций;

- объем данных, обрабатываемых системой;

- количество одновременно подключенных пользователей;

- доступность системы;

- частота сбоев при работе.

Приведенный список является базовым и может быть расширен за счет относительных показателей. Был выделен ряд таких показателей:

- среднее время выполнения функциональной операции для одного пользователя;

- количество операций для пользователя в секунду (во многих случаях этот параметр отождествляется с пропускной способностью системы) - относительный показатель, определяемый как среднее время выполнения операции при определенном количестве пользователей;

- предельное количество пользователей (или объем данных), при котором величина показателя «операций для пользователя в секунду» находится в определенных пределах;

- отзывчивость пользовательского интерфейса - показатель, характеризующий процент времени, которое тратит рядовой пользователь на ожидание реакции системы при выполнении рутинных операций.

Рассмотрены методики, позволяющих проводить оценку качества ЭИС по критерию функциональной полноты2, качеству пользовательского интерфейса, надежности, своевременности представления данных, времени выполнения отдельных функциональных операций. Последняя из рассмотренных методик, используя данные нагрузочного тестирования,

2 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы (Software & System). - 1998. - №2. - С. 6 - 9.

позволяет оценить все выделенные характеристики потребительского качества, кроме функциональной полноты.

Методика не требует наличия у пользователя каких-либо специализированных знаний о внутреннем устройстве исследуемой системы. Однако для того чтобы подобная оценка была объективна, получаемые данные должны быть репрезентативными и воспроизводимыми, что требует использования методов планирования экспериментов. Поскольку выбранная методика требует достаточно большого объема вычислений, представляется целесообразным автоматизировать процедуру проведения оценки потребительского качества ЭИС.

Во второй главе «Автоматизация процессов оценки потребительского качества экономических информационных систем» рассмотрена процедура проведения оценки потребительского качества информационной системы с использованием инструментария стресс-тестирования и метода планирования экспериментов. Описаны основные типы факторного эксперимента, и определены условия их применения3. Описана математическая модель, используемая как средство обработки данных эксперимента и анализа влияния внешних факторов на потребительские характеристики качества продукта.

Рассмотрены различные проблемы автоматизации процесса оценки потребительского качества ЭИС. Большая часть проблем связана с варьированием значений факторов - объема обрабатываемых данных и числа одновременно работающих с системой пользователей. Рассмотрены два основных подхода к созданию нагрузки на автоматизированную систему, которые применяются в тестировании программного обеспечения -генерация случайного набора входных данных или запись и последующее воспроизведение управляющих действий, таких как работа пользователей с системой, интеграционные или сетевые пакеты данных. Выделены

3 Хубаев, Г.н. Статистические методы планирования экстремальных экспериментов с информационными системами // Вопросы статистики. - 1999. - №6. - С. 78-83.

достоинства и недостатки каждого из подходов, описаны основные проблемы при реализации автоматизированной системы, использующей любой из этих подходов. Часть проблем тесно связана с различными ограничениями СУБД: ссылочной целостностью, закрытостью и отсутствием документации по техническим особенностям ЭИС, отсутствием в свободном доступе информации о структуре обмена данными между компонентами системы.

В третьей главе "Разработка и анализ инструментальных средств оценки характеристик потребительского качества экономических информационных систем" проведена постановка задачи проектирования и разработки двух инструментальных средств оценки потребительского качества ЭИС, сформулированы требования к разрабатываемым ИС. Описаны два разработанных инструментальных средства (модуля) оценки потребительского качества ЭИС - модуль, ориентированный на заполнение таблиц СУБД случайными данными, и модуль воспроизведения действий пользователя по работе с системой. Рассмотрены основные проблемы, возникающие в ходе стресс-тестирования ЭИС, характерные для большинства рыночных инструментов тестирования.

Для решения описанных проблем разработаны оригинальные алгоритмы:

- алгоритм, ориентированный на использование непрерывных областей значений (доменов) дня столбцов определенного типа в одной итерации. Это позволяет правильно сформировать значение первичного ключа и потенциального внешнего ключа таблиц БД;

- алгоритм анализа названий колонок с целью определения неявных связей и специальных типов данных. Алгоритм используется для определения внешних ключей и типов данных на основании имен колонок;

- алгоритм анализа содержимого таблиц, позволяющий определять специальные структуры и типы данных: анализируется вся имеющаяся в БД информация для оценки допустимого интервала значений по каждой колонке

каждой таблицы (например, если колонка таблицы содержит только значения 1 и 0, то это может говорить о том, что колонка с булевыми значениями);

- алгоритмы сохранения, анализа и восстановления данных таблиц, позволяющие сделать "снимок", зафиксировать состояние данных в БД на момент начала активного эксперимента, а затем восстановить это состояние после окончания эксперимента. Механизм "снимков" определяет, какие из таблиц БД участвуют в выполнении операции внесения данных в систему; это позволяет отобрать таблицы, информация из которых используется в определенной бизнес-операции;

- алгоритм многошаговой обработки исключительных ситуаций и ошибок, позволяющий корректировать генерацию случайных величин при возникновении ошибки и восстанавливать состояние базы на момент последней удачной итерации;

- алгоритм учета увеличения задержек при работе с пользовательским интерфейсом исследуемой ЭИС, позволяющий воспроизводить работу нескольких пользователей с системой, вставляя между операциями необходимую для реакции системы на действие задержку;

- алгоритм определения начала и окончания работы функциональной операции, для которой проводится хронометраж; алгоритм позволяет проводить замер времени отклика системы без участия пользователя, не модифицирует код и не использует отладочных механизмов, снижающих скорость работы ЭИС.

Проведен сравнительный анализ функциональных возможностей и характеристик разработанных модулей с аналогичными программными продуктами (таблица 1) - LoadRunner, (HP LR) IBM Rational ClearTest (CT), Jmeter, DBMonster (DBM).

Таблица 1 - Сравнительные характеристики разработанных программных

модулей и аналогичных коммерческих ПП

Характерис- Ер.ОВ Ер.РР НР ЬЯ ст Же1ег РВМ

тика

Скорость Высокая Средняя Высокая Низкая Средняя Высокая

заполнения

данными

Работа с Только Да Только Да Только Только

любыми СУБД клиент- клиент- СУБД

системами сервер сервер

Эмуляция Нет Да Да Да Да Нет

одновременной работы

нескольких

пользователей

Возможность Да Нет Нет Нет Нет Да

генерации ошибочных

данных

Оценка Нет Да Нет Да Нет Нет

параметра

«отзывчивость

интерфейса»

Автоматический Да Да Да Да Да Нет

хронометраж

операций

Построение Да Да Нет Нет Нет Нет

регрессионных моделей по

результатам

эксперимента

Возможность Да Да Нет Нет Нет Нет

сравнения

нескольких

систем между

собой

Необходимость Да Нет Да Да Да Да

наличия у

пользователя

технических

знаний о работе,

протоколах

взаимодействия

и особенностях

архитектуры ЭИС

Как следует из данных таблицы 1, разработанные в рамках диссертационного исследования инструментальные средства превосходят по

многим параметрам зарубежные аналоги.

В четвертой главе "Экстремальные эксперименты и построение регрессионных моделей для оценки потребительского качества рыночных ЭИС" проведены активные эксперименты с четырьмя экономическими информационными системами сходного назначения - «1С Торговля и склад», «Compier EPR», «Ананас», «Plazma CRM».

Экономическая информационная система «1С» с конфигурацией «торговля и склад» - известная и хорошо зарекомендовавшая себя платформа для ведения бухгалтерского складского учета, организации деятельности отдела кадров и отдела связи с клиентами. До версии 8 в системе «1С» использовался FoxPro-формат, который вызывал массу нареканий из-за резкого падения производительности на больших объемах данных. Выход версии 8.1 для Microsoft SQLServer 2000 в лучшую сторону изменил ситуацию для мелких и средних предприятий, в то время как для крупных предприятий проблема осталась актуальной. Второй основной проблемой, помимо производительности, являлась относительно высокая цена внедрения.

ЭИС «Ананас» - бесплатный кросс-платформенный аналог «1С», который, по замыслу авторов, должен быть избавлен от основного недостатка своего конкурента - высокой стоимости внедрения. Снизить затраты на внедрение планировалось, сделав «Ананас» кросс-платформенным.

Система «Plazma CRM» является иностранным аналогом отечественной учетной системы, и, хотя изначально она проектировалась, как средство автоматизации работы с клиентами (Client Relationship Management), широкие функциональные возможности позволяют использовать эту систему и для ведения бухгалтерского учета на средних по величине предприятиях. Реализованная на языке Java система «Plazma CRM» является кросс-платформенной, а ориентация на технологию ORM (Object-

relational mapping) позволяет системе использовать практически любую базу данных. Все это делает «Plazma CRM» весьма перспективной разработкой, обладающей значительным запасом производительности, благодаря отличной масштабируемости Java и возможности использовать такие СУБД, как Oracle, IBM DB2, Sybase.

Система «Compier ERP/CRM», как следует из названия, является системой планирования ресурсов предприятия (Enterprise Resource Planning System) и предназначена для автоматизации учёта и управления. ЭИС «Compier» является бесплатной системой с открытым исходным кодом. Техническая реализация, выполненная с использованием технологии J2EE, позволяет строить масштабируемые решения, организовывать

отказоустойчивые кластеры с балансировкой нагрузки.

Конкретизируя сферу применения перечисленных ЭИС, следует отметить, что система «Ананас» предназначена для индивидуальных предпринимателей, система «Plazma CRM» может использоваться в небольших и средних фирмах, программный продукт «Compier» предназначен исключительно для крупных предприятий, а система «1С» одинаково распространена на всех уровнях.

Активные эксперименты для оценки характеристик потребительского качества рассмотренных ЭИС проведены с использованием разработанных в диссертационном исследовании инструментальных средств. Для двух систем («Plazma CRM» и «Compier») использовался модуль «Ep.DB», для двух других - «Ер.РР». В ходе активного эксперимента оценивалась скорость выполнения бизнес-операции «Расчет остатков на складе». При выполнении операций такого типа может применяться полный или частичный расчет значений показателей. При полном расчете показателей отчета ЭИС обрабатывает весь объем данных, а при частичном - показатели рассчитываются/пересчитываются при добавлении данных. С точки зрения оценки характеристик потребительского качества первый из способов будет увеличивать значения показателя «время выполнения функциональной

операции», а применение второго способа приведет к ускорению выполнения функциональной операции и к снижению значений показателя «отзывчивость пользовательского интерфейса».

При проведении активных экспериментов с использованием модуля «Ер.РР» дополнительно получены значения двух показателей. Первый -«отзывчивость пользовательского интерфейса» - отражает отношение суммы задержек ввода данных (то есть реакции ЭИС на ввод) на первом шаге к аналогичной сумме, рассчитанной для последнего шага активного эксперимента. Второй показатель - «доступность системы» - рассчитывается как отношение суммы всех задержек между началом первого этапа и его окончанием (учитывается и скорость выполнения исследуемой функциональной операции) к аналогичной сумме, рассчитанной для последнего этапа. Зная значения этих показателей, можно судить о том, сколько времени конечный пользователь будет ожидать реакции ЭИС на свои действия.

По результатам активных экспериментов строятся регрессионные модели, позволяющие оценить скорость (время) выполнения конкретной операции каждой из анализируемых ЭИС.

После выделения значимых (определяющих) факторов (рисунок 1) и выбора параметров эксперимента (полный факторный или дробный факторный эксперимент) осуществляется заполнение систем исходной информацией. Модуль «Ep.DE!» выполняет серии запросов на вставку данных в таблицы БД, а модуль «Ер.РР» воспроизводит предварительно записанные пользователем действия по добавлению документа в систему. Количество таких операций (вставок) определяется параметрами эксперимента (верхним и нижним порогом значений факторов, интервалом варьирования) и планом эксперимента. После ввода исходных данных оценивается скорость выполнения той или иной операции.

ШВЕД

. *

Фвкя&рыэкс Основные -

падпицы БД." Вторичные - саравсннохи БД;

Вторичные факторы

Исключенные факторы

Щ асас!ет1с_<1едгее | 1 Е1 аса0ет1с_<1?дгее Ц О 1 О асас!ет1с_(1едгее 1

О ас!м1у_^ре . I П айМОДре

О «1Йв88 ЕЗ аййэдв 1 ГЗ аййгввз

з<Мгез5_1уре О аййгевз.^ре | 1ай^геБз^ре

О эрраПтепМурв О арраптвпЦуре | Ш арраптеп1_^рв

Ш Ьапк Ш Ьг1дас1г 1 1т1пе55зЫе

Щ Ьзпк_ассоип1 ЬЗ 1шв1пв55аЬ1а | 031)и$1па55аЫв_9пИу |

Щ Ьзпк_соте*1 В 1>И81П8553Ыв_9ПШу 1 В 1ш81пя$5аЫя_гйд1я1ег

3 ЬивИбззаЫе 31>и51пез5аЫе_гед1в1ег 1 31)и51пе55аЫв_5в(1иепсе

1>1181пб85аЫе_вп№у | 11и8|Пв5$аЫв_5ври9ПСв 1 3 са5И_1псотв

В Ьи81пе5$аЫе_гед1з1ег ЕЗ са*Г|_1псоте 1 Ш са5|1_о111согпе

О Ьи81пв8БаЫв_8в«1ивпев | О сИу Оси»

сазМпсоте | О соМас! || 1 О согйа«

Название нзигренич

| Свввт по факторам '(■■ Д«пв«

Рисунок 1 - Внешний вид экрана выбора факторов эксперимента

В качестве уровней факторов использовалось общее количество бизнес-объектов, имеющих отношение к данной операции. Под бизнес-объектами понимается сущность системы (документ, проводка), описывающая движение товара на складе (документы отгрузки или поступления). Один бизнес-объект может хранить свои данные одновременно в нескольких таблицах БД

Для основного уровня выбрано количество бизнес-объектов, равное 5000. Для справочников основной уровень составил 500 записей. Верхний и нижний уровни для бизнес-объектов - 3000 и 7000 записей соответственно.

В ходе эксперимента рассчитывались следующие показатели: среднее время выполнения операции, число операций в секунду, «отзывчивость пользовательского интерфейса» и доступность системы.

Так, для оценки быстродействия информационной системы «Compier ERP/CRM» проведены полные факторные эксперименты, количество факторов равно 3. Планирование проводилось на двух уровнях.

Факторами были документы «движение товара по складу», «отгрузка со склада», «поступление на склад» (хь Х2, х3 соответственно), и справочники — «справочник товаров», «номенклатура единиц измерения» (х4, х5).

После обработки результатов опытов получено следующее уравнение, представленное формулой (1).

у = 8,15 + 0,25х, + 0,08х2 + 0,2х3 + 0,03x4 + 0,03х5 (1)

Проверка однородности дисперсий проводилась с использованием критерия Кохрена, для проверки гипотезы об адекватности модели использован критерий Фишера, а при оценке значимости факторов - t-

критерий Стьюдента. Окончательное уравнение регрессии имеет вид (2).

у = 8,15 + 0,25х, + 0,08X2 + 0,2х3 (2)

Фактические и прогнозные значения времени выполнения функциональной операции «складская ведомость», рассчитанные по этой модели, представлены на рисунке 2.

Для оценки характеристик потребительского качества экономической информационной системы «Ананас» проведены дробные факторные эксперименты. Анализировалось время выполнения функциональной операции «Выдача отчета «Ведомость движения по складу»».

В качестве факторов взяты объёмы 8 таблиц, входящих в базу данных системы «Ананас» (содержат данные по документам «Ввод остатков по складу», «Списание», «Поступление» и двум справочникам: «Товары», «Номенклатура»).

Рисунок 2 - Фактические и прогнозные значения времени

выполнения функциональной операции «складская ведомость»

Окончательное уравнение регрессии для прогнозирования времени выполнения функциональной операции «Ведомость движения по складу» имеет вид (3).

у= 9,98+ 0,2x1 + 0,07х2 + 0,24х3 (3)

Фактические и прогнозные значения, рассчитанные по этой модели, представлены на рисунке 3.

Рисунок 3 - Фактические и прогнозные значения времени

выполнения функциональной операции «Ведомость движения по складу»

Время выполнения функциональной операции «Отчет по складу» в системе «Plazma CRM» оценивалось, исходя из значений трех основных и двух вспомогательных факторов.

После исключения незначимых факторов окончательное уравнение регрессии для функциональной операции «Ведомость движения по складу» приняло вид (4).

у = 9,16+ 0,2х! + 0,12х2 + 0,26х3 + 0,11X4 (4)

Фактические и прогнозные значения времени выполнения функциональной операции, рассчитанные по этой модели, представлены на рисунке 4.

7,5 ...............................

1 2 3 4 5 6 7 8 9 10 11 12 13 и 15 16 17 18 19 20 21 22 23 24 25 Ж 27 28 29 30 31 32

N9 этапа

Рисунок 4 - Фактические и прогнозные значения времени

выполнения функциональной операции «Ведомость движения по складу»

Для оценки характеристик типовой конфигурации системы «1С-Торговля и склад» проведен полный факторный эксперимент.

Проанализирована функциональная операция «Ведомость остатков на складе»; в эксперименте варьировались значения пяти факторов: количество документов «Ввод остатков по складу», «Поступление материальных ресурсов», «Списание материальных ресурсов», и объем справочников «Номенклатура» и «Единицы измерения».

Планирование проводилось на двух уровнях. Число параллельных опытов при проведении эксперимента равно трем. После обработки результатов опытов для функциональной операции «Ведомость остатков на складе» получено уравнение (5).

у = 7,98 + 0,26x1 + 0,10х2 + 0,Зх3 + 0,03х4 + 0,04х5 (5)

Проверка однородности дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,112, а табличное 0,2756, следовательно, гипотеза об однородности дисперсий подтверждается. Для проверки адекватности уравнения применялся критерий Фишера. Расчетное значение критерия Фишера составило 2,31, а табличное 3,3 следовательно модель адекватна.

Расчетные значения /-критериев Стьюдента для коэффициентов Ь], Ь2, Ь3, Ь4> Ь5 составили соответственно 9,34; 3,79; 10,83; 1,12; 1,61, а табличное значение равно 2,059 при уровне значимости 5%. Окончательное уравнение регрессии (после исключения незначимых факторов) приняло вид (6).

у = 7,98 +0,26х! +0,10х2 +0,Зх3 (6)

Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость остатков на складе», рассчитанные по этой модели, представлены на рисунке 5.

№ этапа

Уф Урасч

Рисунок 5 - Фактические и прогнозные значения времени

выполнения функциональной операции «Ведомость остатков на складе»

На рисунке 6 представлен внешний вид окна с просмотром результатов эксперимента, а в таблице 2 представлена информация для сравнения рассмотренных ЭИС между собой.

:<в сячипхтквсах ыратпры жюра-икира.

ш

д ^

Пск^чешюе урзаивмс у*4,18 ♦ 0.5241 * 0.1К2 > 0,74**3 4 1,37'х4 + а,95"*5 ♦ 2.36'хБ 4 С учетом эизчимичш «озффициекто». у= 4,18 + 0.74*хЗ » 0,95**6 * 2,ЗБ'х6. Параметры ура&мишя: дислерсня адеиваттктм: 6,©2 дисперсия восфоизвздаиосгк. 6,33 «ритсрмй Косрею: 0.047

«р»нерии1-Оьк«»и>а; 0.81:0.53; 362 1.44; 4, «7.2.76;0,54,0,93 «ритврий Фишера: 1,13 уровень яючхыости: 5%

Прогнозируемые и фактические

1 3 5 7 9 11 13 15 17 19 !'■■ 25 25 2? 29 31 Гй этапа

Рисунок 6 - Экран просмотра результатов эксперимента

Таблица 2 - Результаты активных экспериментов с несколькими

рыночными ЭИС

Операция Количество ЭИС

объектов 1С Ананас Plazma Compier

Среднее время 9,29 11,235 9,97 8,95

выполнения операции (сек)

Операций в секунду для 5 5000 0,02 0,018 0,099 0,111

пользователей

Отзывчивость интерфейса 94% 91% 93% 98%

Доступность системы 99% - - 99%

Среднее время 10,23 11,88 11,28 11,41

выполнения операции (сек)

% изменения 15000 10,14% 5,7% 13,1% 11,41%

Операций в секунду для 5 0,019 0,016 0,094 0,1

пользователей

Отзывчивость интерфейса 91% 90% 91% 95%

Доступность системы 90% - - 93%

Как видно из таблицы, лучшие результаты по времени выполнения рассматриваемой функциональной операции показывают системы «1С» и «Compiere ERP/CRM». При одновременном выполнении пятью пользователями одной функциональной операции система «1С» показывает значительное снижение скорости выполнения операций - уменьшилось значение показателя «Операций в секунду на пользователя». При трехкратном увеличении объема данных наблюдается заметное снижение скорости работы ЭИС (более 10% для всех ЭИС, кроме системы «Ананас»),

Проведенные эксперименты позволяют сделать обоснованный выбор ЭИС, исходя из значений показателей, характеризующих потребительское качество систем.

В Заключении диссертационного исследования приведены основные результаты и выводы.

Основные положения диссертационной работы нашли отражение в следующих публикациях:

Статьи в периодических научных изданиях, выпускаемых в РФ и рекомендованных ВАК

1. Победённый A.B. Оценка производительности программных продуктов экономического назначения // Вестник Ростовского государственного экономического университета «РИНХ».- Ростов н/Д, 2009.-№2.—с.307-312 -0,3 пл.

2. Победённый A.B. Информационная система для оценки производительности программных продуктов // Вестник Донского государственного технического университета- Ростов н/Д, 2009.- №2-с.303-307 - 0,3 пл.

Статьи в периодических научных изданиях, в материалах конференций и в сборниках научных трудов вузов

3. Победённый A.B. Об оценке качества экономических информационных систем // Проблемы федеральной и региональной экономики: ученые записки / Ростовский государственный экономический университет «РИНХ»,- Ростов н/Д, 2007 - Вып. 10 - с.109-114 - 0,38 пл.

4. Победённый A.B. Об оценке эффективности функционирования информационных систем, построенных с использованием СУБД // Проблемы федеральной и региональной экономики: ученые записки / Ростовский государственный экономический университет «РИНХ»,— Ростов н/Д, 2007 -Вып. 10,-с.119-122-0,3 пл.

5. Победённый A.B. Аспекты создания безопасных вэб-приложений с использованием языка Java // Проблемы информационной безопасности: Материалы всероссийской научно-практической Интернет-конференции / Ростовский государственный экономический университет «РИНХ».- Ростов н/Д, 2006.- с.80-83 - 0,2 пл.

Свидетельства РОСПАТЕНТа

6. Хубаев Г.Н., Побеленный A.B. Информационная система оценки производительности программных продуктов «Ep.DB» //Свидетельство об официальной регистрации программы для ЭВМ- №2009610147- М.: РОСПАТЕНТ, 2009.

7. Программная система для оценки характеристик потребительского качества информационных продуктов для экономических приложений / Г.Н. Хубаев, С.М. Щербаков, М.А. Кривошеева, А.И. Голованов, A.B. Победенный // Свидетельство об официальной регистрации программы для ЭВМ - № 2004612668.-М.: РОСПАТЕНТ, 2004.

8. Система поддержки принятия решений для повышения эффективности управления качеством работы налоговых органов / А.Б. Паскачев, Ю.Д. Джамурзаев, Г.Н. Хубаев, A.B. Победенный, Е.В. Полуянов, Е.Г. Смелик // Свидетельство об официальной регистрации программы для ЭВМ,-№2004612476,-М.: РОСПАТЕНТ, 2004.

9. Хубаев Г.Н., Победенный A.B. Информационная система для автоматизированной оценки качества программных продуктов «Ер.РР» //Свидетельство об официальной регистрации программы для ЭВМ-№ 2009610148.-М.: РОСПАТЕНТ, 2009.

Печать цифровая. Бумага офсетная. Гарнитура «Тайме». Формат 60x84/16. Объем 1,0 уч.-изд.-л. Заказ № 1505. Тираж 150 экз. Отпечатано в КМЦ «КОПЩЕНТР» 344006, г. Ростов-на-Дону, ул. Суворова, 19, тел. 247-34-88

Диссертация: содержание автор диссертационного исследования: кандидата экономических наук, Победённый, Алексей Владимирович

Введение

1 Сравнительный анализ методик оценки качества экономических 11 информационных систем

1.1 Характеристики потребительского качества экономических 11 информационных систем

1.2 Подходы к оценке отдельных показателей потребительского 30 качества экономических информационных систем

1.3 Сравнительный анализ существующих методик оценки 35 потребительского качества экономических информационных систем

2 Автоматизация процессов оценки потребительского качества 46 экономических информационных систем

2.1 Оценка потребительского качества ЭИС с использованием 46 статистических методов планирования экстремальных экспериментов

2.2 Особенности процедуры оценки характеристик потребительского 59 качества ЭИС

3 Разработка и анализ инструментальных средств оценки 64 характеристик потребительского качества экономических информационных систем

3.1 Постановка задачи проектирования инструментальных средств 64 оценки характеристик потребительского качества ЭИС

3.2 Особенности проектирования системы оценки качества ЭИС, 66 ориентированных на использование СУБД

3.3 Проектирование инструментальных средств оценки 74 потребительского качества ЭИС

3.4 Программная реализация модуля оценки потребительского качества 76 ЭИС «Ep.DB»

3.5 Описание модуля оценки потребительского качества ЭИС «Ep.DB»

3.6 Программная реализация модуля оценки потребительского качества 88 ЭИС «Ер.РР»

3.7 Сравнение разработанных инструментальных средств оценки 92 потребительского качества ЭИС

4 Экстремальные эксперименты и построение регрессионных моделей 98 для оценки потребительского качества рыночных ЭИС

4.1 Описание выбранных для проведения экстремальных 98 экспериментов систем

4.2 Проведение экстремальных экспериментов с экономической 102 информационной системой «Compier ERP/CRM»

4.3 Проведение экстремальных экспериментов с экономической 106 информационной системой «Ананас»

4.4 Проведение экстремальных экспериментов с экономической 109 информационной системой «Plazma CRM»

4.5 Проведение экстремальных экспериментов с экономической 111 информационной системой «1С Торговля и склад»

Диссертация: введение по экономике, на тему "Инструментальные средства оценки потребительского качества экономических информационных систем"

За последние десятилетия информационные технологии сделали большой рывок вперед. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его наполнения, появлению и внедрению новых технологий сбора и обработки информации. Важным моментом является тот факт, что аналогичные по своему назначению и функциям ЭИС имеют разную стоимость и могут обладать разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество ЭИС - степень ее соответствия требованиям пользователя. [53].

Ряд научных публикаций посвящен рассмотрению и сравнению различных методик оценки качества ЭИС [6, 20, 21, 35]. Эти методики позволяют проанализировать выполнимость требований заказчика, оценить потенциальные угрозы безопасности информации, оценить качество работы ЭИС в процессе испытаний и эксплуатации, выявить условия эффективной эксплуатации, соотнести потребности конечного пользователя с представленными на рынке системами и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества ЭИС.

Отличительной особенностью оценки качества ЭИС является отсутствие четкого набора показателей качества, состав которого определяется функциональным назначением системы и зависит от целей конечного пользователя. При этом процесс измерения большинства показателей качества неформализован, а количество факторов; участвующих в оценке настолько велико, что в большинстве случаев необходима целая команда специалистов. Все это значительно повышает расходы на оценку качества ЭИС, и приводит к тому, что большинство систем выбираются исходя из личного опыта или рекомендации коллег. Ые стоит забывать, что затраты на модернизацию уже действующей ЭИС (изменение структуры хранения данных, базовой платформы реализации функционала и т.д.) зачастую многократно превышают ее первоначальную стоимость. А это значит, что выбор программного продукта без определения степени его соответствия предъявленным пользователем требованиям, может привести к непредвиденным затратам и значительно снизить экономический эффект от внедрения информационной системы.

В данном исследовании предпринята попытка ответить на поставленные выше вопросы и разрешить часть описанных проблем, связанных с процедурой оценки качества информационных систем.

Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов (□□□□ Q28195-89, ISO/IEC 9126:1991), формализующие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта, и описывающие основные показатели качества. Проблема оценки качества рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева А.В., Кривошеевой М.А., Коган Б.И:, Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н.

Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно, и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.

Целью диссертационного исследования является разработка и исследование инструментальных средств (ИС) для автоматизированной оценки характеристик потребительского качества экономических информационных систем; исследование функциональных возможностей разработанного инструментария анализе рыночных ЭИС.

Для достижения цели в диссертационном исследовании поставлены следующие задачи:

- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС,

- разработать алгоритм измерения времени исполнения функциональных операций ЭИС,

- разработать алгоритмы заполнения СУБД случайными данными который обеспечивал бы высокую скорость заполнения при относительно низком уровне ошибок, и не требовал от пользователя знания технических деталей исследуемого продукта,

- провести активные эксперименты с несколькими рыночными ЭИС, по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выполнения функциональных операций и выполнить сравнение исследуемых ЭИС между собой.

Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем на предприятиях всех форм собственности.

Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3.

Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.

Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС, полученные в результате планирования и реализации активных экспериментов.

Работа выполнена в соответствии с пунктом «2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Положения, выносимые на защиту:

1. Разработанные инструментальные средства оценки потребительского качества экономических информационных систем, которые обеспечивают возможность проведения активных экспериментов с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие определять характеристики потребительского качества и сравнивать по этим критериям ЭИС между собой.

2. Алгоритм оценки времени выполнения функциональных операций, позволяющий выполнять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода.

3. Алгоритмы наполнения СУБД данными, в том числе, алгоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных.

4. Функции контроля вносимых в ЭИС данных, использующие анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС.

5. Построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС.

Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:

1. Разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выполнения базовых операций, пропускную способность (число операций за единицу времени, число операций за единицу времени в расчете на пользователя), процент ошибок и время доступности системы, «отзывчивость» пользовательского интерфейса; проводить хронометраж выполнения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества.

2. Разработан алгоритм измерения времени выполнения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выполнения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода.

3. Разработаны оригинальные алгоритмы наполнения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных, наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных, и позволяющие снизить уровень ошибок во время заполнения СУБД, полностью автоматизировать внесение данных различной сложности в ЭИС.

4. Предложены и реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность заполнения полей при вводе данных, учесть и измерить задержки отклика ЭИС.

5. Построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С «Бухгалтерия», «Ананас», «Compier ERP/CRM», «Plazma») статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: «Движение товара по складу», «Отгрузка со склада», «Поступление на склад» «Ввод остатков по складу», «Поступление материальных ресурсов», «Списание материальных ресурсов» и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.

Практическая ценность результатов исследования. Разработанные инструментальные средства оценки позволяет в автоматизированном режиме проводить оценку потребительского качества

ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выполнения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.

Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются в учебных целях при чтении курсов «Проектирование информационных систем» и «Теория экономических информационных систем» в РГЭУ «РИНХ».

По теме диссертации опубликовано 4 печатных работы общим объемом 1,5 п. л. и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 4 приложений. Основной текст занимает 142 страницы, включает в себя 9 таблиц и 20 рисунков. Список использованной литературы состоит из 87 источников.

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Победённый, Алексей Владимирович

Основные выводы и практические результаты диссертационного исследования:

- созданы два инструментальных средства оценки характеристик потребительского качества ЭИС позволяющие: минимизировать время проведения активного эксперимента с программным продуктом; выполнять автоматический хронометраж выполнения функциональных операций; строить регрессионные модели, описывающие поведение системы;

- созданные инструментальные средства оценки характеристик потребительского качества позволяют получить оценку общего времени решения задачи автоматизации, реализованной в оцениваемой ЭИС, при условии проведения экспериментов для всех функциональных операций реализуемых системой;

- минимизировано время проведения активного эксперимента с

ЭИС.

В ходе проведенных активных экспериментов с ЭИС получены статистические характеристики их функционирования и построены регрессионные модели зависимости времени отклика от различных факторов.

Перечисленные новые результаты исследований обеспечили возможность:

- на стадии разработки ЭИС выявлять узкие места архитектуры проектируемой системы;

- получать оценку характеристик потребительского качества системы на любой стадии ее жизненного цикла;

- расширить для пользователя возможности выбора на рынке ЭИС, предоставив возможность получения прогноза времени выполнения всех реализованных любой программной системой функциональных операций;

- проводить активные эксперименты с ЭТС, анализируя при этом большое число факторов. принимать обоснованные решения о выборе ЭИС.

Заключение

В диссертационной работе рассмотрены показатели качества, регламентируемые стандартами и используемые на практике для оценки ЭИС по различным критериям. Проведена сравнительная характеристика отечественного и международного стандартов, регламентирующих показатели качества, приведены примеры детализации требований к ЭИС. Определен список показателей составляющих потребительское качество. Рассмотрены инструменты измерения выбранных показателей, используемые при тестировании программного обеспечения, описаны их достоинства и недостатки.

Проведен подробный анализ существующих на текущий момент методик оценки качества информационных систем. Сформулированы задачи, решение которых необходимо для создания инструментальных средств оценки характеристик потребительского качества экономических информационных систем.

Описаны проблемы автоматизации проведения активных экспериментов с ЭИС и пути их решения. Из множества факторов оказывающих влияние на функционирование систем выявлены те факторы, которыми можно управлять в автоматическом режиме. Автоматизировано проведение активных экспериментов с экономическими информационными системами любой архитектуры. В процессе проведения активного эксперимента значения факторов изменяются в автоматическом режиме.

Построены статистически значимые прогнозные модели, позволяющие прогнозировать время выполнения различных функциональных операций программными системами «1С Торговля и склад», «Ананас», «Compier ERP/CRM» и «Plazma CRM» в зависимости от объемов данных