Разработка и исследование информационных систем для оценки характеристик потребительского качества программных продуктов, построенных с использованием СУБД MS Access, IC Предприятие, ORACLE тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Разработка и исследование информационных систем для оценки характеристик потребительского качества программных продуктов, построенных с использованием СУБД MS Access, IC Предприятие, ORACLE"

На правах рукописи

Кривошеева Мария Александровна

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНФОРМАЦИОННЫХ СИСТЕМ ДЛЯ ОЦЕНКИ ХАРАКТЕРИСТИК ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА ПРОГРАММНЫХ ПРОДУКТОВ, ПОСТРОЕННЫХ С ИСПОЛЬЗОВАНИЕМ СУБД MS Access, 1С Предприятие, ORACLE

Специальность 08.00.13 - математические и инструментальные методы

экономики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

Ростов-на-Дону - 2004

Работа выполнена в ГОУВПО Ростовский государственный экономический университет «РИНХ»

Научный руководитель:

доктор экономических наук, профессор Хубаев Георгий Николаевич

Официальные оппоненты:

доктор экономических наук, профессор Матвеева Людмила Григорьевна

кандидат экономических наук, профессор Рудский Анатолий Андреевич

Ведущая организация:

Южно-Российский государственный

университет экономики и сервиса

Защита состоится «22» ноября 2004 г. в н а заседании диссертационного совета ДМ 212.209.03 в Ростовском государственном экономическом университете «РИНХ» по адресу: 344002, г. Ростов-на-Дону, ул. Б. Садовая, 69., ауд. 231.

С диссертацией можно ознакомиться в научной библиотеке Ростовского государственного экономического университета «РИНХ»

Автореферат разослан «21 » октября 2004 г.

Ученый секретарь диссертационного

совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. За последнее десятилетие область применения компьютерной техники значительно расширилась, и рынок программного обеспечения также существенно вырос. Особенностью рынка программного обеспечения является быстрая смена его наполнения, появление новых программных продуктов, выход новых версий уже существующего программного обеспечения. Отметим, что до 95 % всех затрат на создание программно-аппаратного комплекса приходится на долю программного обеспечения, поэтому рост конкурентоспособности программного обеспечения основывается на снижении его стоимости и повышении качества.

Говоря о качестве программного обеспечения, мы подразумеваем такую совокупность свойств, которая обусловливает его пригодность удовлетворять потребности пользователя, то есть, мы говорим о качестве в общепринятом, нормативном понимании этого термина. Так, согласно1 «качество продукции - социально-экономическая категория, характеризующая степень удовлетворения конкретной потребности единицей данной потребительной стоимости», а «потребительское качество - совокупность свойств продукции, проявляющихся в процессе ее потребления. Выбор свойств, составляющих содержание понятия потребительское качество, достаточно широк и разнообразен и зависит от вида продукции».

Потребительское качество программного продукта определяется как множество свойств, обусловливающих пригодность программного средства обеспечивать надежное и своевременное представление информации потребителю для ее дальнейшего использования по назначению. Современное программное обеспечение позволяет проводить оценку качества программных продуктов, в том числе и построенных с помощью различных систем управления базами данных (СУБД), вне зависимости от их функционального назначения.

Социально-экономическая статистика: Словарь. - М

ФМ»&>«АЦМОНМММ»||52. БИБЛИОТЕКА 1

.у

Наиболее заинтересованным в качестве программного комплекса является потребитель - пользователь программного продукта. Для того чтобы выбрать программную систему, автоматизирующую решение интересующих его задач, потенциальный покупатель пытается оценить качество систем, представленных на рынке. При этом необходимо учитывать, что убытки от ошибок при проектировании и выборе информационной системы могут быть весьма существенными. В то же время, в технической документации большинства программных средств, предлагаемых в настоящее время на рынке, отсутствует информация, позволяющая оценить выходные характеристики программы и их динамику при изменении объема входной информации. Без такой информации невозможно оценить качество информационной системы, ее экономическую эффективность. Таким образом, в условиях постоянно растущего рынка программного обеспечения оценка качества программных систем является важной задачей. В диссертационной работе предпринята попытка решения части задач, связанных с проблемой оценки качества программных средств.

Степень разработанности проблемы. Потребности субъектов рынка программного обеспечения способствовали возникновению и развитию подходов и методик оценки качества программных продуктов, описанных в работах Безкоровайного М.М., Богуславского Л.Б., Гантера Р., Гличева А.В., Глудкина О.П., Денисова А.А., Дика В.В., Изосимова А.В., Когана Б.И., Кос-тогрызова А.И., Липаева В.В., Марковой Н., Ногинского М.В., Погодаева А. К., Саркисяна А.А., Тамре Л., Трахтенгерца Э.А., Хубаева Г.Н.

Из иностранных исследователей отметим: Каргил К. (Cargill С), Эр-догмус X. (Erdogmus H.), Кит И. (Kit E.), Хааген У. (Hashagen U.), Лоренц П. (Lorenz Р.), Мартин Дж. (Martin J.), О'Реган Г. (O'Regan G.), Кармайкл Э. (Carmichel Е.), Реверц П. (Revesz P.), Самервил И. (Sommerwill L), Чен П. (Chen P.), Майерс Г. (Mayers G.), Смит К. (Smith К.)

Хорошо разработанными являются лишь отдельные вопросы оценки потребительского качества программных продуктов, в частности, имеющих от-

раслевую специфику. Определен набор величин, характеризующих качество информационных систем. Исследованы отдельные зависимости между качеством и параметрами информационных систем.

Однако недостаточно внимания уделяется применению математического моделирования, методов планирования эксперимента для исследования качества программных продуктов.

Также недостаточно разработанными являются инструментальные средства для оценки качества программного обеспечения, в частности, построенного с использованием СУБД.

Цель и задачи исследования. Целью диссертационного исследования является разработка информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с помощью СУБД MS Access, 1С Предприятие, Oracle, и ее апробация на реальных автоматизированных информационных системах экономического назначения.

Для достижения цели в диссертационном исследовании ставились и решались следующие задачи:

выбор базовых методик для построения информационной системы оценки потребительского качества программных продуктов для экономических приложений;

анализ существующих инструментальных средств оценки качества программных продуктов;

определение условий применения различных методов оценки потребительского качества программных продуктов;

проектирование и реализация информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с использованием современных СУБД;

автоматизация проведения экспертных исследований в сети Интернет;

проведение экспертной оценки важности основных характеристик потребительского качества программных продуктов для нескольких предметных областей;

оценка, по ряду критериев, качества функционирования нескольких автоматизированных систем, различных по своему назначению.

Объектом исследования являются предприятия всех организационно-правовых форм, использующие в своей деятельности автоматизированные информационные системы. Предмет исследования - информационные системы для оценки качества программных продуктов для экономических приложений.

Теоретическую и методологическую основу диссертационного исследования составили труды ведущих отечественных и зарубежных ученых по рассматриваемой проблеме, материалы научных конференций, публикации в периодической печати и в сборниках научных трудов.

Инструментарий исследования составили общая теория систем и системный анализ, методы исследования операций, методы прикладной статистики и планирования эксперимента, методы оценки потребительского качества программных систем, методы группового экспертного оценивания, современное программной обеспечение: системы управления базами данных Microsoft Access, 1С и Oracle 8i, средства разработки программного обеспечения Borland C++ Builder и Borland Delphi 5, PHP 4.

Информационно-эмпирическую базу исследования составили данные, характеризующие функционирование программных продуктов, созданных с помощью систем управления базами данных Microsoft Access, 1С, Oracle, полученные в результате планирования и реализации активных экспериментов с программными системами, а также данные, полученные в результате проведения экспертных опросов.

Работа выполнена в рамках Паспорта специальности 08.00.13 - математические и инструментальные методы экономики, в соответствии с пунктами 2.6. «Развитие теоретических основ методологии и инструментария

проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» и 2.7 «Проблемы стандартизации и сертификации информационных услуг и продуктов для экономических приложений».

Основные положения и результаты, выносимые на защиту:

- программная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности, позволяющая а) снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характеристик быстродействия сертифицируемого информационного продукта в зависимости от объемов таблиц, составляющих его базу данных; б) проводить в условиях сети Интернет экспертные опросы для ранжирования характеристик качества анализируемых экономических информационных систем.

- статистически значимые регрессионные модели, построенные по данным активных экспериментов и позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций конкретными программными системами различного назначения.

- программные модули, автоматизирующие алгоритм управления факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет значительно сократить время проведения активных экспериментов и увеличить число анализируемых факторов.

- экспертные оценки важности основных показателей качества программного обеспечения при автоматизации деятельности в конкретных предметных областях, что позволило определить требования пользователей экономических информационных систем.

Научная новизна диссертационного исследования. Новыми являются:

- разработанная программная система, реализующая оригинальную методологию определения характеристик потребительского качества информационных систем субъектов экономической деятельности и предназначенная для повышения объективности сертификации информационных продуктов для экономических приложений, построенных на СУБД MS Access, 1С Предприятие, ORACLE;

- регрессионные модели, построенные по результатам спланированных в автоматизированном режиме экстремальных экспериментов, позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций;

- ранжированный перечень основных характеристик качества программных продуктов, полученный в результате проведения экспертизы и позволяющий оценить требования пользователей информационных систем для конкретных предметных областей;

- программная реализация управления факторами (в автоматизированном режиме), включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет увеличить число анализируемых факторов при значительном сокращении времени проведения активных экспериментов.

Теоретическая и практическая значимость исследования. Теоретическая значимость заключается в формулировке и доказательстве того, что потребительское качество программных систем, построенных с помощью СУБД, зависит от объемных характеристик таблиц, составляющих базы данных этих систем.

Практическая ценность результатов исследования заключается в том, что разработанная автоматизированная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности позволяет:

- проводить оценку потребительского качества программных продуктов, построенных с помощью современных СУБД, в том числе функционирующих в условиях сети и использующих архитектуру «клиент-сервер»;

- минимизировать время проведения активного эксперимента с программным продуктом (при значительном числе анализируемых факторов);

- оценивать влияние числа записей в таблицах базы данных программного продукта на время выполнения функциональных операций;

- осуществлять в сети Интернет экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем;

- давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др.

Апробация результатов исследования. Основные положения диссертационного исследования представлялись, обсуждались и получили положительную оценку на V и VII межгосударственных научно-практических конференциях «Экономико-организационные проблемы проектирования и применения информационных систем» (г. Ростов-на-Дону, 2000,2002 гг.).

Результаты диссертационного исследования внедрены в ОАО «Ростовская государственная телефонная сеть» и ИВЦ ЖКХ г. Ростова-на-Дону, ЗАО «Фирма «СТОИК» (МА СканМаркет® ) г. Москва.

Основные результаты диссертационного исследования опубликованы в 6 печатных работах, в которых автору принадлежит 1,01 п.л.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 9 приложений. Основной текст занимает 161 страницу и содержит 50 таблиц и 29 рисунков. Список использованной литературы состоит из 114 источников.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационного исследования, сформулированы цель и задачи исследования, определены объект, предмет и методология исследования, сформулирована научная новизна и положения, выносимые на защиту.

В первой главе «Качество программных средств: понятие, характеристики, подходы к оценке» проведен анализ существующих характеристик качества программного обеспечения, подходов к его оценке, рассмотрены вопросы оценки качества программных продуктов, построенных на архитектуре «клиент-сервер».

Проведен анализ существующих стандартов, регламентирующих показатели качества программного обеспечения, рассмотрены методологические и практические вопросы применения стандартов в области качества программного обеспечения на практике. Проведенный анализ указанных стандартов позволил сделать вывод о том, что международные и отечественные стандарты не в полной мере отражают характеристики потребительского качества готового программного продукта.

В диссертационной работе рассмотрено несколько существующих методик, позволяющих производить оценку качества программных продуктов, построенных на использовании баз данных: оценка качества программных средств по критерию функциональной полноты; экспертная оценка качества программных средств; взаимоувязанная оценка показателей надежности и своевременности представления, полноты, достоверности и конфиденциальности используемой информации; реляционный подход к измерению и оценке качества программных средств; оценка факторов, влияющих на время выполнения программным средством отдельных функциональных операций, и работы программы в целом.

Поскольку программные продукты, ориентированные на использование баз данных, представляют собой товар, обладающий специфическими потребительскими свойствами, и каждая из существующих методик требует достаточно большого объема вычислений, то представляется целесообразным проведение оценки качества таких программных продуктов с помощью специализированных автоматизированных систем.

Во второй главе «Автоматизация оценки потребительского качества программных продуктов» осуществлен выбор базовых методик для по-

строения автоматизированной системы оценки потребительского качества программных продуктов, ориентированных на использование баз данных. Методики оценки потребительского качества программных продуктов рассмотрены с точки зрения их применимости в качестве основы для проектирования автоматизированной системы. На основании проведенного анализа выбраны метод оценки степени влияния факторов, воздействующих на время выполнения программным продуктом отдельных функциональных операций с помощью проведения активных экспериментов с программными продуктами , построенными на использовании баз данных и метод экспертных оценок. Метод оценки качества с помощью проведения активных экспериментов позволяет количественно оценивать быстродействие программных систем и делать выводы о влиянии числа записей в таблицах, составляющих базу данных оцениваемого программного продукта (ПП), на время выполнения отдельных функциональных операций. Метод экспертных оценок применяется для получения оценки качества программных продуктов по показателям, которые не могут быть оценены количественно (удобство использования программного продукта, качество документации, удобство обслуживания и т.п.).

Для визуализации структуры системы и ее функционирования была разработана UML-модель. В соответствии с тем, что для построения системы были выбраны два метода, модель системы также включает два модуля, первый из которых предназначен для оценки потребительского качества программных продуктов, ориентированных на использование баз данных по параметру «быстродействие» путем проведения активных экспериментов с программным продутом. Второй модуль реализует метод проведения экспертных оценок по методике, ориентированной на дельфийскую процедуру.

На рис. 1 представлен фрагмент диаграммы прецедентов, соответствующий первому модулю системы.

2 Хубаев Г Н Информационные и программные системы как объекты активного экспериментирования //Программные продукты и системы -!999.-№2 -с. 2-7.

Рисунок 1 - Фрагмент диаграммы прецедентов программной системы для оценки характеристик потребительского качества информационных систем субъектов экономической деятельности (модуль оценки быстродействия)

В соответствии с данной диаграммой в системе имеется 3 группы пользователей, работающих с системой - лицо, проводящее эксперимент, лицо, принимающее решение и заинтересованные лица. Причем, лицо, проводящее эксперимент и лицо, принимающее решение могут быть одним человеком, поскольку работа с системой не требует каких-то специальных знаний или навыков и специалист, нуждающийся в предоставляемых системой сведениях, может самостоятельно работать с ней без какой-либо предварительной подготовки.

Начальным этапом работы первого модуля является проведение активных экстремальных экспериментов для каждой функциональной операции, время выполнения которой необходимо проанализировать Проведение активного эксперимента имеет три стадии: подключение к базе данных иссле-

дуемого программного продукта, выбор факторов и построение плана эксперимента, и, непосредственно, проведение опытов. На основании данных, полученных в результате проведения активного эксперимента, производится расчет регрессионной модели, позволяющей определить, какие факторы влияют на время выполнения анализируемой функциональной операции, а также определить степень этого влияния. Помимо этого, системой предоставляются данные о времени выполнения функциональных операций. Эта информация может использоваться для принятия решения о сертификации, покупке программного продукта и в конечном итоге влиять на выбор пользователя. В качестве заинтересованных лиц могут выступать потенциальные покупатели и/или пользователи оцениваемого программного продукта.

Второй модуль системы предназначен для проведения экспертных опросов в сети Интернет. Фрагмент диаграммы прецедентов, соответствующий этому модулю представлен на рис. 2.

На данной диаграмме представлены четыре группы пользователей: организатор экспертизы — человек, отвечающий за проведение экспертного опроса;

лицо, принимающее решение - человек, который анализирует мнение экспертов;

эксперты - специалисты, привлеченные к участию в экспертном

опросе;

заинтересованные лица — все, кому данные экспертного опроса могут быть полезны.

Задачами организатора экспертизы является общее управление экспертным опросом и регистрация экспертов. Эксперты могут регистрироваться и без помощи организатора экспертизы. Основной их функцией является ранжирование факторов, выбранных для оценки качества программного продукта.

Также во второй главе рассмотрены особенности проведения активных экспериментов при оценке характеристик качества программных про-

дуктов, построенных на использовании баз данных. Установлено, что при экспериментах с программными продуктами, ориентированных на использование баз данных, изменение в достаточно широких пределах интервалов варьирования объемов таблиц БД осуществить достаточно просто.

Рисунок 2 - Фрагмент диаграммы прецедентов программной системы для оценки характеристик потребительского качества информационных систем субъектов экономической деятельности (модуль экспертных оценок)

В третьей главе «Экспертная оценка характеристик качества программных продуктов» рассмотрены особенности экспертной оценки характеристик качества программных продуктов, ориентированных на использование баз данных. Установлено, что далеко не все показатели качества программных продуктов можно оценивать с помощью количественных методов. Для оценки качества документации, удобства интерфейса и других показателей эффективно использовать экспертные методы. В диссертационном исследовании с помощью экспертных опросов оценена важность суще-

ствующих показателей качества программного обеспечения для четырех программных комплексов. Для проведения экспертного опроса на основании анализа литературных источников были выбраны основные наиболее распространенные и понятные пользователям программных продуктов и специалистам в области информационных технологий характеристики качества программных продуктов:

- устойчивость функционирования;

- удобство освоения;

- качество документации программного комплекса;

- удобство обслуживания;

- быстродействие;

- ресурсоемкость;

- возможность модификации.

Экспертная оценка проводилась с использованием дельфийской процедуры. Показатели качества ранжировались в соответствии с их важностью для указанных выше предметных областей.

Экспертный опрос и расчет необходимых показателей проводился помощью разработанной автоматизированной системы проведения экспертных опросов в сети Интернет. В системе реализованы следующие функции:

сбор анкет с экспертными оценками и обработка результатов, получение итогового ранжирования;

получение матриц упорядочения и матрицы рассогласования (используется мера рассогласования Кемени);

построение матрицы рассогласования в канонической форме по заданному пороговому значению;

построение графа рассогласования;

построение графика изменения суммарной величины рассогласования по всем турам опроса;

форум для обсуждения хода, факторов и результатов экспертизы.

Преимуществами разработанной системы являются возможности:

удаленного общения экспертов, что является очень важным, поскольку часто довольно трудно собрать вместе достаточно компетентных экспертов из-за их физической удаленности;

одновременного доступа экспертов к данным опросов, что обеспечивает ускорение проведения экспертного исследования;

обеспечения анонимности экспертов во время проведения опроса и обсуждения проблем экспертизы;

внесения экспертом новых факторов, которые, по его мнению, могут оказать влияние на исследуемый предмет.

Для программных продуктов из четырех предметных областей в результате экспертного опроса был получен ранжированный перечень основных характеристик потребительского качества. Выявлено, что наиболее важной характеристикой для программных продуктов, автоматизирующих деятельность в любой из рассмотренных предметных областей, является устойчивость функционирования, вторым по важности критерием является либо быстродействие (для трех предметных областей из четырех), либо возможность модификации программного продукта. Графы рассогласования мнений экспертов приведены в диссертационной работе.

Также нами была проведена экспертная оценка характеристик качества систем «Отдел продаж» и «Паспортный стол» с целью проверки, насколько эти системы удовлетворяют требованиям экспертов по тем же характеристикам качества, которые были рассмотрены ранее.

В четвертой главе «Оценка потребительского качества программных продуктов с помощью активных экспериментов» приведено подробное описание модуля оценки быстродействия программной системы оценки характеристик потребительского качества информационных продуктов для экономических приложений. Этот модуль позволяет снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характе-

ристик быстродействия сертифицируемого информационного продукта (ИП) в зависимости от объемов таблиц, составляющих его базу данных. Результатом работы первого модуля являются характеристики быстродействия ИП, совокупность уравнений регрессии и выводы о статистической значимости факторов.

Преимуществами использования модуля оценки быстродействия являются:

- предоставление объективной информации, характеризующей быстродействие функционирования оцениваемого программного продукта;

- невысокие требования к уровню квалификации пользователей;

- низкая трудоемкость освоения и простота получения исходной информации для проведения анализа программного продукта.

Построенные с помощью языка UML диаграммы деятельности наглядно отображают процесс функционирования программной системы оценки характеристик потребительского качества программных продуктов для экономических приложений. Фрагмент диаграммы деятельности для модуля оценки быстродействия представлен на рис. 3.

В соответствии с данной диаграммой первым шагом работы с системой является подключение к базе данных оцениваемого программного продукта. Это осуществляется с помощью специальных источников доступа к данным (ODBC, ADO, ODAC). После выбора факторов (таблиц, входящих в базу данных программного продукта) строится план эксперимента. В зависимости от того, были ли выбраны дополнительные факторы, строится либо план полного факторного эксперимента, либо план дробного факторного эксперимента. На следующем этапе пользователь должен ввести основной уровень и интервал варьирования для каждого фактора (таблицы). Затем следует этап проведения опытов (их число определяется планом эксперимента).

Таблицы, выбранные на втором шаге заполняются в соответствии с планом эксперимента. После проведения очередного опыта все записи из таблиц удаляются, и база данных заполняется для проведения следующего

опыта. На основании данных проведенного эксперимента производится расчет показателей регрессионной модели и представление результатов заинтересованным в этой информации лицам.

В процессе проведения исследования установлено, что ограничивающим фактором является сохранение ссылочной целостности базы данных. Для соблюдения этого условия были предложены и реализованы алгоритмы заполнения баз данных на любое число записей в каждой таблице, позволяющие сохранить ссылочную целостность базы данных. Реализованы алгоритмы заполнения для СУБД Oracle, 1С Предприятие, MS Access 2000, причем принципы заполнения таблиц для баз данных 1С отличаются от принципов заполнения таблиц MS Access и Oracle, что обусловлено особенностями построения схем данных и метаданных исследованных СУБД. Для заполнения базы Oracle и MS Access необходимо заполнять все таблицы, включая те, которые не участвуют в эксперименте, а при работе с базой 1С необходимо работать только с теми таблицами, которые включены в эксперимент в качестве факторов.

С помощью модуля оценки быстродействия были проведены активные экстремальные эксперименты, в которых варьируемыми факторами являлись объемы таблиц, составляющих базу данных. В диссертационной работе приведены результаты экспериментов с программами «Отдел продаж», «АРПК РГТС», «1С Предприятие. Бухгалтерия» и «Паспортный стол». Результатом проведения каждого эксперимента с программным продуктом является уравнение регрессии для определения факторов, влияющих на время выполнения программой функциональных операций и характеристики быстродействия программного продукта. На рис. 4 представлена экранная форма автоматизированной системы оценки качества программных продуктов, построенных на использовании баз данных, содержащая план эксперимента, результаты проведения опытов и рассчитанные показатели адекватности модели и коэффициентов уравнения регрессии.

Рисунок 3 - Фрагмент диаграммы деятельности программной системы для оценки характеристик потребительского качества информационных систем субъектов экономической деятельности (модуль оценки быстродействия)

Особенностями алгоритма оценки быстродействия являлись:

база данных каждой системы оригинальна, т. е. полностью отличается своей структурой от баз данных других систем, и поэтому варьируемые параметры в экспериментах с разными системами, очевидно, являются разными;

при проведении экспериментов с программными системами априори неизвестны все имена справочников и других таблиц, числом записей в которых необходимо управлять во время эксперимента. Указанная информация извлекается с помощью разработанной автоматизированной системы;

программная система позволяет пользователю самостоятельно выбирать запросы, время выполнения которых будет оценено в текущий момент.

Рисунок 4 - Экранная форма программной системы оценки характеристик качества программных продуктов для экономических приложений

Для оценки информационной системы «Отдел продаж» были проведены дробные факторные эксперименты. В частности, проанализированы функциональные операции: «Построение плана работы на текущую дату», «Построение отчета об изменении статуса клиентов», «Построение графика распределения клиентов по статусам на текущую дату».

Планирование проводилось на двух уровнях. Основными факторами при проведении дробного факторного эксперимента были а

дополнительными

Х| - число записей таблицы-справочника relation, содержащей виды отношений между компаниями;

Х2 - число записей таблицы-справочника status, содержащей стадии развития отношений между отделом продаж и компанией-клиентом;

Хз - число записей таблицы-справочника source, содержащей источники поступления информации о компаниях-клиентах;

Х4 - число записей таблицы-справочника sd, содержащий сферы деятельности компаний-клиентов;

Х5 - число записей таблицы-справочника vd, содержащий виды деятельности компаний-клиентов;

- число записей таблицы client, содержащей всю информацию о компаниях-клиентах.

X^ - число записей таблицы p_sd, являющейся промежуточной служебной таблицей;

Xjj - число записей таблицы p_vd, также являющейся промежуточной служебной таблицей;

Число параллельных опытов при проведении эксперимента равно трем. После обработки результатов опытов, например, для функциональной операции «Построение плана работы на текущую дату» было получено следующее уравнение (число наблюдений составило п = 32):

у=4,18-l-0,52xi +0,1х2 + 0,74х3+ 1,37x4+0,95х3+2,36х6+ 1,4х7+ l,8xg. (1)

В табл. 1 представлены характеристики полученной регрессионной модели.

Таблица 1 -Характеристики регрессионной модели (1)

Проверка однородности дисперсий производилась по критерию Кох-рена. Поскольку расчетное значение критерия намного ниже табличного на 5% уровне значимости, то гипотеза об однородности дисперсий может быть принята. Для проверки адекватности уравнения применялся критерий Фишера. В результате проведенных расчетов оказалось, что значимыми на 5% уровне являются коэффициенты при Х3, Х5 и при Хб- Таким образом, окончательное уравнение регрессии для функциональной операции «Построение плана работы на текущую дату» приняло вид:

у= 4,18+ 0,74х3 + 0,95х5+ 2,36х6.

Таким образом, опираясь на вышеприведенное уравнение регрессии можно утверждать, что объемы трех таблиц (таблицы-справочника source, содержащей источники поступления информации о компаниях-клиентах, таблицы-справочника vd, содержащий виды деятельности компаний-клиентов и рабочей таблицы client, содержащей всю информацию о компаниях-клиентах), входящих в базу данных системы «Отдел продаж» значимо влияют на время выполнения функциональной операции «Построение плана работы на текущую дату».

Аналогично, для оценки информационной системы «АРПК РГТС», разработанной на СУБД MS Access 2000 были проанализированы функциональные операции «Построение итогового отчета по емкостям АТС (ГТС)», «Качество ГТС за месяц», «Анализ ГТС по годам», «Анализ ГТС по месяцам».

Для оценки типовой конфигурации для системы «1С Предприятие. Бухгалтерия» были проведены полные факторные эксперименты. Были проанализированы функциональные операции «Формирование оборотно-сальдовой ведомости», «Формирование диаграммы оборотов за квартал», «Формирование отчета сводных проводок», «Формирование журнала-ордера и ведомости по счету». Анализировалось влияние шести таблиц справочни-

ков. Аналогичные эксперименты и расчеты были поведены для программной системы «Паспортный стол», реализованной на СУБД Oracle.

В заключении диссертационной работы приведены основные выводы и практические результаты исследования.

Основные положения диссертационной работы нашли отражение в следующих публикациях:

1. Кривошеева М.А. Обзор подходов и методик оценки качества программного обеспечения // Современные аспекты экономики. - 2003. - №22. -с. 197-201.-0,31 п.л.

2. Хубаев Г.Н., Кривошеева М.А. Информационная система для оценки характеристик потребительского качества программных продуктов // Материалы VI Всероссийского симпозиума «Математическое моделирование и компьютерные технологии». -Кисловодск, 2004. - с. 47-49.- 0,13 п.л. (лично автора 0,06 п.л.)

3. Кривошеева М.А. Проблемы автоматизации процесса оценки потребительского качества программного обеспечения // Экономика и финансы. -2004. - №3. - с. 77 - 78. - 0,1 п.л.

4. Кривошеева М.А. Обзор некоторых характеристик качества программных средств // Информационные системы, экономика, управление трудом и производством: Ученые записки. Вып. 7. - Ростов н/Д.: Изд-во РГЭУ, 2003.-с. 21 -26.-0,3 п.л.

5. Бабушкина МА. (Кривошеева МА.) Анализ показателей качества работы РГТС // Экономико-организационные проблемы проектирования и применения информационных систем. Материалы IV Межгосударственной научно-практической конференции. — Ростов н/Д.: Изд-во РГЭУ, 2000. - с. 69 -72.-0,1 п.л.

6. Кривошеева М.А. Автоматизация проведения оценки качества программного обеспечения // Экономика и финансы. - 2003. - №20. — с. 49 —51. — 0,14 п.л.

№19 4 6 1

ИЗД. № 252 / 6693. ПОДПИСАНО К ПЕЧАТИ 20.10.04 ОБЪЕМ 1,0 УЧ. - ИЗД. Л. ПЕЧАТЬ ОФСЕТНАЯ. БУМАГА ОФСЕТНАЯ. ФОРМАТ 60X84/16. ГАРНИТУРА ТАЙМС. ЗАКАЗ №309 ТИРАЖ 120 ЭКЗ. "С 103

344002 Г. РОСТОВ-НА-ДОНУ, Б. САДОВАЯ, 69. РГЭУ (РИНХ). ИЗДАТЕЛЬСТВО. ОТПЕЧАТАНО В КМЦ "КОПИ ЦЕНТР", 344006, Г. РОСТОВ-НА-ДОНХ СУВОРОВА, 19. ТЕЛ. 47-34-88

Диссертация: содержание автор диссертационного исследования: кандидата экономических наук, Кривошеева, Мария Александровна

Введение

1. Качество программных средств: понятие, характеристики, подходы к оценке

1.1. Экономическое содержание категории качества программных средств и его характеристики

1.2 Анализ существующих методик оценки качества программных средств

1.3 Подходы к оценке качества функционирования информационных систем, использующих технологию «клиент-сервер»

2. Автоматизация оценки потребительского качества программных средств

2.1 Выбор базовых методик для построения автоматизированной системы оценки потребительского 44 качества программных средств

2.2. Моделирование программной системы для оценки характеристик потребительского качества информационных продуктов для экономических приложений

2.3. Особенности проведения оценки характеристик качества программных систем, ориентированных на использование баз данных

2.4. Проблемы автоматизации процесса оценки потребительского качества программных средств

2.5. Описание программных систем различного назначения, оцениваемых в данном исследовании

3. Экспертная оценка характеристик качества программных продуктов

3.1 Особенности экспертной оценки характеристик качества программных продуктов, ориентированных на 82 использование баз данных щ) 3.2 Автоматизация проведения экспертных исследований

3.3 Экспертная оценка важности характеристик качества программных продуктов для автоматизации исследуемых 89 предметных областей

3.3 Экспертная оценка характеристик качества экономических информационных систем

4. Оценка потребительского качества программных средств с помощью активных экспериментов

4.1 Теория оптимального планирования эксперимента и ее использование для оценки качества программных средств

4.2 Автоматизация оценки качества программных продуктов для экономических приложений по критерию «быстродействие»

4.3 Способы сохранения целостности исследуемой базы данных при проведении активных экспериментов с программными продуктами щ 4.4 Планирование и реализация активных экспериментов с программными системами различного назначения

Диссертация: введение по экономике, на тему "Разработка и исследование информационных систем для оценки характеристик потребительского качества программных продуктов, построенных с использованием СУБД MS Access, IC Предприятие, ORACLE"

За последнее десятилетие область применения компьютерной техники значительно расширилась, и рынок программного обеспечения также существенно вырос. Особенностью рынка программного обеспечения является быстрая смена его наполнения, появление новых программных продуктов, выход новых версий уже существующего программного обеспечения. Отметим, что до 95 % всех затрат на создание программно-аппаратного комплекса приходится на долю программного обеспечения, поэтому рост конкурентоспособности программного обеспечения основывается на снижении его стоимости и повышении качества.

Говоря о качестве программного обеспечения, мы подразумеваем такую совокупность свойств, которая обусловливает его пригодность удовлетворять потребности пользователя, то есть, мы говорим о качестве в общепринятом, нормативном понимании этого термина. Так, согласно [82] «качество продукции — социально-экономическая категория, характеризующая степень удовлетворения конкретной потребности единицей данной потребительной стоимости», а «потребительское качество -совокупность свойств продукции, проявляющихся в процессе ее потребления. Выбор свойств, составляющих содержание понятия потребительское качество, достаточно широк и разнообразен и зависит от вида продукции».

Потребительское качество программного продукта определяется как множество свойств, обусловливающих пригодность программного средства обеспечивать надежное и своевременное представление информации потребителю для ее дальнейшего использования по назначению. Современное программное обеспечение позволяет проводить оценку качества программных продуктов, в том числе и построенных с помощью различных систем управления базами данных (СУБД), вне зависимости от их функционального назначения.

Наиболее заинтересованным в качестве программного комплекса является потребитель — пользователь программного продукта. Для того чтобы выбрать программную систему, автоматизирующую решение интересующих его задач, потенциальный покупатель пытается оценить качество систем, представленных на рынке. При этом необходимо учитывать, что убытки от ошибок при проектировании и выборе информационной системы могут быть весьма существенными. В то же время, в технической документации большинства программных средств, предлагаемых в настоящее время на рынке, отсутствует информация, позволяющая оценить выходные характеристики программы и их динамику при изменении объема входной информации. Без такой информации невозможно оценить качество информационной системы, ее экономическую эффективность. Таким образом, в условиях постоянно растущего рынка программного обеспечения оценка качества программных систем является важной задачей. В диссертационной работе предпринята попытка решения части задач, связанных с проблемой оценки качества программных средств.

Степень разработанности проблемы. Потребности субъектов рынка программного обеспечения способствовали возникновению и развитию подходов и методик оценки качества программных продуктов, описанных в работах Безкоровайного М.М., Богуславского Л.Б., Гантера Р., Гличева А.В., Глудкина О.П., Денисова А.А., Дика В.В., Изосимова А.В., Когана Б.И., Костогрызова А.И., Липаева В.В., Марковой Н., Ногинского М.В., Погодаева А. К., Саркисяна А.А., Тамре JL, Трахтенгерца Э.А., Хубаева Г.Н.

Из иностранных исследователей отметим: Каргил К. (Cargill С.), Эрдогмус X. (Erdogmus Н.), Кит И. (Kit Е.), Хааген У. (Hashagen U.), Лоренц П. ( Lorenz Р.), Мартин Дж. (Martin J.), О'Реган Г. (O'Regan G.), Кармайкл Э. (Carmichel Е.), Реверц П. (Revesz Р.), Самервил И. (Sommerwill L), Чен П. (Chen Р.), Майерс Г. (Mayers G.), Смит К. (Smith К.)

Хорошо разработанными являются лишь отдельные вопросы оценки потребительского качества программных продуктов, в частности, имеющих отраслевую специфику. Определен набор величин, характеризующих качество информационных систем. Исследованы отдельные зависимости между качеством и параметрами информационных систем.

Однако недостаточно внимания уделяется применению математического моделирования, методов планирования эксперимента для исследования качества программных продуктов.

Также недостаточно разработанными являются инструментальные средства для оценки качества программного обеспечения, в частности, построенного с использованием СУБД.

Цель и задачи исследования. Целью диссертационного исследования является разработка информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с помощью СУБД MS Access, 1С Предприятие, Oracle, и ее апробация на реальных автоматизированных информационных системах экономического назначения.

Для достижения цели в диссертационном исследовании ставились и решались следующие задачи: выбор базовых методик для построения информационной системы оценки потребительского качества программных продуктов для экономических приложений; анализ существующих инструментальных средств оценки качества программных продуктов; определение условий применения различных методов оценки потребительского качества программных продуктов; проектирование и реализация информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с использованием современных СУБД; автоматизация проведения экспертных исследований в сети

Интернет; проведение экспертной оценки важности основных характеристик потребительского качества программных продуктов для нескольких предметных областей; оценка, по ряду критериев, качества функционирования нескольких автоматизированных систем, различных по своему назначению.

Объектом исследования являются предприятия всех организационно-правовых форм, использующие в своей деятельности автоматизированные информационные системы. Предмет исследования - информационные системы для оценки качества программных продуктов для экономических приложений.

Теоретическую и методологическую основу диссертационного исследования составили труды ведущих отечественных и зарубежных ученых по рассматриваемой проблеме, материалы научных конференций, публикации в периодической печати и в сборниках научных трудов.

Инструментарий исследования составили общая теория систем и системный анализ, методы исследования операций, методы прикладной статистики и планирования эксперимента, методы оценки потребительского качества программных систем, методы группового экспертного оценивания, современное программной обеспечение: системы управления базами данных Microsoft Access, 1С и Oracle 8i; средства разработки программного обеспечения Borland С++ Builder и Borland Delphi 5, PHP 4.

Информационно-эмпирическую базу исследования составили данные, характеризующие функционирование программных продуктов, созданных с помощью систем управления базами данных Microsoft Access, 1С, Oracle, полученные в результате планирования и реализации активных экспериментов с программными системами, а также данные, полученные в результате проведения экспертных опросов.

Работа выполнена в рамках Паспорта специальности 08.00.13 -математические и инструментальные методы экономики, в соответствии с пунктами 2.6. «Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» и 2.7 «Проблемы стандартизации и сертификации информационных услуг и продуктов для экономических приложений».

Основные положения и результаты, выносимые на защиту:

- программная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности, позволяющая а) снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характеристик быстродействия сертифицируемого информационного продукта в зависимости от объемов таблиц, составляющих его базу данных; б) проводить в условиях сети Интернет экспертные опросы для ранжирования характеристик качества анализируемых экономических информационных систем.

- статистически значимые регрессионные модели, построенные по данным активных экспериментов и позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций конкретными программными системами различного назначения.

- программные модули, автоматизирующие алгоритм управления факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет значительно сократить время проведения активных экспериментов и увеличить число анализируемых факторов.

- экспертные оценки важности основных показателей качества программного обеспечения при автоматизации деятельности в конкретных предметных областях, что позволило определить требования пользователей экономических информационных систем.

Научная новизна диссертационного исследования. Новыми являются:

- разработанная программная система, реализующая оригинальную методологию определения характеристик потребительского качества информационных систем субъектов экономической деятельности и предназначенная для повышения объективности сертификации информационных продуктов для экономических приложений, построенных на СУБД MS Access, 1С Предприятие, ORACLE;

- регрессионные модели, построенные по результатам спланированных в автоматизированном режиме экстремальных экспериментов, позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций;

- ранжированный перечень основных характеристик качества программных продуктов, полученный в результате проведения экспертизы и позволяющий оценить требования пользователей информационных систем для конкретных предметных областей;

- программная реализация управления факторами (в автоматизированном режиме), включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет увеличить число анализируемых факторов при значительном сокращении времени проведения активных экспериментов.

Теоретическая и практическая значимость исследования. Теоретическая значимость заключается в формулировке и доказательстве того, что потребительское качество программных систем, построенных с помощью СУБД, зависит от объемных характеристик таблиц, составляющих базы данных этих систем.

Практическая ценность результатов исследования заключается в том, что разработанная автоматизированная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности позволяет:

- проводить оценку потребительского качества программных продуктов, построенных с помощью современных СУБД, в том числе функционирующих в условиях сети и использующих архитектуру «клиент-сервер»;

- минимизировать время проведения активного эксперимента с программным продуктом (при значительном числе анализируемых факторов);

- оценивать влияние числа записей в таблицах базы данных программного продукта на время выполнения функциональных операций;

- осуществлять в сети Интернет экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем;

- давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др.

Апробация результатов исследования. Основные положения диссертационного исследования представлялись, обсуждались и получили положительную оценку на V и VII межгосударственных научно-практических конференциях «Экономико-организационные проблемы проектирования и применения информационных систем» (г. Ростов-на-Дону, 2000,2002 гг.).

Результаты диссертационного исследования внедрены в ОАО «Ростовская государственная телефонная сеть» и ИВЦ ЖКХ г. Ростова-на-Дону, ЗАО «Фирма «СТОИК» (МА СканМаркет® ) г. Москва.

Основные результаты диссертационного исследования опубликованы в 6 печатных работах, в которых автору принадлежит 1,01 п.л.

Структура и объем диссертации. Диссертация состоит из введения,

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Кривошеева, Мария Александровна

Основные выводы и практические результаты заключаются в следующем:

- создана программная система, реализующая оригинальную методологию определения характеристик потребительского качества информационных систем субъектов экономической деятельности, предназначена для повышения объективности сертификации информационных продуктов для экономических приложений, построенных на базе СУБД ORACLE, 1С Предприятие, MS Access.

- с помощью созданной системы получены оценки времени выполнения множества функциональных операций, выполняемых с помощью программных систем различного назначения и архитектуры в зависимости от числа записей в таблицах базы данных оцениваемой программной системы;

- созданная система оценки качества позволяет получать оценку общего времени решения задачи автоматизации, реализованной в оцениваемой программной системе, при условии проведения экспериментов для оценки времени выполнения всех функциональных операций реализованных в оцениваемой программной системе и информации о частоте их выполнения в единицу времени;

- по результатам спланированных в автоматизированном режиме экстремальных экспериментов построены статистически значимые регрессионные модели, позволяющие оценить влияние объемов таблиц, составляющих базу данных программного продукта на время выполнения им функциональных операций;

- реализовано управление в автоматизированном режиме факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет увеличить число анализируемых факторов при значительном сокращении времени проведения активных экспериментов;

- в результате проведения экспертизы получен ранжированный перечень основных характеристик качества программных продуктов, позволяющий оценить требования пользователей информационных систем для конкретных предметных областей.

Разработанная программная система включает два программных модуля, первый из которых позволяет снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характеристик быстродействия сертифицируемого информационного продукта (ИП) в зависимости от объемов таблиц, составляющих его базу данных. Результатом работы первого модуля являются характеристики быстродействия ИП, совокупность уравнений регрессии и выводы о статистической значимости факторов.

Второй модуль системы позволяет в условиях сети Интернет осуществлять экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем (ЭИС), а также давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др. Результатом работы второго модуля является итоговое ранжирование характеристик качества ЭИС, матрицы упорядочения в канонической форме для каждого эксперта, матрица рассогласования, матрица взаимосвязи и граф согласования мнений экспертов после последнего тура опросов.

Перечисленные новые результаты исследований обеспечили возможность: на стадии разработки программного средства выявлять узкие места архитектуры проектируемой базы данных; получать оценку качества функционирования программной системы на любой стадии ее жизненного цикла; расширить для потребителя возможности выбора на рынке программных продуктов, предоставив средство (инструмент) получения прогноза времени выполнения программной системой функциональных операций; проводить экспертные исследования в сети Интернет; проводить активные эксперименты с программными системами, анализируя при этом большое число факторов; принимать обоснованные решения о выборе программных продуктов различного назначения и построенных на разных СУБД; при условии проведения имитационного моделирования находить вероятность выполнения какого-либо подмножества функциональных операций за заданное время, или, наоборот, оценивать время, за которое с определенной вероятностью будет выполнена нужная группа операций.

ЗАКЛЮЧЕНИЕ

В диссертационной работе проведен подробный анализ существующих на текущий момент методик оценки качества программных продуктов. Рассмотрены показатели качества, регламентируемые стандартами и используемые на практике для оценки программных продуктов по различным критериям. Проведена сравнительная характеристика отечественного и международного стандартов, регламентирующих показатели качества, приведены примеры детализации требований к программным системам.

Сформулированы задачи, решение которых необходимо для создания программной системы оценки характеристик потребительского качества информационных продуктов для экономических приложений. Описаны проблемы автоматизации проведения активных экспериментов с программными продуктами и пути их решения. Из множества факторов оказывающих влияние на функционирование программного продукта выявлены те факторы, которыми можно управлять в автоматическом режиме. Автоматизировано проведение активных экспериментов с СУБД любого назначения (системы бухгалтерского учета, расчета показателей качества, ведения базы данных покупателей, поставщиков и прочее) и любой архитектуры. В процессе проведения активного эксперимента значения факторов изменялись в автоматическом режиме.