Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем"

На правах рукописи

Куликов Семен Евгеньевич

Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем

08.00.13 - математические и инструментальные методы экономики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

Москва 2005

Работа выполнена на кафедре математического обеспечения и технологий программирования в Московском государственном университете экономики, статистики и информатики (МЭСИ).

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Кандидат экономических наук, доцент Грибанов Владимир Петрович Доктор экономических наук, профессор Уринцов Аркадий Ильич Кандидат технических наук, профессор Кириченко Александр Апполонович ЗАО «Ланит»

Защита состоится 28 декабря 2005 года в 14 часов на заседании диссертационного совета К 212.151.01 в Московском государственном университете экономики, статистики и информатики по адресу: 119501, г. Москва, ул. Нежинская, д. 7.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета экономики, статистики и информатики.

Автореферат разослан «_» ноября 2005 года.

Ученый секретарь диссертационного совета, кандидат экономических наук, доце:

Голкина Г.Е.

juooe-r

MWftVL

Общая характеристика работы

Актуальность исследования. Информатизация всех сфер современной жизни привела к тому, что компьютер стал одним из основных повседневных инструментов. С использованием компьютерных систем сопряжено множество трудностей, возникающих у пользователей: раздражение, вызванное непонятными системными сообщениями, сложность навигации на интернет-сайтах, невозможность найти нужную информацию и т.д. Эти проблемы в большой степени связаны с качеством пользовательского интерфейса, спроектированного без учета интересов и понятийной модели пользователя, а так же базисных принципов удобства использования, что типично для современной практики создания и использования информационных систем.

Пользовательский интерфейс (ПИ) можно определить как комплексную систему, включающую динамически обновляемую информацию и механизмы управления, обеспечивающую взаимодействие пользователя с информационной системой с учетом психофизиологических механизмов человеческого восприятия. Целью пользователя является не работа с системой, как таковая, но решение с ее помощью своих задач. Удобство работы, от которого зависит эффективность достижения пользователем своих целей, самым непосредственным образом связано с качественными характеристиками этого интерфейса.

Качественная характеристика интерфейса - или, более широко, удобство использования (usability) - играет важнейшую роль в обеспечении экономической эффективности информационных систем, в частности, проектов электронной коммерции. Неэффективная работа пользователей, общая отрицательная оценка системы и пользовательского интерфейса проявляются в упущенной прибыли, выражаемой в потерянных продажах, недостаточной посещаемости ресурса и других показателях.

Крайне важной проблемой является оценка эффективности средств, вложенных в проектирование пользовательского интерфейса и улучшение показателей usability. Существующие сегодня методики такой оценки не предоставляют разработчикам и руководителям проектов универсального инструментария для оценки эффективности инвестиций в проектирование качественного взаимодействия с пользователем. В связи с этим моделирование экономической эффективности пользовательского интерфейса и разработка методики проведения анализа такой эффективности является актуальной проблемой, решение которой дает

эффективный инструмент

проекта,

повышает корпоративную культуру проектирования информационных систем и экономическую отдачу от интернет-проектов.

Выбор указанной темы определил цель, задачи, структуру и содержание диссертации.

Цель и задачи исследования. Основной целью исследования является разработка методики оценки отдачи от инвестирования средств в проектирование взаимодействия с пользователем в проектах электронной коммерции. Для ее достижения были поставлены и решены следующие задачи:

• выявление проблемных аспектов практики проектирования программных систем в условиях современной экономики с позиций usability,

• анализ современного подхода к проектированию программных систем, в частности, проектов в области электронной коммерции, с точки зрения usability-характеристик, выявление недостатков текущей практики проектирования,

• определение экономического эффекта, вызванного качественным проектированием взаимодействия с пользователем,

• оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей,

• анализ современных подходов к оценке эффективности инвестиций в usability,

• разработка требований к методике оценки,

• моделирование экономического эффекта на основе разработанной системы usability-показателей.

Объектом исследования является взаимодействие информационной системы с пользователем.

Предметом исследования являются работы по проектированию пользовательского интерфейса, показатели экономической эффективности интерфейса, оценка эффективности инвестиций в проектирование взаимодействия информационной системы с пользователем.

Теоретической и методологической основой исследования являются системный анализ, основные положения экономической теории, методы решения конкретных задач. Источниковую базу исследования составили работы специалистов в области проектирования взаимодействия и usability (Найджел Бивэн, Алан Купер, Якоб Нильсен, Джеф Раскин и другие), исследования в области эффективности

маркетинговых мероприятий, оценки эффективности инвестиций, использования информационных технологий в образовании (Солдаткин В.И., Титарев Л.Г., Тихомиров В.П. и другое). Usability - новое направление в науке о проектировании систем, относительно недавно возникшее за рубежом, поэтому работ и публикаций по данной тематике на русском языке практически нет. При решении конкретных задач применялись методы теории вероятностей и математической статистики, методы экспертных оценок.

В ходе диссертационного исследования автором получены и выносятся на защиту следующие теоретические и практические результаты:

• выявлено, что в современной практике проектирования программных систем, в частности, российской, почти не уделяется внимания вопросам качества взаимодействия с пользователем, что приводит к снижению эффективности их работы;

• обосновано, что качественно спроектированное взаимодействие с пользователем влечет положительный экономический эффект, разработана структура этого эффекта, позволившая в дальнейшем спроектировать систему показателей, адекватно отражающую качество пользовательского интерфейса информационной системы с точки зрения экономической эффективности;

• разработана методика оценки объема затрат на каждом этапе проектирования взаимодействия и в целом для проекта;

• выработаны рекомендации по проведению usability-работ в проекте, заключающиеся в анализе деятельности на каждом этапе, а так же акцентировании на качественной проработке пользовательских сценариев, обеспечивающих экономическую эффективность проекта;

• разработана методика анализа экономической эффективности инвестирования средств в проектирование взаимодействия с пользователем, основанная на оценке экономического эффекта, вызванного улучшением показателей usability с использованием математических методов.

Научная новизна заключается: в разработке методики оценки, интегрированной в процесс проектирования, основанный на концепции человеко-ориентированного проектирования (User-Centred Design, UCD); применении математического и маркетингового инструментария для экономической оценки usability-показателей проекта и эффективности

вложенных средств; обосновании эффективности применения подобной методики в современной практике создания систем электронной коммерции.

Диссертационное исследование соответствует пунктам 1.4, 2.6 паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Достоверность полученных результатов. Анализ и выводы диссертационного исследования опираются на работы отечественных и зарубежных авторов, материалы российских и международных конференций по проблемам usability и создания практичного программного обеспечения. Достоверность полученных результатов обеспечивается надежностью методологической и источниковой базы, использованных методов исследования, практическим внедрением и применением разработанной методики.

Теоретическое и практическое значение. Основные положения работы представляют собой определенный вклад в теорию проектирования пользовательских интерфейсов информационных систем, дополняют методологическую базу экономического раздела науки о usability.

Применение разработанной методики при управлении проектами по созданию и поддержке информационных систем позволяет более достоверно оценивать экономический эффект, вызванный мерами по улучшению usability, осуществлять более качественное проектирование, влечет повышение внимания к usability-показателям и интеграцию проектирования взаимодействия с пользователем в корпоративную культуру проектирования. Методика может быть применена к широкому классу интерактивных информационных систем, в которых взаимодействие с пользователем играет важную роль при эксплуатации.

Апробация и внедрение результатов исследования, публикапии. Основные положения исследования нашли отражение в докладе и получили одобрительную оценку на международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями», прошедшей в Московском Государственном Университете Экономики, Статистики и Информатики (МЭСИ) 9-10.06.2005.

Результаты, полученные в исследовании, нашли практическое применение в телекоммуникационной компании «ООО Пилот-СКС» при решении задач оптимизации взаимодействия с пользователем на интернет-сайте компании и повышении его экономической эффективности, а также

в POO Красносельского района г. Санкт-Петербурга при проектировании образовательного портала.

Основные положения представляемой работы опубликованы в 4 статьях автора общим объемом 1,7 п.л. (все авторские)

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и содержит 6 рисунков, 16 таблиц. Список литературы включает 70 наименований.

Основные положения исследования

Во введении обоснована актуальность выбранной темы, сформулированы цели и задачи исследования, отмечена новизна результатов, их научная и практическая значимость.

Первая глава «Обзор теории и практики использования usability в проектах и методов анализа эффективности инвестиций в usability» состоит из трех параграфов и посвящена анализу современной практики проектирования информационных систем с позиций пользовательского интерфейса и применения методов улучшения usability, определению основных прибылей и конкурентных преимуществ, предоставляемых качественно спроектированным интерфейсом, а также вопросам экономической эффективности работ по улучшению usability.

Современные технологии, ядром которых являются информационные компьютерные системы и глобальная сеть Интернет, оказали большое влияние как на характер экономической деятельности, так и на методы ведения бизнеса, в частности, в секторе электронной коммерции. Среди ключевых аспектов такой деятельности особо выделить стоит следующие:

• новые технологии подразумевают под собой, прежде всего, технологии информационные, объединяющие накопление, передачу, обработку и анализ информации;

• одним из основных источников экономического подъема в поле информационных технологий является повышение качества и, как следствие, привлекательности продукта или услуги.

В ходе диссертационного исследования было установлено, что проблемы качества взаимодействия с пользователем в современных информационных системах не занимают приоритетных позиций при проектировании. Надежность и функциональность считаются более важными и востребованными свойствами, тогда как эффективная работа с системой не в последнюю очередь зависит от качества пользовательского

интерфейса, ориентированности его на конечного пользователя конкретной целевой аудитории. Некачественный процесс разработки и недостаточное внимание к пользователю и его целям - частые причины недостаточной экономической эффективности проектов в сфере информационных технологий.

При очевидности роста сектора электронной коммерции в современной экономике, а также увеличения инвестиций в подобные проекты, в области проектирования программных средств существует ряд проблем:

• недостаточное внимание уделяется информационной специфике современной экономической деятельности;

• по традиции индустриальной экономики существует тенденция к стремлению повышать прибыль за счет уменьшения издержек, а не улучшения качества продукта.

• недостаточное внимание уделяется usability, как одному из основных качественных показателей программной системы.

Рыночные механизмы, позволяющие более эффективным и надежным решениям завоевывать потребителя, только начинают рассматривать интерфейс как качественную характеристику продукта или услуги в области информационных технологий, дающую преимущество в конкурентной борьбе.

От схемы взаимодействия с пользователем во многом зависит архитектура и логика работы всей системы. Однако зачастую решение этой сложной инженерной проблемы откладывается до момента, когда уже экономически невыгодно возвращаться к фазе проектирования, а деятельность, направленная на создание пользовательского интерфейса сводится, в силу возможности, лишь к созданию экранных форм и выбору цветовой гаммы. Такие методы, как usability-тестирование, использование фокус-групп, анализ персонажей и сценариев действий пользователей практически не используются. Согласно многочисленным исследованиям, двумя основными причинами, по которым проекты по разработке программных систем не достигают заявленных целей и экономического эффекта, являются: 1) недостаточное вовлечение пользователей в процесс разработки; 2) слабое понимание целей пользователей.

Причиной этому является инертность мышления проектировщиков, не желающих менять годами функционирующую систему жизненного цикла создания программных систем, а также непонимание логики простого пользователя. Программисты и руководители (чаще всего тоже программисты в прошлом) далеки от теоретических основ психологии

человеческого восприятия. Опрос, проведенный в рамках диссертационного исследования среди руководителей 10 крупных интернет-проектов, показал, что ни в одном из 10 случаев не применялись специальные методы usability. Схеме взаимодействия с пользователем уделялось какое-то внимание лишь в 4-х проектах, однако разработка взаимодействия была возложена на программистов. Только один из руководителей выразил готовность инвестировать средства в разработку качественного ПИ в будущем.

Таким образом, среди выявленных негативных сторон современной практики проектирования программных систем наиболее критичными в свете usability являются следующие:

1. Под пользовательским интерфейсом понимается не концепция взаимодействия с пользователем и внешняя архитектура системы, а внешний вид и эстетическая характеристика.

2. Проектирование взаимодействия в лучшем случае занимает второстепенные позиции при создании программных продуктов, в худшем - совсем не применяется.

3. Обязанности по проектированию взаимодействия с пользователем возлагаются на программистов, которые, в массе, не обладают необходимыми навыками и знаниями для проведения подобных работ.

4. Проектирование взаимодействия с пользователем не составляет отдельный и обязательный этап общего цикла проектирования и проводится на завершающих стадиях проекта, что, как показала практика, малоэффективно.

5. Концепции и подходы к проектированию систем, предусматривающие анализ пользователей системы, их целей и задач, практически не используются в современной практике создания программных систем.

Работы, посвященные важности usability в IT-проектах, датируются, в основном, двумя последними десятилетиями. На основе анализа и систематизации этих исследований в диссертации был сделан вывод о том, что проектирование взаимодействия приносит прямую и косвенную прибыль, выражаемую в следующих показателях:

• снижение времени и стоимости разработки проекта,

• увеличение продаж,

• рост производительности пользователей,

• рост-доверия к брэнду или ресурсу,

• снижение затрат на техническую поддержку.

Сюда относятся и такие слабо формализуемые показатели, как, например, экономия на трудозатратах, вызванных неформальными консультациями пользователей корпоративных приложений по вопросам работы системы.

Действенный способ убедить инвесторов и проектировщиков уделять внимание проектированию взаимодействия - использовать показатель экономической эффективности вложенных средств. Существует немало примеров успешного проектирования взаимодействия и получения экономического эффекта. Наиболее известный из них -редизайн (перепроектирование) корпоративного коммерческого портала компании IBM в 1999 году. В течение следующего месяца после запуска обновленной версии трафик сайта вырос на 120%, а интернет-продажи -на 400%.

В качестве средства оценки эффективности средств, вложенных в проектирование взаимодействия, используется модель оценки возврата инвестиций (ROI), разработанная Gartner Group. При анализе отдачи инвестиций в проектирование взаимодействия с пользователем используется термин Usability ROI. В литературе описано несколько различных подходов к подобной оценке, причем не всегда сам коэффициент является главным показателем. Принципиальной задачей является оценка влияния улучшения показателей usability на экономические показатели проекта. Имеющиеся методики носят, в основном, узконаправленный характер и имеют следующие недостатки:

• отсутствие формализованного метода конвертации показателей usability в экономические показатели;

• недостаточная степень интеграции с процессом разработки;

• неполный охват всех возможных источников прибыли;

• недостаточная точность вычислений;

• отсутствие прогнозной оценки;

Проведенный в диссертационном исследовании анализ позволил систематизировать требования к разрабатываемой методике оценки и дал возможность сформулировать основные положения, влияющие на ее успешность и валидность:

1. Методика должна быть тесно связана с процессом создания системы и основана на концепции человеко-ориентированного проектирования (UCD).

2. Вычисления должны строиться на основе конкретных целей проекта, например: «привлечь как можно больше посетителей». На их же основе должны строиться и результатные показатели прибыли.

3. В общем случае оценка требует использования маркетинговых моделей, причем ключевым моментом является выявление зависимости между usability-показателями, бизнес-целями и финансовыми показателями.

4. Необходим тщательный учет показателей работы системы, отчетов сервера и другой сопутствующей функционированию системы статистики.

5. Необходим баланс между точностью и наглядностью вычислений; главная цель подобной оценки - оказывать влияние на руководителей, пропагандируя более качественное проектирование и вовлечение usability в корпоративную культуру.

Вторая глава «Разработка методики оценки эффективности инвестиций в проектирование взаимодействия с пользователем» состоит из двух параграфов и посвящена разработке соответствующей методики с учетом установленных требований.

На основе обобщения исследований, а также личного опыта сформирована оценка трудозатрат на необходимых стадиях проектирования взаимодействия с пользователем, для ряда этапов были выведены формулы для вычисления трудозатрат. Общая стоимость проектирования рассчитывается как стоимость работ по всем UCD-четодам, применяемым в рамках проекта: п

Собщ= X'; Сст+С,1'гае О

/=1

t, - временные затраты на /-й этап, Сст - часовая ставка специалистов-проектировщиков взаимодействия, С„ - накладные расходы, п - число этапов.

Разработанная методика прежде всего ориентирована на проведение оценки эффективности работ по редизайну (перепроектированию) системы. Анализ возврата инвестиций при создании нового проекта осложняется неопределенностью большинства факторов

Необходимым условием применения методики является сбор статистических данных по ключевым показателям работы системы в течение некоторого периода, предшествующего работам по редизайну. При проведении оценки эффективности после редизайна необходимо

вести учет статистики значений показателей как до, так и после проведения иваЫ^-работ. Общая схема проведения оценки состоит из семи шагов.

Шаг 1. Определение ключевых типовых сценариев поведения пользователей. Сценарии - важнейший и один из наиболее эффективных инструментов проектирования взаимодействия, представляющий собой сжатое описание способов применения программного продукта типовым пользователем для достижения цели. Успешность функционирования системы, рассмотренная в контексте бизнес-целей, зависит от выполнения пользователем повседневных и обязательных действий.

Выделяют три типа сценариев: повседневные, обязательные и сценарии исключительных ситуаций. Повседневные сценарии обуславливают основное, целевое поведение пользователя и нуждаются в самой тщательной проработке. Так, для интернет-магазина ключевыми повседневными сценариями являются следующие: поиск товара, осуществление покупки, контроль за исполнением заказа. Как правило, количество повседневных сценариев не превышает 2-3, и именно они являются ключевыми для дальнейшего использования в методике оценки.

Обязательные сценарии описывают действия пользователя, выполняемые не так часто, но необходимые для достижения им своих целей. Так, для интернет-магазина к таким сценариям можно отнести, например, регистрацию пользователя в системе или персональную настройку предпочтений. Количество обязательных сценариев обычно превышает число повседневных, однако, они не требуют детальной проработки.

На практике уделяется огромное внимание сценариям исключительных ситуаций, так как эти сценарии являются критичными для непосредственной реализации. Обработка исключительных ситуаций - важнейший аспект системного программирования, однако, для проектирования взаимодействия с пользователем особой важности не представляет.

На этом шаге все сценарии анализируются на предмет соответствия бизнес-целям проекта. Как правило, большинство сценариев, обеспечивающих экономическую эффективность системы, относится к типу повседневных. Для настоящей методики необходимо выбрать лишь те сценарии, которые явно или косвенно соответствуют бизнес-целям. Подобный анализ возможен только при тщательном исследовании и анализе пользователей системы на ранних стадиях проектирования.

Шаг 2. Определение набора ключевых показателей для каждого сценария. Цель данного этапа - установить, на какие показатели системы оказывает влияние каждый сценарий. Основные категории показателей (метрик) приведены в следующей таблице. Для некоторых из них приведены прогнозируемые относительные значения (на основе анализа исследований Nielsen Norman Group), необходимые для проведения оценки до редизайна.

Таблица 1.

Основные категории usabUity-показателей

№ п/п Показатель Обозначение Прогнозируемое значение

1 Количество продаж R> R,' = 2R,

2 Процент покупателей среди посетителей Ra R2'= 2Ri

3 Количество посетителей R3 R3' = 2,5R3

4 Время выполнения задачи (производительность) R4 R4' = b. 2,61

5 Использование специальных возможностей r5 R5' = 3,02R5

6 Количество ошибок, вызванных некачественным взаимодействием (шт./сутки) Re

7 Доверие к проекту и/или брэнду (маркетинговый показатель) R7 -

8 Трудозатраты на разработку (снижение за счет исключения лишней функциональности) Rs

9 Трудозатраты на разработку (снижение за счет обнаружения проблем usability на ранних стадиях) R*

10 Трудозатраты на подробное документирование продукта Rio -

11 Затраты на обучение пользователей работе с системой (для intranet-проектов) Rn -

12 Число обращений в службу технической поддержки (снижение затрат на техническую поддержку) R|2

Показатели Rg - R12 отражают экономию средств, вызванную работами по улучшению usability. По умолчанию, все показатели для простоты вычислений отражают суточное значение, однако, для конкретной оценки могут понадобиться соответствующие значения за другой период.

Главным связующим звеном, позволяющим сопоставить сценарии показателям (метрикам), являются бизнес-цели проекта. Анализ рынка проектов электронной коммерции в свете иваЬП^-показателей позволил выявить общие тенденции зависимости бизнес-целей от системных показателей, представленных в таблице:

Таблица 2.

Зависимость бизнес-целей от системных показателей

Показатели Бизнес-цели N. Количество продаж Процент покупателей среди посетителей Количество посетителей Производительность Использование специальных возможностей Количество ошибок

Увелйчейиеприбылей >> "■ ✓ ✓ ✓ V» ✓

Привлечение новых покупателей < ✓

Привлечение бизнес-партаеров;; ч V

Увеличение доли V ц/

Укреплениепозиций брэндалаирьгаке : ■ ✓ V ✓

Удержание; клиентов ✓ ✓

Снижение затрат на Шдаерйсу и обучение ч/ ✓

Повышение прибылей отразмещения рекламы (дня контент-проектов) ✓

Важно отметить, что приведенная таблица носит общий характер; для каждого конкретного проекта необходимо пересматривать соответствие показателей бизнес-целям проекта на основе его бизнес-модели.

В общем виде схема действий на этом этапе представляет собой следующую последовательность: выделить, каким бизнес-целям

соответствует выполнение сценария, затем, руководствуясь рекомендациями, приведенными в таблице, а также субъективными результатами анализа пользователей на ранней стадии, определить показатели, соответствующие каждому сценарию.

Важную роль на этом этапе играет сбор статистических данных о клиентах и их поведении. Так, если имеет место повторное проектирование системы, то много информации можно почерпнуть из анализа отчетов сервера (лог-файлов).

Шаги 3 и 4. Определение требований и стоимости работ. Шаг 3

(выявление проблем по каждому сценарию и определение требований к реализации взаимодействия в рамках сценария) не является обязательным при проведении оценки по факту проведения редизайна системы. Наличие этого шага в методике обусловлено требованиями к интеграции проведения оценки с самим процессом проектирования с целями повышения как валидности оценки, так и оптимизации производственного процесса.

Оценка стоимости работ на шаге 4 основывается на стоимости общего времени работы проектировщиков usability В каждом случае необходим индивидуальный подход, поскольку возможны дополнительные затраты и индивидуальный набор методов "ч проектирования как для каждого сценария, так и для проекта в целом.

Планирование usability-работ проводится командой проектировщиков взаимодействия, и оценки затрат должны производиться с обязательным привлечением этих специалистов.

Общая стоимость проектирования оценивается как стоимость работ по всем UCD-методам, применяемым в рамках проекта, по формуле (1).

Шаг 5. Определение относительного изменения значений показателей. На этом этапе для целевого показателя (или их группы) по каждому сценарию необходимо определить относительное изменение, вызванное более качественным проектированием взаимодействия.

В случае редизайна системы, ключевые метрики необходимо отслеживать как до проведения повторного проектирования, так и после повторного запуска системы. Если оценка проводится до редизайна (или до первоначального проектирования), то необходимо использовать приведенные прогнозные относительные значения для показателей.

Для исключения влияния посторонних факторов на значения показателей (например, всплески активности пользователей, не связанные с работой системы) достаточно вести сбор значений показателей в течение

месяца, при условии отсутствия форс-мажорных ситуаций, связанных с функционированием системы, а также изменений в структуре системы в течение этого периода. Для оценки необходимо взять среднее месячное значение показателя. Часто, при достаточно ровной статистике, допустимо использование среднего значения за неделю.

Шаг 6. Вычисление показателя ROI. На данном этапе необходимо вычислить показатель возврата инвестиций ROI для проекта в целом и, если необходимо, для каждого сценария. Ключевая проблема этих вычислений - сопоставить определенное на прошлом шаге методики изменение показателей с прибылями проекта.

В большинстве случаев подход к этой проблеме представляет собой нетривиальную задачу, решению которой способствует сопоставление сценария бизнес-целям, имевшее место на втором шаге методики, а также маркетинговые модели и мероприятия в рамках проекта. В общем случае для данной методики оценка требует выявления зависимости между usability-показателями, бизнес-целями и финансовыми показателями, для чего могут быть использованы маркетинговые модели, так как проектирование взаимодействия можно рассматривать в качестве маркетинговых мер, направленных на увеличение прибыли. Ведь маркетинг часто определяется как вся деятельность, воздействующая на поведение покупателей с целью обеспечения финансовых транзакций. Такой моделью может служить методология оценки возврата маркетинговых инвестиций. При оценке маркетинговых показателей в данном случае должны быть использованы usability-показатели.

Если бизнес-модель проекта достаточно прозрачна, то необходимо использовать расчеты на основе детального анализа источников получения прибыли в проекте.

Для демонстрации вычисления экономического эффекта были приняты за основу типовые проекты электронной коммерции, бизнес-модели которых помогли продемонстрировать вычисление эффекта от изменений ключевых показателей и выработать типовые формулы для вычисления эффекта.

Значения показателей были приняты как средние за период наблюдения, равный одному месяцу. Оценка экономического эффекта от улучшения показателя количество продаж (Ri) для проектов, бизнес-модель которых предусматривает получение прямых прибылей от продаж через интернет, может быть проведена с помощью оценки изменения (предполагаемого прироста) объемов продаж S:

S = (Rr-R,)-pep-t,

где S - изменение месячного объема продаж, Rb Ri' - показатели, отражающие количество продаж (до и после редизайна), рф - средняя стоимость покупки, t - период оценки (по умолчанию равен 30 дням).

Для оценки эффекта от изменения показателя процент покупателей среди посетителей (R2) использовалась эта же бизнес-модель. Этот показатель можно измерять как явным образом - если процесс покупки осуществляется непосредственно на сайте, так и с помощью дополнительных мер, например, с помощью телефонных опросов. Стоит отметить, что количество покупателей за день фактически соответствует дневному числу продаж:

s _ (folk' - Rjlb) ■ Сер t (3)

2 100

где S2 - изменение месячного объема продаж по данному показателю, R2, R2' и R3, R3' - показатели, отражающие процент покупателей среди посетителей и количество посетителей соответственно (до и после редизайна), Сср - средняя стоимость покупки, t - период оценки (по умолчанию равен 30 дням).

Показатель использование специальных возможностей (R5) в явном виде характеризует востребованность пользователем целевых функций (feature), предоставляемых системой. Например, такими функциями могут служить форма регистрации клиента или ссылка на информацию или услугу, направленную на привлечение партнеров. Месячный прирост пользователей, воспользовавшихся целевой функцией системы, будет вычисляться по формуле: Qs = (R5' - Rs)t,

где R5, R5' - показатели, отражающие использование специальных (4)

возможностей (до и после редизайна), t - период оценки (по умолчанию равен 30 дням).

Тогда, в случае, если такой функцией является регистрация нового клиента, то прирост продаж будет выражен следующим образом:

S5 = (R3'-R5>vcp-t, (5)

где S5 - изменение месячного объема продаж по данному показателю, R5, R5' - показатели, отражающие использование специальных возможностей (до и после редизайна) vcp - приростная ценность клиента (индивидуальный маркетинговый показатель; в зависимости от обстоятельств вместо него можно использовать рср - среднюю стоимость покупки), t - период оценки (по умолчанию равен 30 дням).

В случае если целевой функцией является обращение к информации о партнерской программе, необходимо учитывать показатель «процент

партнеров среди обратившихся к такой информации посетителей». Учет *

значения этого показателя можно вести с помощью опросов новых партнеров и отслеживания общего числа обращений к целевой информации. Этот показатель можно отнести к категории процент покупателей среди посетителей (Я2), поэтому при прогнозной оценке коэффициент его изменения можно принимать равным коэффициенту показателя К2'. Таким образом, если г - процент партнеров среди обратившихся к партнерской информации, то после проведения редизайна при прогнозной оценке его можно считать равным И = 2г. Тогда экономический эффект будет вычисляться по следующей формуле:

35 = (Яб'-г' - 115-гУус^, (6)

где 85 - изменение месячного объема продаж по данному показателю, уср -приростная ценность партнера, - период оценки (по умолчанию равен 30 дням).

Показатель время выполнения задач (1^) является критичным для корпоративных приложений или систем массового обслуживания (СМО). Если проект представляет собой информационную систему для обеспечения получения информации по телефону с помощью оператора, то прямой доход от ее использования будет прямо пропорционален эффективности работы оператора (или обратно пропорционален времени работы оператора с системой). В этом случае для оценки отдачи от улучшения взаимодействия необходимо рассмотреть показатели 1*4 и 1*4 для всех сценариев, оценив при этом и частоту (вероятность) каждого сценария. Тогда, рост производительности, а значит и прибыли, будет определяться коэффициентом К\

„ Ь,р, (7) = -

А V '

м

где 1*4 и IV - соответственно, старое и новое общее время выполнения задач в системе, гу и г] - соответственно, старое и новое время выполнения /'-го сценария, # - вероятностьу'-го сценария.

Таким образом, при К>1, общая прибыль от улучшения взаимодействия с пользователем составит:

= 84°- (ЛТ-1), (8)

где 84° - прибыль от функционирования системы до улучшения взаимодействия с пользователем.

Формулы (2-8) приведены в качестве примера вычислений экономического эффекта, для чего были использованы типовые бизнес-модели проектов электронной коммерции. При оценке конкретных проектов необходимо четко понимать источники получения прибыли и

отслеживать не только значения показателей RbRi* ... R5,R5', но также и необходимые для качественных вычислений индивидуальные показатели, подобные z и z' в формуле (6).

Вычисление агрегированного значения отдачи от улучшения usability по всему проекту затруднено наличием тесной взаимосвязи между воздействиями показателей R, на экономические показатели. Это ведет к невозможности простого суммирования показателей частной отдачи S,.

В качестве такого общего показателя отдачи может служить показатель отдачи по объему продаж S = Si, однако бизнес-модель проекта может предполагать другие источники дохода, помимо прямых продаж через оцениваемую систему. К таким источникам дохода можно отнести и экономию, вызванную проектированием взаимодействия и отражаемую показателями R8 ... Rn. Отдачу по этим показателям проще всего оценить через стоимость сэкономленного времени.

Таким образом агрегированный показатель отдачи можно вычислить, просуммировав эффект от всех показателей за определенный срок, взвешенных по степени влияния на бизнес:

R ±s,-4-c+,

ROIu =-j = ——-p,-, (9)

1 общ

где Wj - вес отдачи no i-му показателю, С0бЩ - объем инвестиций в проектирование взаимодействия, равный стоимости работ, вычисляемой по формуле (1).

Веса w, имеют значение от 0 до 1 и характеризуют степень независимости эффекта, вызванного изменениями г'-го показателя от эффектов, вызванных другими показателями. Так, улучшение показателей R3 (процент покупателей среди посетителей) и R5 (использование специальных возможностей, если, например, имеется в виду регистрация нового клиента) оказывает влияние на общий объем продаж, поэтому для вычисления общего эффекта нельзя просуммировать частные эффекты по показателям R3 и R5, в связи с чем частные эффекты по таким показателям необходимо взвесить. Весам W/, w^... wl2 при оценке соответствующих показателей присваиваются значения 1; для весов w;...w7 необходимо устанавливать значения экспертным путем или на основе анализа с помощью модели множественной линейной регрессии, поскольку они влияют на показатель общего количества продаж и зачастую зависимы между собой.

Перспективным представляется решение проблемы определения весов для показателей эмпирическим путем, однако, это задача требует

отдельного исследования, подразумевающего анализ статистических данных по изменению usability-метрик и экономических показателей для различных проектов электронной коммерции с типовыми бизнес-моделями.

Следует отметить, что в ряде случаев вычислять точное значение показателя ROIu не требуется. Для дальнейшего анализа часто достаточно оценить влияние ключевых показателей на показатели экономические, т.е. сопоставить каждому сценарию и/или показателю (в зависимости от требований к конкретной оценке) оценочные или фактические прибыли.

Шаг 7. Анализ полученных результатов. Полученные данные по сценариям позволяют детально проанализировать проект с позиции соответствия эффективности работы пользователей экономической успешности проекта в целом, а также понять механизмы взаимодействия целей пользователя, целей бизнеса и финансовых показателей. Анализ сценариев позволяет выделить наиболее важные направления развития бизнеса и эффективнее строить работу с клиентом, ценовую и маркетинговую политику не только в рамках конкретного проекта, но и для компании в целом, поскольку сведения о пользователях системы позволяют делать более обоснованные выводы о клиентах и их поведении. При ограниченном бюджете проекта подобный анализ показателей позволит сконцентрировать средства на проектировании основных, ключевых для бизнеса сценариев, сделав упор на улучшение соответствующих usability-показателей в проекте.

На основании значения ROIu по всему проекту и частных изменений значений usability-показателей можно сделать вывод о планируемой или фактической эффективности проведенных работ, что позволяет на новом уровне рассмотреть проектирование взаимодействия и его значение в проекте.

В третьей главе «Применение методики оценки эффективности инвестиций в проектирование взаимодействия с пользователем» описано применение разработанной методики в оценке эффективности работ по улучшению usability в проекте pilot-sks.ru.

Ресурс pilot-sks.ru является промо-сайтом фирмы «Пилот-СКС», занимающейся проектированием, монтажом и обслуживанием локальных компьютерных и телефонных сетей, а также систем видеонаблюдения. Основными целями сайта являются привлечение клиентов и поиск бизнес-партнеров. Бизнес-модель проекта предполагала использование сайта как единственного средства привлечения клиентов.

Первая версия сайта, просуществовавшая около 3 месяцев, продемонстрировала его неэффективность, выражавшуюся в крайне низком проценте привлекаемых клиентов: при среднем суточном количестве посетителей в 30 человек и числе уникальных месячных посещений, равном 310, количество заказов в месяц составляло в среднем 1,5. При средней чистой прибыли с каждого клиента, равной 30000 руб., доходы от функционирования сайта составляли в среднем 45000 руб. в месяц.

Было принято решение о перепроектировании (редизайне) сайта с учетом интересов пользователей. В рамках применения методики была проведена оценка относительного улучшения значений показателей R2 (процент получивших доступ к целевой информации среди посетителей), Rs (использование специальных возможностей /процент использования среди посетителей/), Ri (число продаж /число клиентов в месяц/), а также дополнительного показателя Z (эффективность доступа к контактной информации - отношение количества звонков и сообщений к общему количеству посетителей /в процентах/). Оценка экономического эффекта проводилась по изменению показателя R] (число продаж /число клиентов в месяц/).

Фактическое изменение показателей по двум сценариям превысило прогнозные значения, а по третьему прогноз оказался несколько завышенным. Прогноз позволил оценить увеличение качества работы ресурса как в целом, так и в свете выполнения пользователями ключевых задач. Фактический прирост месячной прибыли составил 75000 руб.

В качестве отчетного периода использовался месяц. Затраты на проектирование составили 18000 руб. Коэффициент ROIu, согласно формуле (9), оказался равен:

Л = 75000-18000 6?

" I 18000

Итоговый показатель ROIu свидетельствует о безусловной эффективности работ по улучшению взаимодействия с пользователем в проекте pilot-sks.ru.

В итоге, в течение трех месяцев через сайт pilot-sks.ru было привлечено 12 клиентов, в результате чего чистая прибыль от реализованных проектов составила 360000 руб. Средняя чистая прибыль от одного заказа составила приблизительно 30000 руб., а общий объем инвестиций в проектирование взаимодействия - только18000 руб.

Особенности данного проекта состоят в том, что ресурс pilot-sks.ru служит вспомогательным средством для получения прибыли, и оценивалась не прямая прибыль от покупателей, а косвенная отдача.

Однако, показатели, характеризующие сценарии в настоящем примере, принадлежат к той же группе, что и при оценке интернет-магазинов и других типовых проектов. Общая оценка в данном случае позволила оправдать расходы на улучшение взаимодействия и подтвердила правильное направление политики развития. Кроме того, проведение такой оценки, и, в частности, полученные данные по изменению частных показателей поспособствовали повышению внимания к размещаемой информации, позволили скорректировать отношение сотрудников и руководства к ее качеству, а также лучше понять механизмы привлечения клиентов.

В процессе апробации методики были выявлены и описаны факторы, негативно влияющие на применение разработанной методики:

• влияние на процесс разработки личных пристрастий руководителей,

• отсутствие четкого разделения полномочий в проекте,

• смежные меры, направленные на поиск клиентов и бизнес-партнеров, не связанные с функционированием оцениваемой системы,

• маркетинговое продвижение сайта (раскрутка),

• привлечение сторонних usability-специалистов в проект.

Также в третьей главе было описано потенциальное применение разработанной методики при проектировании и оценке систем дистанционного образования (СДО).

К сожалению, качество взаимодействия с пользователем в таких системах пока не отвечает тем требованиям, которые подразумевают в известной мере эффективное использование системы, и нуждается в улучшении. Перенос образовательного процесса в интерактивную среду подразумевает тщательную его переработку с учетом условий использования, а также грамотную реализацию с применением необходимых технологий.

Использование настоящей методики в приложении к оценке СДО имеет конечной целью выявить влияние проектирования взаимодействия на изменение ключевых показателей, оценив тем самым относительное значение сценариев поведения пользователя, а также важность проектирования usability для подобных систем.

В этом разделе приведены типовые сценарии действий пользователя в СДО, рекомендации по анализу показателей, а также по составу UCD-методов, необходимых при проектировании взаимодействия с пользователем в СДО.

Эффективность работ по проектированию взаимодействия в подобных проектах пока нельзя выразить в формальной форме. Однако, соответствие стоимости работ улучшению показателей, представленное, например, в форме таблицы, может помочь правильно расставить внутренние приоритеты в проекте и оказать влияние на отношение руководителей к проектированию взаимодействия с пользователем. I В заключении изложены основные результаты диссертационной

работы и определены направления дальнейших исследований.

Основные результаты исследования и выводы. В ходе проведенного диссертационного исследования получены следующие основные результаты.

На основе анализа текущей практики проектирования информационных систем выявлено, что недостаточно внимания уделяется проблемам пользовательского интерфейса; этот этап недооценивается и часто носит поверхностный характер, что приводит к некачественному взаимодействию с пользователем в информационных системах.

Продемонстрировано, что качественное взаимодействие приносит прямую и косвенную прибыль, виды которой были систематизированы и , обоснованы, а также предоставляет конкурентные преимущества в

условиях современной экономики. Сформулирована проблема оценки экономической эффективности инвестиций в проектирование ^ взаимодействия с пользователем.

Проведена оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей; разработаны методы и рекомендации для оценки трудозатрат на каждом этапе.

Анализ современных подходов к оценке эффективности инвестиций в usability показал, что описанные в литературе методики носят, в основном, узконаправленный характер и имеют ряд недостатков, в связи с чем были определены требования к методике подобной оценки, а также непосредственно разработана и апробирована методика, основанная на формализации usability-показателей и анализе их влияния на бизнес с помощью типовых сценариев пользовательского поведения.

К положительным сторонам применения методики можно отнести повышение достоверности оценки экономического эффекта, вызванного мерами по улучшению usability, рост внимания к проектированию взаимодействия с пользователем в проектах по разработке информационных систем, повышение качества такого проектирования, интеграция методов UCD в корпоративную культуру.

Основные положения днсср опубликованы в следующих работах автс

1. Куликов С. Новая электронная к статей. - М.: Компания Спутник+, 2

2. Куликов С. Методы экономичен экономических наук - 2005. - №3. -

3. Куликов С. Методика ориентиров возврата инвестиций в проекта,.--------- -

проектов электронной коммерции // Тезисы к международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями»: Сборник научных трудов. Моск. госуд. ун-т экономики, статистики и информатики - М., 2005. - стр. 422-426.

4. Куликов С. Юзабилити? Триста! // Компьютерра - 2005. - №22. - с. 28-33.

Р23890

РНБ Русский фонд

2006-4 25208

Подписано к печати 24.11.05

Формат издания 60x84/16 Бум. офсетная №1 Печать офсетная

Печ.л. 1,5 Уч.-издл. 1,4 Тираж 100 экз.

Заказ №3193

Типография издательства МЭСИ. 119501, Москва, Нежинская ул., 7

Диссертация: содержание автор диссертационного исследования: кандидата экономических наук, Куликов, Семен Евгеньевич

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР ТЕОРИИ И ПРАКТИКИ ИСПОЛЬЗОВАНИЯ USABILITY В ПРОЕКТАХ И МЕТОДОВ АНАЛИЗА ЭФФЕКТИВНОСТИ ИНВЕСТИЦИЙ В USABILITY.

1.1. Общие понятия usability.

1.2. Проблемы создания программных систем в условиях Новой Экономики.

1.3. Обзор современной практики проектирования программных систем с точки зрения usability.

1.4. Анализ экономической эффективности проектирования взаимодействия.

1.4.1. Прибыли, связанные с проектированием взаимодействия.

1.4.2. Проектные затраты на проектирование взаимодействия.

1.4.3. Методы оценки эффективности инвестиций в проектирование взаимодействия с пользователем.

1.4.4. Требования к методике оценки Usability ROI.

Выводы по Главе 1.

ГЛАВА 2. РАЗРАБОТКА МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИНВЕСТИЦИЙ В ПРОЕКТИРОВАНИЕ ВЗАИМОДЕЙСТВИЯ С ПОЛЬЗОВАТЕЛЕМ.

2.1. Оценка объема инвестиций в проектирование взаимодействия с пользователем.

2.2. Методика оценки возврата инвестиций в проектирование взаимодействия с пользователем.

Шаг 1. Определение ключевых типовых сценариев поведения пользователей.

Шаг 2. Определение набора ключевых показателей для каждого сценария.

Шаги 3 и 4. Определение требований и стоимости работ по каждому сценарию.

Шаг 5. Определение относительного изменения значений показателей.

Шаг 6. Вычисление показателя ROI.

Шаг 7. Анализ полученных результатов.

Выводы по главе 2.

ГЛАВА 3. ПРИМЕНЕНИЕ МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ

ИНВЕСТИЦИЙ В ПРОЕКТИРОВАНИЕ ВЗАИМОДЕЙСТВИЯ С ПОЛЬЗОВАТЕЛЕМ.

3.1. Апробация методики при повторном проектировании сайта pilot-sks.ru.

3.2. Негативные факторы, оказывающие влияние на эффективность применения методики.

3.3. Применение методики в проектировании и оценке систем дистанционного образования.

Выводы по главе 3.

Диссертация: введение по экономике, на тему "Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем"

Интеграция информационных технологий в повседневную жизнь началась несколько десятилетий назад и с каждым годом их значимость во всех сферах возрастает. Уже сложно представить себе выполнение бытовых и рабочих задач без использования современных компьютерных систем. Производителям гораздо дешевле и эффективнее использовать компьютерное управление внутренними процессами устройств вместо старых механических методов, поэтому проникновение компьютеров во все продукты и услуги во всех сферах жизнедеятельности экономически неизбежно.

Деятельность, которая прежде выполнялась в физической среде путем взаимодействия с реальными объектами, с внедрением компьютеров получила форму виртуального отображения, где многие ручные операции автоматизировались, а сам процесс решения профессиональных задач перешел в режим диалога «человек-компьютер» [33, с. 3].

Однако взаимодействие человека с устройствами, функционирующими с помощью компьютеров или компьютерных компонентов, осложняется несоответствием моделей человеческого восприятия и внутренней логики работы компьютеров. Пользователь таких устройств, будь то микроволновая печь, банкомат или терминал информационной системы, уже не может взаимодействовать с объектами напрямую, он вынужден использовать органы управления устройствами, где сталкивается с проблемой человеко-машинного взаимодействия, которое зачастую реализовано недостаточно качественно. Наглядный пример: по статистике лишь менее двадцати процентов жителей США могут настроить видеомагнитофон на запись телепередачи по таймеру1.

Информатизация всех сфер современной жизни привела к тому, что компьютер стал одним из основных повседневных инструментов, однако,

1 По данным В. В. Головача (http://blog.exmachina.ru/archives/2003/05/05/iaeeiaieeaioe.html). эффективность его использования зачастую трудно назвать удовлетворительной. С использованием компьютерных систем сопряжено множество трудностей, возникающих у пользователей: раздражение, вызванное непонятными системными сообщениями, сложность навигации на интернет-сайтах, невозможность найти нужную информацию и т.д. Эти проблемы в большой степени связаны с качеством пользовательского интерфейса, спроектированного без учета интересов и понятийной модели пользователя, а так же базисных принципов удобства использования, что типично для современной практики создания и использования информационных систем.

Пользовательский интерфейс (ПИ) можно определить как комплекс методов и решений, обеспечивающих взаимодействие человека с системой и эффективное ее использование. «Главными задачами для пользователя являются результаты работы, т.е. достижение целей и выполнение задач. Однако все, что видит и с чем взаимодействует пользователь, - это элементы интерфейса системы. Именно пользовательский интерфейс является для него конечным продуктом» [28, с. 24]. Удобство работы, влияющее на эффективность достижения целей, самым непосредственным образом связано с качественными характеристиками этого интерфейса.

Качественная характеристика интерфейса - или, более широко, удобство использования (usability) - играет, по нашему мнению, важнейшую роль в обеспечении экономической эффективности информационных систем, в частности, проектов электронной коммерции. Неэффективная работа пользователей, общая отрицательная оценка системы и пользовательского интерфейса проявляются в упущенной прибыли, которая может выражаться в потерянных продажах, недостаточной посещаемости ресурса и других показателях.

Крайне важной проблемой является оценка эффективности средств, вложенных в проектирование пользовательского интерфейса и улучшение показателей usability. Существующие сегодня методики такой оценки не предоставляют разработчикам и руководителям проектов универсального инструментария для оценки эффективности инвестиций в проектирование качественного взаимодействия с пользователем. В связи с этим моделирование экономической эффективности пользовательского интерфейса и разработка методики проведения анализа такой эффективности является актуальной проблемой, решение которой дает эффективный инструмент управления usability-качеством проекта, повышает корпоративную культуру проектирования информационных систем и экономическую отдачу от интернет-проектов.

Выбор указанной темы определил цель, задачи, структуру и содержание диссертации.

Цель и задачи исследования. Основной целью исследования является разработка методики оценки отдачи от инвестирования средств в проектирование взаимодействия с пользователем в проектах электронной коммерции. Для ее достижения были поставлены и решены следующие задачи:

• выявление проблемных аспектов практики проектирования программных систем в условиях современной экономики с позиций usability,

• анализ современного подхода к проектированию программных систем, в частности, проектов в области электронной коммерции, с точки зрения usability-характеристик, выявление недостатков текущей практики проектирования,

• определение экономического эффекта, вызванного качественным проектированием взаимодействия с пользователем,

• оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей,

• анализ современных подходов к оценке эффективности инвестиций в usability,

• разработка требований к методике оценки,

• моделирование экономического эффекта на основе разработанной системы usability-показателей.

Объектом исследования является взаимодействие информационной системы с пользователем.

Предметом исследования являются работы по проектированию пользовательского интерфейса, показатели экономической эффективности интерфейса, оценка эффективности инвестиций в проектирование взаимодействия информационной системы с пользователем.

Теоретической и методологической основой исследования являются системный анализ, основные положения экономической теории, методы решения конкретных задач. Источниковую базу исследования составили работы специалистов в области проектирования взаимодействия и usability (Найджел Бивэн, Алан Купер, Якоб Нильсен, Джеф Раскин и другие), исследования в области эффективности маркетинговых мероприятий, оценки эффективности инвестиций, использования информационных технологий в образовании (Солдаткин В.И., Титарев Л.Г., Тихомиров В.П. и другие). Usability - новое направление в науке о проектировании систем, относительно недавно возникшее за рубежом, поэтому работ и публикаций по данной тематике на русском языке практически нет. При решении конкретных задач применялись методы теории вероятностей и математической статистики, методы экспертных оценок.

В ходе диссертационного исследования автором получены и выносятся на защиту следующие теоретические и практические результаты:

• выявлено, что в современной практике проектирования программных систем, в частности, российской, почти не уделяется внимания вопросам качества взаимодействия с пользователем, что приводит к снижению эффективности их работы;

• обосновано, что качественно спроектированное взаимодействие с пользователем влечет положительный экономический эффект, разработана структура этого эффекта, позволившая в дальнейшем спроектировать систему показателей, адекватно отражающую качество пользовательского интерфейса информационной системы с точки зрения экономической эффективности;

• разработана методика оценки объема затрат на каждом этапе проектирования взаимодействия и в целом для проекта;

• выработаны рекомендации по проведению usability-работ в проекте, заключающиеся в анализе деятельности на каждом этапе, а так же акцентировании на качественной проработке пользовательских сценариев, обеспечивающих экономическую эффективность проекта;

• разработана методика анализа экономической эффективности инвестирования средств в проектирование взаимодействия с пользователем, основанная на оценке экономического эффекта, вызванного улучшением показателей usability с использованием математических методов.

Научная новизна заключается: в разработке методики оценки, интегрированной в процесс проектирования, основанный на концепции человеко-ориентированного проектирования (User-Centred Design, UCD); применении математического и маркетингового инструментария для экономической оценки usability-показателей проекта и эффективности вложенных средств; обосновании эффективности применения подобной методики в современной практике создания систем электронной коммерции.

Диссертационное исследование соответствует пунктам 1.4, 2.6 паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Достоверность полученных результатов. Анализ и выводы диссертационного исследования опираются на работы отечественных и зарубежных авторов, материалы российских и международных конференций по проблемам usability и создания практичного программного обеспечения. Достоверность полученных результатов обеспечивается надежностью методологической и источниковой базы, использованных методов исследования, практическим внедрением и применением разработанной методики.

Теоретическое и практическое значение. Основные положения работы представляют собой определенный вклад в теорию проектирования пользовательских интерфейсов информационных систем, дополняют методологическую базу экономического раздела науки о usability.

Применение разработанной методики при управлении проектами по созданию и поддержке информационных систем позволяет более достоверно оценивать экономический эффект, вызванный мерами по улучшению usability, осуществлять более качественное проектирование, влечет повышение внимания к usability-показателям и интеграцию проектирования взаимодействия с пользователем в корпоративную культуру проектирования. Методика может быть применена к широкому классу интерактивных информационных систем, в которых взаимодействие с пользователем играет важную роль при эксплуатации.

Апробация и внедрение результатов исследования, публикации. Основные положения исследования нашли отражение в докладе и получили одобрительную оценку на международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями», прошедшей в Московском Государственном Университете Экономики, Статистики и Информатики (МЭСИ) 9-10.06.2005.

Результаты, полученные в исследовании, нашли практическое применение в телекоммуникационной компании «ООО Пилот-СКС» при решении задач оптимизации взаимодействия с пользователем на интернет-сайте компании и повышении его экономической эффективности, а также в РОО Красносельского района г. Санкт-Петербурга при проектировании образовательного портала.

Основные положения представляемой работы опубликованы в 4 статьях автора [17-20] общим объемом 1,7 п.л. (все авторские).

Работа состоит из введения, трех глав, заключения, списка литературы и содержит 6 рисунков, 16 таблиц. Список литературы включает 70 наименований.

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Куликов, Семен Евгеньевич

Выводы по главе 3.

Разработанная методика прошла апробацию при оценке эффективности работ по улучшению usability в проекте pilot-sks.ru (промо-сайт «ООО Пилот-СКС», http://pilot-sks.ru). В качестве исходной информации использовалась статистика функционирования проекта как до, так и после проведения работ по улучшению usability.

Фактическое изменение показателей по двум сценариям превысило прогнозные значения, а по третьему прогноз оказался несколько завышенным. Прогноз позволил оценить увеличение качества работы ресурса как в целом, так и в свете выполнения пользователями ключевых задач. Фактический прирост месячной прибыли составил 75000 руб.

В целом, применение методики на практике показало ее эффективность и гибкость. Итоговый показатель ROIu позволил сделать вывод о безусловной эффективности работ по улучшению взаимодействия с пользователем в проекте pilot-sks.ru.

В процессе апробации методики были выявлены и описаны факторы, негативно влияющие на применение разработанной методики:

• влияние на процесс разработки личных пристрастий руководителей,

• отсутствие четкого разделения полномочий в проекте,

• смежные меры, направленные на поиск клиентов и бизнес-партнеров, не связанные с функционированием оцениваемой системы,

• маркетинговое продвижение сайта (раскрутка),

• привлечение сторонних usability-специалистов в проект.

Также в третьей главе была обоснована необходимость применения разработанной методики при проектировании и оценке систем дистанционного образования (СДО) и представлены рекомендации по практическому применению.

Использование настоящей методики в приложении к оценке СДО имеет конечной целью выявить влияние проектирования взаимодействия на изменение ключевых показателей, оценив тем самым относительное значение сценариев поведения пользователя, а также важность проектирования usability для подобных систем. Были выведены типовые сценарии действий пользователя в СДО, рекомендации по анализу показателей, а также по составу UCD-методов, необходимых при проектировании взаимодействия с пользователем в СДО.

Заключение

Настоящая работа посвящена вопросам важности и эффективности работ по проектированию взаимодействия с пользователем в интерактивных системах.

В ходе проведенного диссертационного исследования получены следующие основные результаты.

На основе анализа текущей практики проектирования информационных систем выявлено, что недостаточно внимания уделяется проблемам пользовательского интерфейса; этот этап недооценивается и часто носит поверхностный характер, что приводит к некачественному взаимодействию с пользователем в информационных системах.

Продемонстрировано, что качественный пользовательский интерфейс является важным фактором экономической эффективности и приносит прямую и косвенную прибыль, виды которой были систематизированы и обоснованы, а также предоставляет конкурентные преимущества в условиях современной экономики. Сформулирована проблема оценки экономической эффективности инвестиций в проектирование взаимодействия с пользователем.

Проведена оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей; разработаны методы и рекомендации для оценки трудозатрат на каждом этапе.

Анализ современных подходов к оценке эффективности инвестиций в usability показал, что описанные в литературе методики носят, в основном, узконаправленный характер и имеют ряд недостатков, в связи с чем были определены требования к методике подобной оценки, а также непосредственно разработана и апробирована методика, основанная на формализации usability-показателей и анализе их влияния на бизнес с помощью типовых сценариев пользовательского поведения.

Полученные результаты позволяют сделать вывод о том, что поставленные в исследовании задачи выполнены, а основная цель достигнута.

К положительным сторонам применения методики можно отнести повышение достоверности оценки экономического эффекта, вызванного мерами по улучшению usability, рост внимания к проектированию взаимодействия с пользователем в проектах по разработке информационных систем, повышение качества такого проектирования, интеграция методов UCD в корпоративную культуру.

Основные положения диссертационного исследования опубликованы в следующих работах автора:

1. Куликов С. Новая электронная коммерция // Сборник научных статей. - М.: Компания Спутник+, 2004. - с. 43-49.

2. Куликов С. Методы экономической оценки usability // Вопросы экономических наук - 2005. - №3. - с. 105-109.

3. Куликов С. Методика ориентированной на пользователя оценки возврата инвестиций в проектирование взаимодействия для проектов электронной коммерции // Тезисы к международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями»: Сборник научных трудов. Моск. госуд. ун-т экономики, статистики и информатики - М., 2005. - стр. 422-426.

4. Куликов С. Юзабилити? Триста! // Компьютерра - 2005. - №22. - с. 2833.