Научная статья на тему «Исследование качества интерфейса программного продукта с помощью программных инструментов опережающего обучения пользователей»

Ключевые слова: Программный продукт, качество интерфейса, обучающая программа, технология опережающего обучения.

На сегодняшний день информационные технологии являются обширной быстро развивающейся предметной областью. Постоянно растущий спрос на программное обеспечение (ПО) требует повышение скорости и качества его разработки, влияя на каждый этап жизненного цикла ПО. Одним из важнейших этапов жизненного цикла ПО является тестирование. Рассмотрим тестирование, которое оценивает качество пользовательского интерфейса.

Одними из объективных показателей качества интерфейса являются скорость работы пользователя и количество ошибок, совершенных пользователем во время выполнения работы. В работе [1] предложено оценивать качество интерфейса в процессе автоматизированного обучения пользователей. Для обучения пользователей предлагается [2, с. 47], [3, с. 44] технология электронного опережающего обучения с использованием программного комплекса «МИРЭА Тьютор». Назначение программного комплекса «МИРЭА Тьютор» создание обучающих программ для обучения массового пользователя работе в программных продуктах. Программный комплекс обладает необходимым функционалом для автоматического сбора данных о выполнении конкретной задачи, позволяющим ускорить процесс оценки качества интерфейса.

Опережающее обучение пользователей [4, с. 11] проходит после функционального и интерфейсного тестирования программного продукта перед его внедрением. Обучающиеся, помимо выполнения основной своей задачи – обучаться, могут одновременно неявно выступать в качестве тестировщиков, так как во время прохождения обучения программный комплекс «МИРЭА Тьютор» собирает следующие данные о выполнении пользователем конкретных задач:

• время прохождения элементарного шага;
• количество ошибок во время прохождения элементарного шага.

Для выявления проблемных мест в интерфейсе требуются значения следующих показателей, которые можно рассчитать из полученных данных:

• среднее время прохождения шага бизнес-процесса;
• среднее количество совершаемых ошибок во время прохождения шага бизнес-процесса.

Под шагом бизнес-процесса в данном случае подразумевается совокупность элементарных шагов, сгруппированных по заданиям обучающей программы.

На основе расчета строятся диаграммы показателей, которые позволяют увидеть их пики. Под пиками подразумевается скачок (в 2 и более раза) значения показателя по сравнению со средним значением. Будем основываться на методе, который предполагает, что пики указывают на проблемные места в интерфейсе программного продукта. Данный метод позволяет сократить время оценки качества интерфейса, так как требуется анализировать не каждый шаг бизнес-процесса, а только пики. Для подтверждения работоспособности метода был проведен эксперимент.

Эксперимент проводился с использованием программного комплекса «МИРЭА Тьютор» по следующей методике:

1. Установка программного продукта на компьютер, на котором в дальнейшем будет проходить создание обучающей программы.
2. Подготовка заданий, которые потребуется выполнить испытуемым во время обучения.
3. Разработка компьютерной обучающей программы по сценарию с помощью программного комплекса «МИРЭА Тьютор».
4. Формирование группы испытуемых, которые должны иметь приблизительно одинаковый уровень подготовки.
5. Подготовка рабочих мест испытуемых. На компьютерах испытуемых устанавливается проигрыватель обучающих программ, автоматически собирающий данные о прохождении обучения.
6. Инструктаж испытуемых – каждому дается инструкция об условиях прохождения обучения.
7. Проведение обучения.
8. Сбор результатов прохождения обучения.
9. Обработка результатов и построение диаграмм по обработанным результатам. 10.Анализ пиков.

После прохождения обучения с помощью компьютерной обучающей программы, «МИРЭА Тьютор» автоматически собрал все данные о прохождении обучения каждого испытуемого.

Для расчета значений показателей прохождения обучения была разработана специальная программа статистической обработки. Она позволяет найти минимальное и среднее время прохождения сценария, а также среднее количество ошибок, которые были допущены пользователями на каждом из элементарных шагов, пройденных ими в процессе обучения. Так как исследуемый программный продукт автоматизирует те или иные бизнес-процессы, которые разделены на различные задания (шаги бизнес-процесса), а они, в свою очередь, могут состоять из нескольких элементарных шагов, для статистической обработки результатов была предусмотрена группировка результатов элементарных шагов по заданиям, к которым относятся данные элементарные шаги. При обработке статистических результатов они группируются по этапам (s), которые могут быть как элементарными шагами, так и шагами автоматизируемого бизнес-процесса, в зависимости от текущей модели исследования интерфейса.

Схема алгоритма обработки времени прохождения сценариев пользователями и количества ошибок, допущенных ими, представлена на рисунке 1. Этот алгоритм позволяет получить общее количество прохождений сценария u, а также сформировать 4 массива:

• массив суммы времени прохождения сценариев пользователями на разных этапах t[s];
• массив минимального времени прохождения этапов пользователями tMin[s];
• массив максимального времени прохождения этапов пользователями tMax[s];
• массив суммы количества ошибок пользователей m[s].

Для нахождения средних значений времени и количества ошибок, достаточно разделить полученные суммы на количество прохождений сценария пользователями.

После расчета значений показателей были построены диаграммы, отражающие среднее время выполнения каждого шага бизнес-процесса, среднее количество ошибок во время прохождения каждого шага бизнес-процесса.

Проанализировав диаграмму среднего времени прохождения и среднего количества ошибок можно выделить четыре пика на первой диаграмме – на 1, 4, 13 и 20 шагах бизнеспроцесса происходит скачок больше чем в 2 раза относительного среднего значения, на второй диаграмме на 4, 13, 19 и 20 шагах бизнес-процесса.

Нужна помощь в написании статьи?

Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Подробнее

Возникновение пика на 1 шаге бизнес-процесса объясняется тем, что испытуемый первый раз знакомится с интерфейсом программы, что увеличивает время прохождения шага бизнеспроцесса. Формулировка задания требует интеллектуальной работы – чтобы нажать в верхней панели на «Анализ», нужно понять, что расчет какого-либо значения подразумевает под собой анализ данных. На диаграмме среднего количества ошибок пика не происходит это говорит о том, что на данном шаге пользователь потратил время на изучение интерфейса, но пришел в итоге к правильному решению задания, не совершив большого количества ошибок. Можно сделать вывод, что проблем в интерфейсе в данном месте не имеется.

Пик на 4 шаге бизнес-процесса происходит из-за того, что в открывшемся диалоговом окне уже отмечены галочками показатели, рекомендуемые для расчета. Чтобы рассчитать только один показатель, нужно убрать галочки со всех остальных, что требует лишних временных затрат на осмысление и выполнение задания. Большое количество ошибок при выполнении данного задания возникает из-за того, что галочки можно убирать не в том порядке, в котором это происходит в обучающей программе. Не смотря на то, что на данном шаге бизнес-процесса имеются исчерпывающие подсказки, испытуемые все равно совершают большое количество ошибок – это может говорить о том, что благополучному решению задачи мешает неинтуитивный интерфейс программы в данном месте.

13 и 20 шаги бизнес-процесса включают в себя самое большое количество элементарных шагов, из-за этого требуется большее количество времени для выполнения задания. Вероятность совершить ошибку возрастает с увеличением количества действий для выполнения одного шага бизнес-процесса. Данная методика при проведении эксперимента позволила сократить количество анализируемых элементов более чем в 5 раз – из 22 шагов мы проанализировали только 4 пика, исключив анализ всех шагов бизнес-процесса.

Заключение

Разработана методика, реализующая метод оценки качества интерфейса на основе выделения мест в интерфейсе, требующих отдельного анализа. Проведен эксперимент, результаты которого подтверждают работоспособность методики.

Список использованных источников

1. Григорьев В.К., Подсистема обучения – обязательная компонента информационно-управляющей системы / В.К. Григорьев // Образовательные технологии и общество. – 2003. – № 6.
2. Григорьев В.К., Опережающее обучение МПП, как способ повышения эффективности внедрения ИУС / В.К. Григорьев // Дистанционное и виртуальное обучение. – 2011. – № 4. – С. 47-55.
3. Григорьев В.К., Инструментально-моделирующий комплекс для опережающего обучения МПП ИУС / В.К. Григорьев // Открытое образование. – 2011. – № 1. – С. 44-55.
4. Григорьев В.К., Обобщенный интерфейс системы для обучения массовых профессиональных пользователей / В.К. Григорьев // Открытое образование. – 2010. – № 1. – С. 11-18.