Учебный курс«Проектирование интерфейса пользователя»

Содержание

Слайд 2

Оценка проектного решения

Лекция №13

Юзабилити-тестирование

Оценка проектного решения Лекция №13 Юзабилити-тестирование

Слайд 3

Место в общем плане проектирования

Проектирование интерфейса пользователя. Лекция №13.

Место в общем плане проектирования Проектирование интерфейса пользователя. Лекция №13.

Слайд 4

Подготовка и планирование юзабилити-исследования

Для планируемого ю-исследования определить:
цели (исследование «формирующее» или итоговое);
задачи →

Подготовка и планирование юзабилити-исследования Для планируемого ю-исследования определить: цели (исследование «формирующее» или
сценарий исследования;
группы пользователей-участников;
технологии сбора и анализа данных (лабораторное тестирование, он-лайн-тестирование и т. п.);
бюджет и время проведения.

Проектирование интерфейса пользователя. Лекция №13.

Thomas Tullis, William Albert Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. – Publisher: Morgan Kaufmann. – 2008. – 336 p. – The Morgan Kaufmann Series in Interactive Technologies.

Слайд 5

Виды показателей юзабилити ПО

Проектирование интерфейса пользователя. Лекция №13.

Виды показателей юзабилити ПО Проектирование интерфейса пользователя. Лекция №13.

Слайд 6

Проектирование интерфейса пользователя. Лекция №13.

Проектирование интерфейса пользователя. Лекция №13.

Слайд 7

Успех задания (task success)

Проектирование интерфейса пользователя. Лекция №13.

Успех задания (task success) Проектирование интерфейса пользователя. Лекция №13.

Слайд 8

Успех задания. «Двоичный» успех

Проектирование интерфейса пользователя. Лекция №13.

Значение меры «двоичного» успеха
(«success rate»)

Как

Успех задания. «Двоичный» успех Проектирование интерфейса пользователя. Лекция №13. Значение меры «двоичного»
собирать данные для измерения Двоичного успеха

Слайд 9

Проектирование интерфейса пользователя. Лекция №13.

Как анализировать и представлять Двоичный успех

по отдельным задачам;
по

Проектирование интерфейса пользователя. Лекция №13. Как анализировать и представлять Двоичный успех по
пользователям, например:
часто/редко используют продукт,
есть/нет предыдущий опыт работы с продуктом,
мало/много знаний в предметной области продукта,
по возрасту.

Проблема обобщения полученного уровня успеха на всю совокупность пользователей:
пропорция (% тех участников, которые справились с задачей верно) – не надёжно;
вычислить доверительный интервал (например, см. калькулятор для вычисления доверительного интервала для двоичного успеха - http://www.measuringusability.com/wald.htm
Пример (80% справились):
если 4 из of 5 успешно решили задачу, то дов. инт. (95%) – от 36 до 98;
если из 16 of 20 успешно решили задачу, то дов. инт. (95%) – от 58 до 93;
если 80 из of 100 успешно решили задачу, то дов. инт. (95%) – от 71 до 87.

1) Столбчатая диаграмма:

Успех задания. «Двоичный» успех

Слайд 10

Проектирование интерфейса пользователя. Лекция №13.

2) Столбчатая диаграмма – «сколько участников справлялись/не справлялись

Проектирование интерфейса пользователя. Лекция №13. 2) Столбчатая диаграмма – «сколько участников справлялись/не
с всеми задачами, и с какой частотой?»

Как анализировать и представлять Двоичный успех

количество участников

Успех задания. «Двоичный» успех

Слайд 11

Проектирование интерфейса пользователя. Лекция №13.

Успех задания. Градация успешности задания (levels of success).

Возможные

Проектирование интерфейса пользователя. Лекция №13. Успех задания. Градация успешности задания (levels of
основания для градации успешности задания:
степень завершённости задачи;
опыт выполнения задания (размер усилий);
путь решения задачи (оптимальный или иной).

Уровни по степени завершённости задания:
полный успех:
с помощью;
без помощи;
частичный успех:
с помощью;
без помощи
провал задания:
участник ошибочно решил, что завершил задание;
участник сдался.

Что такое «помощь»:
модератор восстановил начальное состояние системы для новой попытки;
модератор ответил предоставил информацию, помогающую найти решение;
пользователь воспользовался справочным руководством системы, онлайн-справкой, позвонил коллеге и др.

Как собирать данные для измерения уровней успешности

Слайд 12

Проектирование интерфейса пользователя. Лекция №13.

Успех задания. Градация успешности задания (levels of success).

Уровни

Проектирование интерфейса пользователя. Лекция №13. Успех задания. Градация успешности задания (levels of
по опыту пользователя:
1 = проблем не возникло;
2 = незначительные проблемы;
3 = серьёзные проблемы;
4 = задача выполнена не верно/пользователь сдался.

Уровни по пути решения задачи (по ответу на задание) :
вес оптимального ответа – 1.0;
вес приемлемого ответа – 0.75 или 0.5 (в зависимости от качества ответа).
нет ответа – 0.

Как собирать данные для измерения уровней успешности

Слайд 13

Проектирование интерфейса пользователя. Лекция №13.

Как анализировать и представлять градацию успешности

Не путать «показатель

Проектирование интерфейса пользователя. Лекция №13. Как анализировать и представлять градацию успешности Не
успеха» («success rate» ) с «весом успеха» («success score»)

1) Линейчатая диаграмма, демонстрирующая различные уровни успешности.
Например, градация успешности по степени завершённости задания:

2) «Средний вес» успешности заданий.
Как на рис. 4.2, но по оси OY вместо «% successful» отложить «средний вес успеха» («average success score»).

Успех задания. Градация успешности задания.

Слайд 14

Проектирование интерфейса пользователя. Лекция №13.

Время выполнения задания (time-on-task)

чем быстрее участник выполнит задание,

Проектирование интерфейса пользователя. Лекция №13. Время выполнения задания (time-on-task) чем быстрее участник
тем лучше UX (опыт взаимодействия); исключения: игры, образовательные программы и т. п.;
важно для часто повторяющихся задач.

Как собирать данные для измерения времени выполнения задания

Инструменты:
модератор с секундомером;
видеозапись с отображением времени;
автоматизированные инструменты измерения времени (наименьшее влияние на состояние пользователя). Например, Usability Testing Environment (UTE, http://utetool.com).


в секундах

Слайд 15

Проектирование интерфейса пользователя. Лекция №13.

Время выполнения задания (time-on-task)

Показатели:
среднее время выполнения задания (визуализация

Проектирование интерфейса пользователя. Лекция №13. Время выполнения задания (time-on-task) Показатели: среднее время
разницы между заданиями).

Как анализировать и представлять время выполнения задания

Слайд 16

Проектирование интерфейса пользователя. Лекция №13.

Время выполнения задания (time-on-task)

Показатели:
для каждого задания: построить дискретные

Проектирование интерфейса пользователя. Лекция №13. Время выполнения задания (time-on-task) Показатели: для каждого
временные интервалы, сопоставить каждому из них количество участников – разброс времён выполнения задания участниками.
пороговые значения: сколько участников уложилось в приемлемое время? Дополнительно вычислить % участников в и за пределами порога.

Как анализировать и представлять время выполнения задания

очистить данные от выбросов – «очень больших» и «очень малых» значений времён, особенно в случае он-лайн исследования;
вычислять для всех заданий или только тех, что завершены успешно?
влияние протокола «мысли вслух»

Слайд 17

Проектирование интерфейса пользователя. Лекция №13.

Ошибки

в общем случае ошибка – это любое действие,

Проектирование интерфейса пользователя. Лекция №13. Ошибки в общем случае ошибка – это
мешающее пользователю выполнить задание наиболее эффективным способом;
измерение ошибок полезно в случае, когда необходимо понять, какие конкретные действия могут привести к провалу задания, и как различные варианты дизайна могут сократить/увеличить количество ошибок.

Область применения:
когда ошибка приводит к существенной потери производительности, например, к заметному снижению скорости выполнения задания, к потере уже введённых данных;
когда ошибка приводит в существенным затратам, например, увеличение звонков в службу поддержки или увеличение числа возвратов продукта;
когда ошибка приводит к провалу задания, например, проголосовать не за того кандидата, купить не тот товар и др.

Слайд 18

Проектирование интерфейса пользователя. Лекция №13.

Ошибки

Процедура:
определить множество корректных действий для решения задачи;
определить, сколько

Проектирование интерфейса пользователя. Лекция №13. Ошибки Процедура: определить множество корректных действий для
возможно допустить ошибок (ошибки ввода, ошибки навигации, ошибки выбора, ошибки интерпретации);
(опционально) выбрать тип ошибки для измерения;
ошибки подсчитать при просмотре видеозаписи (в лаборатории) или автоматизировано (он-лайн исследование);
составить таблицу «пользователь-задание», вписать количество сделанных во время исследования ошибок.

Как собирать данные для измерения ошибок

Слайд 19

Проектирование интерфейса пользователя. Лекция №13.

Ошибки

Задания с единственной возможностью ошибки:
вычислить частоту ошибок

Проектирование интерфейса пользователя. Лекция №13. Ошибки Задания с единственной возможностью ошибки: вычислить
(error rate) для каждого задания (количество ошибок, делённое на число участников, выполнявших данное задание);
общий взгляд на «как участники выполняют задания в целом»:
усреднить показатель ошибок (error rate) по заданиям (для отчётов);
усреднить показатель ошибок только по тем заданиям, которые имеют определенное количество ошибок (например, 50% заданий имеют показатель ошибки 10% и более).

Как анализировать и представлять ошибки

QWERTY

различные экранные клавиатуры

Пример с клавиатурами

Слайд 20

Проектирование интерфейса пользователя. Лекция №13.

Ошибки

Задания с множеством возможностей для ошибок:
для каждого задания

Проектирование интерфейса пользователя. Лекция №13. Ошибки Задания с множеством возможностей для ошибок:
уравновесить число ошибок по количеству возможностей для ошибок;
усреднить количество ошибок по числу участников для каждого задания;
сравнить показатель ошибок с допустимым пороговым значением;
при необходимости учесть степень важности каждой ошибки – взвесить:
1 – незначительная, 2 – умеренная, 3 – серьёзная;
вычислить «вес ошибок» для каждого задания и усреднить по участникам.

Как анализировать и представлять ошибки

Слайд 21

Проектирование интерфейса пользователя. Лекция №13.

Эффективность (efficiency)

объём усилий для выполнения задания: когнитивных (поиск

Проектирование интерфейса пользователя. Лекция №13. Эффективность (efficiency) объём усилий для выполнения задания:
места для выполнения задания, выбор следующего необходимого действия, интерпретация результатов) и физических (перемещение мыши, ввод текст, переключение выключателя и др.);
анализ числа действий или шагов, выполняемых участниками для решения задачи.

определить действия, подлежащие измерению, определить «положительные» действия;
определить начало и конец действия;
подсчитать действия (видеозапись или автоматизированные средства);
каждое действие должно представлять увеличение когнитивных или физических усилий;
рассматривать только успешные задания.

Как собирать данные для измерения эффективности

Слайд 22

Проектирование интерфейса пользователя. Лекция №13.

Эффективность (efficiency)

Какая задача требует наибольших усилий?
для каждой задачи

Проектирование интерфейса пользователя. Лекция №13. Эффективность (efficiency) Какая задача требует наибольших усилий?
усреднить по числу участников количество действий.
Для Web вычислить показатель потерянность (lostness):

Как анализировать и представлять эффективность

L = 0

L = 0,56

N – количество различных веб-страниц, посещённых при выполнении задания;
S – общее количество веб-страниц, посещённых при выполнении задания (в повторными посещениями);
R – минимальное (оптимальное) количество страниц, необходимое для посещения для выполнения задания.

Слайд 23

Проектирование интерфейса пользователя. Лекция №13.

Эффективность (efficiency)

3) Эффективность как комбинация успеха задания и

Проектирование интерфейса пользователя. Лекция №13. Эффективность (efficiency) 3) Эффективность как комбинация успеха
время на его выполнение:
Common Industry Format (CIF) для Отчётов по ю-исследованиям (Usability Test Reports) (NIST, 2001): «основная мера эффективности – это отношение показателя успеха задания к среднему времени его выполнения» ( успех в минуту).

Как анализировать и представлять эффективность

Слайд 24

Проектирование интерфейса пользователя. Лекция №13.

Эффективность (efficiency)

Пример эффективности как комбинация успеха задания и

Проектирование интерфейса пользователя. Лекция №13. Эффективность (efficiency) Пример эффективности как комбинация успеха
времени на его выполнение

Как анализировать и представлять эффективность

Слайд 25

Проектирование интерфейса пользователя. Лекция №13.

Обучаемость (learnability)

обучаемость – время и усилия, потраченные на

Проектирование интерфейса пользователя. Лекция №13. Обучаемость (learnability) обучаемость – время и усилия,
освоение чего-либо, нагрузка на память пользователя;
применять там, где важно знать как и когда пользователи достигнут уверенного уровня владения инструментом для решения задачи.

Собирать данные многократно:
испытания (trial) проводить так часто, как планируется использовать продукт (по возможности);
определить количество испытаний.
Наблюдать за тем, как различные меры эффективности изменяются со временем (время на задание, количество ошибок, число шагов, показатель успешности заданий в минуту).

Как собирать данные для измерения обучаемости

Слайд 26

Проектирование интерфейса пользователя. Лекция №13.

Обучаемость (learnability)

Представить меру эффективности как функцию от опыта

Проектирование интерфейса пользователя. Лекция №13. Обучаемость (learnability) Представить меру эффективности как функцию
пользователя.
Обратить внимание на:
наклон кривой обучения;
точку, в которой график начинает выравниваться (участники научились на столько, что дальше мало возможности для совершенствования навыков);
разницу между min и max по оси OY (сколько нужно обучаться, чтобы достичь наибольшей производительности);
количество испытаний, приводящих к наибольшей производительности.

Как анализировать и представлять обучаемость

Пример с клавиатурами

Слайд 27

Проектирование интерфейса пользователя. Лекция №13.

Отрицательные аспекты:
всё, что мешает успешному завершению задания;
всё, что

Проектирование интерфейса пользователя. Лекция №13. Отрицательные аспекты: всё, что мешает успешному завершению
сбивает пользователя с пути решения задачи;
всё, что вводит пользователя в замешательство;
всё, что приводит к ошибке;
не замечено то, что должно быть замечено;
всё, что ошибочно признано корректным (завершённым);
непонимание навигации;
др.
Положительные аспекты:
ясное отображение сложной информации (в простом формате, понятном пользователю);
обучение без особых затрат;
поддержка пользователя в выполнении сложной транзакции наиболее эффективным образом и без путаницы.

Примеры аспектов для обсуждения юзабилити

=> «полезные» отрицательные аспекты указывают на возможные улучшения продукта

=> положительные перечисляются, чтобы не быть потерянными в дальнейших итерациях проектирования

Слайд 28

Проектирование интерфейса пользователя. Лекция №13.

Способы выявления аспектов для обсуждения юзабилити:
в лаборатории или

Проектирование интерфейса пользователя. Лекция №13. Способы выявления аспектов для обсуждения юзабилити: в
при тестировании по телефону:
наблюдения за поведением пользователей и уточнении по окончании сессии;
несколько наблюдателей;
протокол «мысли вслух» (что, как, почему и ожидания).
он-лайн тестирования:
сбор комментариев, рейтингов и т. п. (в структурированной и открытой форме).
экспертная оценка ПИ.
Аспекты для обсуждения юзабилити:
истинные:
большинство участников столкнулись с ними;
столкнулся только один человек (малое число участников); выполнен анализ его поведения, «логики» обнаружена.
ложные:
столкнулся только один человек (малое число участников); выполнен анализ его поведения, «логика» не обнаружена.

Как выявлять аспекты для обсуждения юзабилити

приготовиться к тому, что могут быть найдены совсем не те ю-аспекты, что ожидались изначально. Пример «Apple Presents Apple».

Детализация аспектов:
более детальные, например:
неверно понята подпись к полю ввода.
менее детальные, например:
запутанная организация всего сайта;
слишком высокая плотность информации на странице, пользователю трудно заметить нужные ссылки.

Слайд 29

Проектирование интерфейса пользователя. Лекция №13.

Уровень серьёзности (severity) аспектов:
по степени влияния на опыт

Проектирование интерфейса пользователя. Лекция №13. Уровень серьёзности (severity) аспектов: по степени влияния
пользователя, например:
низкий, или «косметический» (цвета);
средний – аспект досаждает или расстраивает пользователя, но не приводит к срыву задания (неоптимальный путь);
высокий – приводит к срыву выполнения задания, потере данных;
«катастрофический» - безвозвратная потеря данных, вред, причиняемый аппаратному обеспечению/ПО; отсрочивание даты внедрения/выпуска продукта.

Как оценить аспекты для обсуждения юзабилити

по комбинации факторов – частоты использования и влияния на бизнес-цели. Например три шкалы:
влияние на UX (1=низкое, 2=среднее, 3=высокое);
предполагаемая частота использования (1=низкое, 2=среднее, 3=высокое);
влияние на бизнес-цели (1=низкое, 2=среднее, 3=высокое).
суммарный рейтинг – от 3 до 9.

Выбрать шкалу серьёзности и использовать её для всех исследований

Слайд 30

Проектирование интерфейса пользователя. Лекция №13.

Какова общая юзабилити продукта?
Улучшается ли показатель юзабилити от

Проектирование интерфейса пользователя. Лекция №13. Какова общая юзабилити продукта? Улучшается ли показатель
итерации к итерации проектирования?
На чём сфокусировать внимание при дальнейшем улучшении?

Анализ и представление показателей для юзабилити-аспектов

Показатели:
общее количество уникальных юзабилити-аспектов (без рейтинга):
без учёта уровня серьёзности;
с учётом уровня серьёзности (количество уникальных юзабилити-аспектов, классифицированных по рейтингу серьёзности).

Слайд 31

Проектирование интерфейса пользователя. Лекция №13.

Анализ и представление показателей для юзабилити-аспектов

Показатели:
среднее количество ю-аспектов

Проектирование интерфейса пользователя. Лекция №13. Анализ и представление показателей для юзабилити-аспектов Показатели:
по всем участникам:
без учёта уровня серьёзности;
с учётом уровня серьёзности.

без учёта уровня серьёзности

Слайд 32

Проектирование интерфейса пользователя. Лекция №13.

Анализ и представление показателей для юзабилити-аспектов

Показатели:
количество участников, столкнувшихся

Проектирование интерфейса пользователя. Лекция №13. Анализ и представление показателей для юзабилити-аспектов Показатели:
в конкретными ю-проблемами:
без учёта уровня серьёзности;
с учётом уровня серьёзности (в качестве фильтра ю-аспектов или для агрегирования данных по уровням серьёзности).

например, сравнение двух итераций проекта относительно конкретного элемента ПИ.

Слайд 33

Проектирование интерфейса пользователя. Лекция №13.

Анализ и представление показателей для юзабилити-аспектов

Показатели:
количество юзабилити-проблем, разбитых

Проектирование интерфейса пользователя. Лекция №13. Анализ и представление показателей для юзабилити-аспектов Показатели:
на общим категориям (количество категорий от3 до 8).

Слайд 34

Проектирование интерфейса пользователя. Лекция №13.

Анализ и представление показателей для юзабилити-аспектов

Показатели:
показатели юзабилити-проблем, разбитых

Проектирование интерфейса пользователя. Лекция №13. Анализ и представление показателей для юзабилити-аспектов Показатели:
на задачам:
количество уникальных ю-проблем для каждой задачи (с какими задачами связано наибольшее число ю-вопросов?);
количество участников, столкнувшихся хотя бы с одним ю-вопросом при выполнении конкретной задачи;
количество ю-вопросов высокого уровня серьёзности, связанных с каждой задачей.

анализ позитивных юзабилити-аспектов аналогичен анализу негативных;
возможен анализ отношения числа позитивных ю-аспектов к негативным.

Слайд 35

Проектирование интерфейса пользователя. Лекция №13.

Анализ и представление показателей для юзабилити-аспектов

Факторы, влияющие на

Проектирование интерфейса пользователя. Лекция №13. Анализ и представление показателей для юзабилити-аспектов Факторы,
выявление юзабилити-вопросов:
участники (разная мотивация, уровень опытности в предметной области, техническая грамотность и др.);
задания (формулировка, области продукта и т. п.);
метод исследования;
форма продукта («бумажный» прототип, полуфунциональный прототип и готовый продукт);
среда (прямое/косвенное взаимодействие, освещение, рабочее место, наблюдатели, видеозапись и т. п.);
модераторы.

Количество участников:
с какой вероятностью мы выясним новые ю-аспекты при исследовании поведения нового участника?
[Nielsen&Landauer, 1993]: p = 30%;
«магическая цифра 5» - за и против.

Слайд 36

Проектирование интерфейса пользователя. Лекция №13.

Проектирование интерфейса пользователя. Лекция №13.

Слайд 37

Проектирование интерфейса пользователя. Лекция №13.

Примеры того, что следует выяснить:
общий уровень удовлетворённости;
простота использования;
эффективность

Проектирование интерфейса пользователя. Лекция №13. Примеры того, что следует выяснить: общий уровень
навигации;
ясность терминологии;
осведомлённость о конкретных функциях;
визуальная привлекательность;
и др.
Подходы к сбору данных:
шкалы оценки (рейтинги);
открытые вопросы («перечислите три особенности продукта, которые вам понравились больше всего»);
списки атрибутов;
и т. п.

Сбор и анализ самоговорящих метрик

субъективные данные

Слайд 38

Проектирование интерфейса пользователя. Лекция №13.

Виды шкал оценки :
Шкала Ликерта [Rensis Likert, 1953]:
нечётное

Проектирование интерфейса пользователя. Лекция №13. Виды шкал оценки : Шкала Ликерта [Rensis
число степеней согласия (5, 7 позиций) в некоторым выражением, от полюса к полюсу;
например:
Семантически дифференцирующая шкала [Charles E. Osgood, 1957]:
пары полярных по значению прилагательных, выражающих отношение;
межу полюсами нечетное число позиций;
например:
Анализ результата:
назначить каждой позиции рейтинга числовое значение, усреднить по участникам;
рассматривать только по два крайних значения (top-2 and bottom-2-boxes), например:
узнать % пользователей, попавших в top-2-box.

Сбор и анализ самоговорящих метрик

Слайд 39

Проектирование интерфейса пользователя. Лекция №13.

Показатели:
Легкость использования:
шкала Ликерта с выражением «Это задание

Проектирование интерфейса пользователя. Лекция №13. Показатели: Легкость использования: шкала Ликерта с выражением
было легко выполнено»;
семантически дифференцирующая шкала – «Легко/Трудно».
After-Scenario Questionnaire (ASQ) [Jim Lewis, 1991]:
«Я удовлетворён легкостью выполнения задач в данном задании (сценарии)»;
«Я удовлетворён объёмом временных затрат на выполнение задач в данном задании (сценарии)»;
«Я удовлетворён сопутствующей информацией (онлайн справка, сообщения, документация) при выполнении задач».

Сбор и анализ показателей. После каждого задания

какие задания самые трудные?
какие области продукта особо нуждаются в совершенствовании?
получить оценку участников выполнения каждого задания по нескольким шкалам.

из определения юзабилити: продуктивность (п.1), производительность (п.2), удовлетворённость (п. 1-3)

Слайд 40

Проектирование интерфейса пользователя. Лекция №13.

Показатели:
Показатель ожидания/опыт:
выяснить перед выполнением задания ожидания относительно

Проектирование интерфейса пользователя. Лекция №13. Показатели: Показатель ожидания/опыт: выяснить перед выполнением задания
легкость/трудности его выполнения;
узнать после выполнения, на сколько легко/трудно оказалось на самом деле выполнение этого задания;
для каждого задания вычислить средний показатель ожидания (average expectation rating) и средний показатель опыта выполнения (average experience rating).

Сбор и анализ показателей. После каждого задания

трудно

легко

конкурентные преимущества

Слайд 41

Проектирование интерфейса пользователя. Лекция №13.

Показатели:
Оценка величины юзабилити (Usability Magnitude Estimation) [Mick McGee,

Проектирование интерфейса пользователя. Лекция №13. Показатели: Оценка величины юзабилити (Usability Magnitude Estimation)
2004]:
дать возможность пользователю самому придумать линейку для оценки юзабилити;
показать пользователю два варианта дизайна, «плохой» и «хороший»;
оценивать задания относительно этих вариантов.

Сбор и анализ показателей. После каждого задания

Слайд 42

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. После каждого задания

Эксперимент по

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. После каждого задания
сравнению показателей:
Сравниваемые показатели:
легкость использования по шкале Ликерта;
легкость использования по семантически дифференцирующей шкале;
два первых вопроса из ASQ (без справки);
показатель «ожидание/опыт»;
аналог Оценки величины юзабилити – оценить от 1 до 100 (выше значение – лучше опыт).
он-лайн исследование, 6 заданий, готовое приложение (резюме сотрудников), 1131 участник, по одной технике на участника;
выявить взаимосвязь с «объективными» данными – показателями производительности (бинарный успех задания и время на задание).

4) дальнейшее исследование показало, что:
на «большой» выборке все 5 техник дают одинаковый результат;
на «малой» выборке (<10 участников) самая надёжная техника – первая (самая простая).

Слайд 43

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Показатели:
Усреднённый

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
показатель оценки по отдельным задачам:
не даёт представление о снимке впечатления в конце сессии.
Шкала юзабилити системы (System Usability Scale) [Brooke, 1996]:
5 положительных и 5 отрицательных выражения и степени согласия;
итоговый вес – от 1 до 100.
формула: из весов для выражений №1,3,5,7,9 вычесть 1; из 5 вычесть веса для для выражений №2,4,6,8,10; суммировать значения; умножить на коэффициент 2,5.

общее впечатление об опыте выполнения заданий посредством продукта;
для сравнения результата различных итераций проектирования;
для сравнения с аналогичными продуктами.

Какой вес SUS хорош (плох)?
ниже 60% - низкий уровень опыта взаимодействия;
выше 80% - высокий.

Слайд 44

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Показатели:
Computer

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
System Usability Questionnaire (CSUQ) [Jim Lewis, 1995]:
полезность системы;
качество информации;
качество интерфейса;
общая удовлетворенность.

Слайд 45

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Показатели:
Questionnaire

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
for User Interface Satisfaction (QUIS) [Chin, Diehl, & Norman, 1988]:
общая реакция;
экран;
терминология и информация;
обучение;
производительность системы.

Онлайн анкеты/опросы от GARY PERLMAN (QUIS, ASQ, CSUQ и др.): http://www.acm.org/perlman/question.html

Слайд 46

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Показатели:
Usefulness,

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
Satisfaction, and Ease of Use Questionnaire (USE) [Arnie Lund, 2001] :
полезность;
удовлетворённость;
легкость использования;
легкость обучения.

Слайд 47

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Показатели:
Карточки

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
с реакциями на продукт от Майкрософт (Product Reaction Cards) [Benedek&Miner, 2001] :
участники выбирают карточки, наилучшим образом отвечающие их впечатлению от работы с продуктом;
объяснить пять самые выразительные карточки;
вычислить отношение позитивных карточек к негативным.

Слайд 48

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. В конце сессии тестирования

Эксперимент

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. В конце сессии
по сравнению показателей [Tullis & Stetson, 2004]:
Сравниваемые показатели (анкеты адаптированы для анализа веб-сайтов):
SUS; QUIS; CSUQ; карточки с реакциями;
собственная техника (9 позитивных выражения и шкала Ликерта).
онлайн-тестирование, оценивают два веб-портала, 123 участника, каждому участнику по 2 задачи, по 2 веб-портала, по одному виду опроса;
общий результат:
первый веб-портал заметно предпочтительнее второго (по всем техникам) – «корректное заключение»;
выяснить как изменится результат (то есть способность давать «корректное заключение») в зависимость от величины выборки (от 6 до 14).

Слайд 49

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. Онлайн-сервисы

Варианты обратной связи:
Website Analysis

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. Онлайн-сервисы Варианты обратной
and Measurement Inventory (WAMMI—www.wammi.com) [Human Factors Research Group of University College Cork in Ireland]:
выросло из Software Usability Measurement Inventory (SUMI);
доступно на большинстве европейских языков;
сравнение результата с БД уже оцененных веб-сайтов (!);
оценки по категориям.

обратная связь от пользователей веб-сайтов («Voice of the Customer», или VoC.);
аналог самоговорящих показателей в конце сессии тестирования;
(а) случайному пользователю всплывающий опрос, например, при выходе из системы;
(б) сбор обратной связи в различных местах сайта от всех желающих.

представление результата

средний вес

Слайд 50

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. Онлайн-сервисы

WAMMI

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. Онлайн-сервисы WAMMI

Слайд 51

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. Онлайн-сервисы

Варианты обратной связи:
American Customer

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. Онлайн-сервисы Варианты обратной
Satisfaction Index (ACSI—www.TheACSI.org) [Business School of The University of Michigan]:
используется на www.ForeSeeResults.com.

Слайд 52

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. Онлайн-сервисы

ACSI

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. Онлайн-сервисы ACSI

Слайд 53

Проектирование интерфейса пользователя. Лекция №13.

Сбор и анализ показателей. Онлайн-сервисы

Варианты обратной связи:
обратная связь

Проектирование интерфейса пользователя. Лекция №13. Сбор и анализ показателей. Онлайн-сервисы Варианты обратной
от OpinionLab (www.OpinionLab.com):
постраничный аналог тестирования «после каждой задачи».
Имя файла: Учебный-курс«Проектирование-интерфейса-пользователя».pptx
Количество просмотров: 127
Количество скачиваний: 0