Тестирование Пользовательского Интерфейсакак это делает Интел

Анатолий Любомиров
Дизайнер пользовательских интерфейсов
Работает над продуктами семейства Intel® Parallel Studio
Очевидец и непосредственный участник всех событий
Не стесняйтесь прерывать и задавать вопросы
Это скорее сессия вопросов и ответом, чем мой рассказ

Вводная
Немного вводной информации, чтобы вам было легче меня расспрашивать...
«Что», «Как» и «Когда»

Что тестировалось?

Продукты
Intel® Performance Tuning Utility (2007)
Intel® Parallel Amplifier (2009)
Intel® Parallel Inspector (2009)
Intel® Parallel Advisor (2010)
Intel® VTune™ Amplifier XE (2010)
Intel® Inspector XE (2010)

Несколько скриншотов, чтобы легче понять объем пользовательского интерфейса

Intel® Parallel Advisor

Intel® Parallel Advisor

Intel® VTune™ Amplifier XE

Intel® VTune™ Amplifier XE

Intel® Inspector XE

Как тестировалось?

Способ первый: «один перед толпой»

«Один перед толпой»
Уникальный Макс
Высокий риск искажения
Супер дешево
Супер эффект

Нужна лаборатория
Их много в Интеле...
Настоящая! С односторонним зеркалом и т.д.
Лучше один раз посмотреть

Лаборатория - план

Способ второй: «свободный поиск»

«свободный поиск» 1/2
Тестируем Power Point презентацию
Иногда тестируем небольшой инетрактив (Captivate)
3-5 сценариев
6-8 «подопытных»
Вводные распросы
2 часа на почти free exploration
Опросник в конце
Самый важный вопрос:
«Купили бы вы этот продукт за $xxx ?»

«свободный поиск» 2/2
Классика
Добротные проблемы
Хорошо делать в начале
Относительно дешево
Дизайнер в шоке, разработчики не в курсе
Разночтения увиденного
Что дальше?

Способ третий: «с подсчетом метрик»

«с подсчетом метрик» 1/2
Две основные метрики:
Успешность выполнения сценария
1 за выполнение быстрее «мастер времени»
0,5 за выполнение
0 за невыполнение в пределах 40 минут
Время выполнения сценария
В минутах

«с подсчетом метрик» 2/2
Позволяет отследить изменения
Нравится менеджерам
Выигрывает интерфейс, ведущий вдоль тестируемого сценария
Сценарий поменять нельзя от теста к тесту

Когда тестировалось?

PLC или Product Life Cycle

Когда тестировать? Рекомендации
Чем раньше - тем лучше
Минимум три раза
Тестировать в самом конце – только расстраиваться
Если получилось один раз эффективно, то надо повторять впредь

Собственно все.
Немного мыслей про будущее

Мега-автоматика?
Автоматический сбор пользовательских действий
Возможно совмещение с системой функционального автоматического GUI тестирования
Пользоваться самому (Eating your own dog food)
Есть правда риск, сделать продукт лишь для одного себя

Теперь точно все.
Пожалуйста, Ваши вопросы.

Legal Disclaimer
INFORMATION IN THIS DOCUMENT IS PROVIDED “AS IS”. NO LICENSE, EXPRESS OR IMPLIED, BY ESTOPPEL OR OTHERWISE, TO ANY INTELLECTUAL PROPERTY RIGHTS IS GRANTED BY THIS DOCUMENT. INTEL ASSUMES NO LIABILITY WHATSOEVER AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY, RELATING TO THIS INFORMATION INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR INFRINGEMENT OF ANY PATENT, COPYRIGHT OR OTHER INTELLECTUAL PROPERTY RIGHT.
Performance tests and ratings are measured using specific computer systems and/or components and reflect the approximate performance of Intel products as measured by those tests. Any difference in system hardware or software design or configuration may affect actual performance. Buyers should consult other sources of information to evaluate the performance of systems or components they are considering purchasing. For more information on performance tests and on the performance of Intel products, reference www.intel.com/software/products.
Intel and the Intel logo are trademarks of Intel Corporation in the U.S. and other countries.
*Other names and brands may be claimed as the property of others.
Copyright © 2010. Intel Corporation.