Mobile Testing. Basics. (Часть 1)

CEO Amazon Джефф Безос
Людям больше не нужны гаджеты. Им нужны сервисы.

- 50%
- 45%
- 3%
Остальные - 2%
Лидеры OS на начало 2016

Цена бага в релизе
мобильного приложения

- Различные разрешения экрана
- Аппаратные отличия
- Десятки версий операционных систем
- Разные типы подключения к интернету
- Внезапные обрывы связи
- Остальные факторы
Основные сложности тестирования мобильных приложений

- Что тестируем?
Мобильное приложение с определенным набором функций
- Для кого?
Территориальное расположение, навыки пользователей, ожидания
- Устройства?
Модели, оси, экраны, эмуляторы
Что нужно знать перед началом тестирования?

Для того, чтобы выбрать тестовые девайсы нужно ответить на вопросы:
- Какие задачи решает приложение?
- В каком территориальном округе приложение будет использоваться?
- Какие девайсы самые поппулярные в этом округе?
- Какие минимальные характеристики девайса (аппаратное и програмное обеспечение) нужны для корретной работы приложения?
- Пожелания заказчика
Как выбрать тестовые девайсы?

- Можно попытаться купить все
требуемые девайсы.
- Можно установить эмуляторы
- Можно обратиться за помощью
в онлайн тест лаборатории.
Определили скоуп девайсов. Что дальше?

+ Реальное пользовательское окружение
+ Девайсы на разные проекты
+ Технические характеристики определены для девайсов
+ Высокая скорость тестирования
- Дорого
- Не всегда можно купить нужный девайс
- Один девайс = один тестировщик
- Быстро устаревают
Покупка: Плюсы и минусы

+ Чаще бесплатны, чем платны
+ Можно обеспечить каждого тестировщика
+ Огромная база виртуальных девайсов с разными характеристиками
- Не могут эмулировать реальные действия пользователя
- Не обеспечивают реальных технических спецификаций девайсов
Эмуляторы: Плюсы и минусы

+ Виртуальное покрытие всех девайсов
+ Мгновенный доступ
+ Цена ниже, чем покупка каждого устройства
- Девайс дается на время
- Человеческий фактор
Лаборатории: Плюсы и минусы

Тестирование начинается ДО разработки:
- Недвусмысленность
- Полнота набора требований
- Непротиворечивость набора требований
Тестирование требований

Мокап мобильного приложения

Генерация тестов с помощью Mind map

Покрытие = (Кол-во требований уже покрытых тестами/на общее кол-во требований)*100%
Например:
Есть 100 требований из которых покрыто тестами уже 80
Покрытие= (80/100)*100%= 80% функционала покрыто
Написали тесты. Как определить, полностью ли у нас покрытие тестами функционала?

1. Соединение
2. Переход между скринами
3. Мультитач
4. Сторонние библиотеки (facebook, etc)
5. Апдейт версий. Миграция данных.
6. Временные пояса и локация пользователей
7. Переполненная память
8. Запуск приложения с другими приложениями
9. Приложение в фоне
10. Эмуляция различных прерываний (звонков, получения SMS, отключения устройства из-за севшей батарейки)
11. Платный контент (in-app purchase)
12. Интернационализация
Приступая к тестированию. Наиболее узкие места:

Best practice of mobile SDLC with CI+CVS

Feedback. Работа с конечным пользователем.