Управление рисками тестирования

Что такое риск?
Риск – это вероятное событие или условие, которое в случае возникновения имеет позитивный или негативный эффект на одно или более свойств проекта – время, стоимость, объем, качество (на способность поставить продукт вовремя, в рамках бюджета, с заданной функциональностью, с заданным качеством)
Риск может иметь одну или несколько причин и, в случае возникновения, одно или несколько последствий

Цена
Объем
Время
Качество
Что можно варьировать в проекте?

На что обычно могут влиять тестировщики?
Цена
Объем
Время
Качество

Что у тестировщиков чаще всего спрашивают?
Мы успеваем закончить тестирование вовремя?
Что можно не протестировать, чтобы успеть вовремя? Какие последствия будут у неполного тестированя?
Насколько безопасно ставить этот релиз в эксплуатацию?
Для того, чтобы ответить на эти вопросы, нам нужно уметь предсказывать, оценивать, описывать текущую ситуацию и обсуждать ее со всеми участниками проекта. Или – нам
необходимо управлять рисками тестирования.

Как тестировщики доносят информацию?
Первое утверждение
Нам нужно 70 часов чтобы протестировать эту функциональность. На самом деле нам надо 40 часов, но мы делаем запас – ведь может произойти что угодно…

Как это стоит делать, чтобы нас понимали?
Второе утверждение
Нам нужно 40 часов для тестирования. Но существуют следующие риски:
Тестовая среда нестабильная. Весьма вероятно, что тестовая среда будет недоступна в течение 20 часов. Давайте учтем это время.
Функциональность Х плохо задокументирована. Скорее всего понадобится дополнительный раунд тестирования после уточнения всех деталей. Давайте задокументируем ее сейчас или заложим 10 дополнительных часов на тестирование.
Уважаемый ПМ, эти риски можно принять, или выделить время для их смягчения.

Почему важно управлять рисками?
Основные плюсы для руководителя группы тестирования
Прозрачные и весомые аргументы при эскалациях
Стандартные подходы и методы для корректирующих и упреждающих действий
Основные плюсы для руководителя проекта
Получение информации обо всех факторах, влияющих на поставку продукта
Прозрачная информация о состоянии релиза
Возможность устранить риск до того как он
превратился в проблему

Из чего обычно состоит управление рисками?
Планирование рисков
Идентификация рисков
Качественный анализ рисков
Количественный анализ рисков
Планирование противодействия рискам
Мониторинг и контроль рисков

Качественный и количественный анализ рисков в реальной жизни
Экспертные оценки – качественный анализ
Хороши на начальных этапах
Легко подстраиваются
Простой метод
Не очень точный метод
Вероятностные методы – количественный анализ
Сложные расчеты
Требуют подстройки
Неочевидность результата
Подобие какой-то точности результата

Качественная оценка
Ожидаемая величина риска по PMBoK
Шкалы пересчета рисков
Карты рисков

Количественная оценка: треугольное распределение
Наиболее вероятная
длительность задачи
Минимальная
длительность задачи
Максимальная
длительность задачи
Вероятность риска
Длительность задачи

Количественная оценка: совокупный риск

Что мы делаем для управления рисками?
Общий репозиторий рисков в JIRA
Отбор специфических проектных рисков перед каждым релизом
Ежедневный мониторинг состояния рисков
Простые правила расчета совокупного риска процесса тестирования и риска релиза
Ежедневные отчеты лицам, принимающим решения

Основные параметры риска
Влияние риска
Низкое < 8 часов
Среднее 8-24 часа
Высокое > 24 часа
RAG-статус риска
Вероятность риска
Маловероятен
Вероятен
Весьма вероятен
Уже случился

Совокупный риск процесса тестирования
Оценивается на ежедневной основе
Считаем общее время на устранение всех RED рисков
RED > 20% от общей трудоемкости проекта
Amber 10-20% от общей трудоемкости проекта
Green < 10% от общей трудоемкости проекта
Что оцениваем – насколько сдвинется финальная дата тестирования при сохранении того же качества

Риски релиза - опросник
Разработка продолжалась после заморозки кода
Несколько тестировщиков работали над одной функциональностью, дублируя усилия
Отсутствует документация
Были значительные изменения в коде
Нехватка ресурсов
Большое количество найденных ошибок
Частое переключение тестировщиков между задачами
Неконтролируемое увеличение объема работ
Нестабильные требования
Нестабильная тестовая среда

Совокупный риск релиза
Оценивается перед выдачей релиза из тестирования
Считаем количество негативных ответов в опроснике
RED > 20% от общего количества вопросов
Amber 10-20% от общего количества вопросов
Green < 10% от общего количества вопросов
Что оцениваем – насколько высоки риски релиза при постановке его в эксплуатацию

Совокупные риски тестирования и релиза:
оценка времени и качества
Цена
Объем
Время
Качество