Тестовая отчетность

Содержание:
Отчетность: внутренняя и внешняя
Метрики и способы оценки качества
Структура отчета по качеству

Виды тестовой документации

Виды тестовой документации

Отчетность по работам
Отчет о ходе тестирования
Отчет по статусу
Отчет по бюджету
...

Отчетность по качеству

Количественное управление
Эффективность планирования
Описание: Показывает соотношение проданного, затраченного и запланированного времени за определенный период
Исходные данные:
Количество проданного (условно проданного) времени на измеряемый период
Количество затраченного времени за измеряемый период
Количество запланированного времени на измеряемый период
Возможный эффект:
Более точная оценка при планировании фаз и проектов в будущем;
Увеличение рентабельности проекта.

Количественное управление
Эффективность планирования

Количественное управление
Производительность тестирования
Описание: Отношение количества внесенных дефектов к времени, затраченному на тестирование.
Исходные данные:
Количество дефектов, внесенных за измеряемый период;
Время, затраченное только на функциональное тестирование
Время, затраченное на все активности за измеряемый период
Возможный эффект:
Точный и оперативный контроль ситуации, выявление узких мест
Более точная оценка и планирование на будущих фазах или проектах

Количественное управление
Производительность тестирования

Количественное управление
Активные дефекты по критичности (Severity)
Описание: Количество активных дефектов каждой критичности (severity) в определенный момент времени
Исходные данные:
Количество активных дефектов каждой критичности в определенный момент времени.
Возможный эффект:
Контроль за качеством исправления дефектов;
Контроль за динамикой изменения количества дефектов каждой критичности.

Количественное управление
Активные дефекты по критичности (Severity)

Количественное управление
Описание: Отношение количества исправленных дефектов к количеству новых дефектов за отчетный период.
Исходные данные:
Количество дефектов, переведенных в конечное состояние (Validated, Closed) за отчетный период;
Количество новых дефектов за отчетный период.
Возможный эффект:
Отслеживание динамики по движению проекта к достижению целей по качеству и срокам. Своевременное фиксирование проблем и информирование о них всех заинтересованных участников;
Снижение рисков.
Прирост дефектов

Количественное управление
Прирост дефектов

Количественное управление
Описание: Среднее время от момента внесения дефекта до его исправления.
Исходные данные:
Дата, время внесения дефекта;
Дата, время перевода дефекта в конечное состояние (Validated, Closed).
Возможный эффект:
Возможность влиять на производительность команды разработки;
Увеличение скорости удаления дефектов, а значит и сокращение сроков, минимизация рисков;
Прогнозирование сроков стабилизации.
Время жизни дефекта

Количественное управление
Время жизни дефекта

Количественное управление
Активные дефекты по критичности (Severity)
Процент FAD (Functions As Designed)
Процент отклоненных дефектов (Reopened)
Общая плотность дефектов
Процент TBR (ToBeReformulated)
Удаление старых дефектов низкой критичности
Количество регрессионых дефектов
… и т.д.
Прочие

Что входит в отчет?
Заголовок:
название проекта
номер сборки
тип теста
Качество
Общая информация:
название проекта
номер сборки
кто/где/когда тестировал
Оценка качества (приложения, модуля и т.д.):
субъективная
объективная
Обоснование выставленного качества – аргументация
Другие замечания и рекоммендации

Субъективная оценка
На основании общего впечатления от работы с приложением и внесенных дефектов (количество, важность)
Обязательно учитывать этап разработки проекта – то, что не критично в его начале, становится важным в конце
Уровни качества:
Low
Below Medium
Medium
Above Medium
High

Объективная оценка
На основании внесенных дефектов (количество, важность) и с учетом размеров проекта
Уровни качества: от 0 до 1
Weight – вес дефекта в зависимости от его важности и приоритета
# - количество дефектов одинаковой важноссти
ProjectSize - размер проекта