Оценка затрат на автоматизацию тестирования

Цель
“Головы”
Продукт

Цель
Бюджет
ROI = (G – I)/I
I = ?
Рентабельность инвестиций

План
Обзор существующих методов оценки затрат на автоматизацию
Анализ сильных и слабых сторон
Выработка критериев для нового метода оценки
Разработка нового метода
Анализ результатов

Существующие подходы оценки затрат на автоматизацию
Оценка по типовому коэффициенту
Оценка методом декомпозиции задач

Оценка по типовому коэффициенту
Разработка
%
Итоговая
оценка

Оценка методом декомпозиции задач

Критерии для нового метода оценки

Анализ задачи
TCs
Вход
Выход
Время на оценку
Точность оценки

Анализ задачи - проблема
Все тест кейсы отличаются:
по объему
сложности
и т.п.

Анализ тест кейса
Взаимодействие с интерфейсом
Написание хранимых процедур, для подготовки тестовых данных
Взаимодействие с интерфейсом
Подготовка тестовых данных через базу данных
Содержание
Тип активности тестировщика

Автоматизация набора тест кейсов
TCs
TCUIA
TCDB

Оценка написания хранимых процедур
TCDB

Оценка написания хранимых процедур

Единицы-> Часы
Единицы
На основании статистики 100 единиц = X часов

Оценка тест кейсов
TCUIA
?
Все тест кейсы разные

“Оценочный” тест кейс
Разные по объему тест кейсы
“Оценочный” тест кейс

Границы “оценочного” тест кейса
1 <
≤ 10
“Оценочный” тест кейс
Взаимодействие с интерфейсом

“Оценочный” тест кейс -> Часы
На основании статистики 10 оценочных тест кейсов = Y часов

Суммарная оценка затрат на автоматизацию

Проекты
Проект 1
Большие тест кейсы
Тестовые данные создаются через интерфейс
Много не стандартных элементов управления
Проект 2
Небольшие тест кейсы
Тестовые данные создаются через базу данных

Время потраченное на оценку

Точность оценки

Анализ результатов
Время затраченное на оценку ~ в 3 раза меньше от метода декомпозиции задач
Точность варьируется в пределах 8% от фактического результата
Точность сопоставимая с методом декомпозиции задач
Меньше субъективность оценки