Доктор QAйболит, или Ассессмент процессов тестирования

Цели ассессмента
“Как живете? Как животик?”
Где болит? Сильно болит?
Почему болит?
Как лечить?
Как сделать так, чтобы больше не болело?

Фазы ассессмента - 1
Сбор анамнеза
Знакомство с организацией, существующими процессами, технологиями и целями
Получение и анализ измерений тестирования
Изучение проектных артефактов
Как живете? Как животик?

Фазы ассессмента – 2
Предварительный диагноз
Проведение интервью
Знакомство с людьми
Получение ответов на вопросы
Уточнение ранее полученных выводов
Где болит? Сильно болит?

Фазы ассессмента – 3
Окончательный диагноз и тактика лечения
Достижения, проблемы, рекомендации
Двухступенчатое (краткосрочное и долгосрочное) планирование совершенствования процесса
Презентация результатов
Почему болит?
Как лечить?
Как сделать так, чтобы больше не болело?

Случай из практики – 1
Больной
Проект разработки биллинговой системы мобильного оператора «большой тройки»
Анамнез
Высокая стоимость тестирования
Низкое качество поставляемого продукта
Несоблюдение принципа time-to-market при сопровождении системы
Диагноз
Поставка релизов на системное тестирование с большими задержками
Ручное регрессионное тестирование
Отчуждение экспертизы тестирования от владельца системы
Рекомендации по лечению
Обеспечение прорыва в автоматизации тестирования (в первую очередь - регрессионного)
Изменение системы мотивации поставщика услуг тестирования
Изменение организационной структуры группы тестирования
Заключение формального SLA с поставщиком кода
Обеспечение доступа поставщика услуг тестирования к тестовому стенду заказчика
Профессор получил телеграмму…: его просили поскорее приехать.
(А.П.Чехов)

Случай из практики - 2
Больной
Отдел тестирования ПО в российском филиале крупного западного ритейл-банка
Анамнез
Хроническое недоверие руководства к работе отдела тестирования и результатам тестирования
Диагноз
Отсутствие измерений процесса тестирования
Рекомендации по лечению
Постановка элементарных измерений
Внедрение измерений параметров PDDD (метрика качества продукта) и DRE (метрика качества процесса)
А вы не можете у нас остаться? Совестно вас беспокоить, но будьте так добры...
(А.П.Чехов)

Случай из практики - 3
Больной
Группа тестирования проекта сопровождения кастомизации приложения САПР крупной западной аэрокосмической компании
Анамнез
Низкое и постоянно ухудшающееся качество релизов
Диагноз
Неполный процесс управления дефектами
Неоптимальное планирование и проведение тестирования
Слабое управление рисками
Рекомендации по лечению
Внедрение единого процесса управления дефектами для всех участников (включая идентификацию версий и валидацию исправления дефектов)
Инвестирование в автоматизацию тестов
Трассировка тестовых сценариев
Выполнение регрессионного тестирования после завершения функционального
Внедрение практик управления рисками
Внедрение измерений тестирования
Пожалуйте, господин доктор, Пожалуйте, заждались... чистое горе. Вот сюда пожалуйте..
(А.П.Чехов)

Параметры типичного проекта ассессмента
Объем оценки – 1-3 проекта
Трудозатраты – 80-160 человеко-часов
Размер команды – 1-4 человек
Длительность – 10-30 рабочих дней
Базис оценки - процессные области уровней зрелости 2 и 3 модели CMMI-DEV, v.1.3
Основные инструменты:
Списки контрольных вопросов
Измерения
Интервью
Методы причинно-следственного анализа

Оцениваемые области
Управление проектом
Управление тестированием
Конфигурационное управление
Взаимодействие групп тестирования и разработки
Планирование тестирования
Проектирование тестов
Автоматизированное тестирование
Управление дефектами
Анализ результатов тестирования