Release readiness metrics

Содержание
Верификация и валидация.
Тест приемки.
Критерии окончания тестов.

«Верификация (verification — проверка) — подтверждение на основе представления объективных свидетельств того, что установленные требования были выполнены».
«Валидация (validation — придание законной силы) — подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены».
Казалось бы, определения чуть ли не совпадают и уж если не полностью, то в значительной части. И, тем не менее, верификация и валидация — принципиально разные действия.

Имея определенные требования на руках, мы проводим испытание продукта и фиксируем, соблюдены ли требования. Результат верификации — это ответ на вопрос «Соответствует ли продукт требованиям?».
Но далеко не всегда продукт, соответствующий установленным требованиям, можно применять в конкретной ситуации. Например, лекарство прошло все положенные испытания и поступило в продажу. Значит ли это что оно может быть применено каким-то конкретным больным? Нет, т. к. каждый пациент имеет свои особенности и конкретно для этого лекарство может быть губительным, т.е. кто–то (врач) должен подтвердить: да, этому больному можно принимать это лекарство. То есть врач должен выполнить валидацию: придать законную силу конкретному применению.

Или еще пример. Предприятие выпускает трубы, предназначенные для закладки в землю, в соответствии с некоторыми ТУ (Техническими условиями). Продукция этим ТУ соответствует, но поступил заказ, предполагающий укладку труб по дну моря. Могут ли трубы, соответствующие имеющимся ТУ, быть применены в данном случае? Именно валидация и дает ответ на этот вопрос.
Нетрудно видеть, что еще одно отличие состоит в том, что верификация производится всегда, а вот необходимость в валидации может и отсутствовать. Она появляется только тогда, когда возникают требования, связанные с конкретным применением продукции. Если фармацевтический завод выпускает лекарства, то он будет проверять лишь их соответствие требованиям, а проблемами применения конкретных лекарств конкретными пациентами заниматься не будет

Таким образом, можно констатировать следующее:
верификация — проводится практически всегда, выполняется методом проверки (сличения) характеристик продукции с заданными требованиями, результатом является вывод о соответствии (или несоответствии) продукции,
валидация — проводится при необходимости, выполняется методом анализа заданных условий применения и оценки соответствия характеристик продукции этим требованиям, результатом является вывод о возможности применения продукции для конкретных условий.

Стандарт ISO 9001:2000 в двух местах обращается к этим терминам.
«7.3.5. Верификация должна осуществляться в соответствии с запланированными мероприятиями (п. 7.3.1), чтобы удостовериться, что выходные данные проектирования и разработки соответствуют входным требованиям…».
«7.3.6. Валидация проекта и разработки должна осуществляться в соответствии с запланированными мероприятиями (п. 7.3.1), чтобы удостовериться, что полученная в результате продукция соответствует требованиям к установленному или предполагаемому использованию, если оно известно. Где это практически целесообразно, валидация должна быть завершена до поставки или применения продукции…».

При этом хотелось бы обратить внимание на то, что в п. 7.3.5 говорится о соответствии выходных данных, а в п. 7.3.6 — продукции. Это существенно! Это означает, что валидация проводится не для выходных данных, а для разработанной под конкретные условия продукции. Скажем, в деятельности института по разработке типовых проектов жилых зданий валидация не требуется — только верификация. А вот для деятельности по разработке проекта строительства жилого здания по тому же типовому проекту, но в конкретном месте, валидация уже необходима.

«7.5.2. Валидация процессов производства и обслуживания. Организация должна подтверждать все процессы производства и обслуживания, результаты которых нельзя проверить посредством последовательного мониторинга или измерения. К ним относятся все процессы, недостатки которых становятся очевидными только после начала использования продукции или после предоставления услуги. Валидация должна продемонстрировать способность этих процессов достигать запланировать результатов…».
Также можно встретить и такое определение:
Валидация подтверждает, что «вы создали правильный продукт», а Верификация подтверждает, что «вы создали продукт так, как и намеревались это сделать».

Практическое применение понятий Валидация и Верификация
Думаю не лишним будет сказать, что отказ от приемки выполненных работ может быть как после этапа Верификации, так и после Валидации. Причем отказ после Валидации более страшный т.к. нужно заново собирать требования к качеству и проделывать большую часть работы заново. Как вариант отказа от приемки работ после Валидации – когда продукт работ потерял актуальность для заказчика. Т.е. он нашел, как решить проблему другими методами.

На практике отличие Валидации от Верификации имеет огромное значение. С точки зрения заказчика можно Верификацию делегировать исполнителю, а на себе оставить только Валидацию. С точки зрения исполнителя нужно не только определить параметры качества, по которым будет приниматься работа (проходить Верификацию), а еще убедиться что выполнение работы решит озвученную заказчиком проблему (есть возможность пройти Валидацию).

Приемочное тестирование или Приемо-сдаточное испытание (Acceptance Testing)
Формальный процесс тестирования, который проверяет соответствие системы требованиям и проводится с целью:
определения удовлетворяет ли система приемочным критериям;
вынесения решения заказчиком или другим уполномоченным лицом принимается приложение или нет.
Приемочное тестирование выполняется на основании набора типичных тестовых сценариев, разработанных на основании требований к данному приложению.
Решение о проведении приемочного тестирования принимается, когда:
продукт достиг необходимого уровня качества;
заказчик ознакомлен с Планом Приемочных Работ (Product Acceptance Plan) или иным документом, где описан набор действий, связанных с проведением приемочного тестирования, дата проведения, ответственные и т.д.
Фаза приемочного тестирования длится до тех пор, пока заказчик не выносит решение об отправлении приложения на доработку или выдаче приложения.

Понятие дымовое тестирование пошло из инженерной среды: "При вводе в эксплуатацию нового оборудования ("железа") считалось, что тестирование прошло удачно, если из установки не пошел дым."
В области же программного обеспечения, дымовое тестирование рассматривается как короткий цикл тестов, выполняемый для подтверждения того, что после сборки кода (нового или исправленного) устанавливаемое приложение, стартует и выполняет основные функции.
Вывод о работоспособности основных функций делается на основании результатов поверхностного тестирования наиболее важных модулей приложения на предмет возможности выполнения требуемых задач и наличия быстронаходимых критических и блокирующих дефектов. В случае отсутствия таковых дефектов дымовое тестирование объявляется пройденным, и приложение передается для проведения полного цикла тестирования, в противном случае, дымовое тестирование объявляется проваленным, и приложение уходит на доработку.
Аналогами дымового тестирования являются Build Verification Testing и Acceptance Testing, выполняемые на функциональном уровне командой тестирования, по результатам которых делается вывод о том, принимается или нет установленная версия программного обеспечения в тестирование, эксплуатацию или на поставку заказчику.
Для облегчения работы, экономии времени и людских ресурсов рекомендуется внедрить автоматизацию тестовых сценариев для дымового тестирования.

Тестирование сборки или Build Verification Test
Тестирование направленное на определение соответствия, выпущенной версии, критериям качества для начала тестирования. По своим целям является аналогом дымового тестирования, направленного на приемку новой версии в дальнейшее тестирование или эксплуатацию. Вглубь оно может проникать дальше, в зависимости от требований к качеству выпущенной версии.

Санитарное тестирование или проверка согласованности/исправности или Sanity Testing
Санитарное тестирование - это узконаправленное тестирование достаточное для доказательства того, что конкретная функция работает согласно заявленным в спецификации требованиям. Является подмножеством регресионного тестирования. Используется для определения работоспособности определенной части приложения после изменений произведенных в ней или окружающей среде. Обычно выполняется вручную.
Отличие санитарного тестирования от дымового (Sanity vs Smoke testing)
В некоторых источниках ошибочно полагают, что санитарное и дымовое тестирования - это одно и тоже. Эти виды тестирования имеют "вектора движения", направления в разные стороны. В отличии от дымового (Smoke testing), санитарное тестирование (Sanity testing) направлено вглубь проверяемой функции, в то время как дымовое направлено вширь, для покрытия тестами как можно большего функционала в кратчайшие сроки.

В конце разработки продукта необходимо оценить насколько он готов к использованию пользователями. Этому может помочь список критериев, по которому можно оценить готовность продукта. Этот список может меняться, так как он зависит не только от самого продукта, но и от процесса разработки.
Баги (Failures)
оценить соотношение количества дефектов, которые остаются после триажа, к общему количеству открытых багов;
критичность и важность багов, которые перенесли на следующую версию;
критичность багов, обнаруженных за последние недели перед релизом;
плотность дефектов, количество дефектов на количество измененных строк кода;
тренд по открытым багам за месяц до релиза;
соотношение обнаруженных и исправленных дефектов;

Код (Functionality)
code churn rate in time — частота изменений в коде перед релизом;
какая часть фич, запланированных в начале разработки, была реализована?
ревью чейнджлогов — есть ли изменения в коде, которые не являются исправлениями багов и требуют отдельного тестирования?
Фичи продукта (Features)
% покрытия запланированными ручными и автоматическими тестами;
количество непроверенных багов по каждой фиче;
результаты измерения производительности в сравнении с аналогичными продуктами или предыдущими версиями;
готовность автотестов, сколько фич тестировалось без автоматических тестов;
покрытие кода для старого фукнционала и новых фич тестами;
количество циклов тестирования;
ревью тестпланов для новых фич;

Отзывы по использованию (Feedback)
% нового функционала, проверенного програм-менеджером (или человеком, который непосредственно общается с будущими пользователями);
отзывы пользователей, принимавщих участие в бета-тестировании;
отзывы отдела продаж;
используется ли продукт сотрудниками компании;
мнение ключевых людей, принимавших участие в выпуске продукта, о готовности продукта.

Error: This is cause due to human actions like code is not following the standard, there is some mistake in syntax, or there is mistake in variable or might be there is some mistakes in which database connectivity code is faulty. These all are counted as Error.
Defect: Defect is formal name of bug and if we are tester than we would be familiar with Bug. Defects may occurs due to errors(Mistakes in code or document) that cause deviation from actual result. Once a tester find error then this is called defect and when this is acknowledge by Developer or Design team along with Manager this become Bug.
Failure: Failure are caused by environment or sometime due to mishandling of product. Suppose we are using a compass just beside a current running wire then this will not show the correct direction and this is not helping in getting the right information from the product. In the same way radiation, magnetism, Electronic field. These things not only have impact on product but also impacts its hardware also.
In other way when a defect is found by end-user then this is called failure.