Опыт и результаты апробации инфраструктурных решений в рамках программы импортозамещения

Опыт организации тестирования - выводы
Опыт СО показывает, что необходим «системный подход» при организации тестирования и апробации продуктов, решений и технологий в целях импортозамещения. Под «системным подходом» мы понимаем совокупность взаимоувязанных по времени и др. ресурсам, мероприятий, для эффективного достижения поставленных задач.
Вывод №1
Деятельность по тестированию и апробации нужно планировать, как минимум в среднесрочной перспективе, на временном горизонте 1 год и выделять необходимые, прежде всего человеческие ресурсы. Решения о тестировании или апробации решений, продуктов и технологий не должны, по возможности, приниматься оперативно и делаться в рамках текущей эксплуатации.
Вывод №2
Должна быть единая методика и система оценки (по крайней мере в одной компании, холдинге) продуктов, решений и технологий при тестировании или апробации.
Вывод №3
Должна быть единая, понятная форма отчета о тестировании или апробации, как минимум в рамках одной компании, для отражения вех необходимых сведений, в первую очередь для руководителей ИТ, занимающихся импортозамещением, для принятия взвешенных, обоснованных управленческих решений о применении того или иного продукта в компании.

Отчет о тестировании - первая страница
В Системном операторе введены две оценки тестируемого продукта «Интегральный индекс пригодности» - показатель, который в процентном отношении показывает возможность использования тестируемого продукта в компании и «Оценка локализации», которая показывает действительно продукт производства РФ или нет.
Фактически так называемая «форма отчета» или «шаблон отчета» - это и есть методика тестирования с требованиями по оформлению и представлению результата.
Резюме - это сжатое описание результата для руководителей.
Первая страница отчета разработана так, чтобы в сжатом виде дать максимум информации руководителю.

Отчет о тестировании – этапы тестирования

Отчет о тестировании – функциональное тестирование
Настоящая методика описывает последовательность действий и ожидаемые результаты при тестировании <НАЗВАНИЕ ОБЪЕКТА ТЕСТИРОВАНИЯ>. Для проверки работы <НАЗВАНИЕ ОБЪЕКТА ТЕСТИРОВАНИЯ> сотрудник, проводящий тестирование, последовательно выполняет описанные в методике операции и отслеживает результат их выполнения. В таблицах, расположенных ниже, представлены контрольные задания тестирования (тестов).
Каждый тест состоит из следующих частей:
Номер теста. (Порядковый номер теста)
Название теста. (Название отражает тестируемую функциональную возможность)
Цель теста. (Цель проведения теста, связанная с проверкой функционирования определенных модулей, компонентов, функций и т.п.)
Начальное состояние. (Описывается состояние оборудования и конфигурации программного обеспечения перед началом теста)
Задача. (Под задачей понимается одна или более операций над тестируемым объектом или его составляющими, выполняемая сотрудником.)
Для наглядности и удобства проведения тестирования тесты сгруппированы в этапы и оформлены в таблицы.
Методика тестирования
Методика тестирования базируется на том, что по видам оборудования или программного обеспечения, которые планируется тестировать подготовлены наборы функциональных тестов, которые последовательно выполняются и результаты каждого теста фиксируются в протоколе.

Пример функционального теста

Расчет «Индекса пригодности»
Алгоритм расчета Индекса Пригодности представляет собой средневзвешенное значение всех оценок функциональных тестов продукта.
где:
ИП - индекс пригодности тестируемого продукта\решения\технологии;
Vj - результат оценки функционального теста;
Wj - весовой коэффициент функционального теста;
n - количество функциональных тестов.
Возможные оценки функционального теста:

Форма отчета - Оценка локализации
Оценка локализации (в целях импортозамещения) производится экспертно и может содержать только следующие значения:

Форма отчета – «Стоп фактор»
Под СТОП-ФАКТОРОМ понимается, что требуемая ключевая характеристика <Объекта тестирования>, без которой его использование в организации, проводящей тестирование, становиться практически бессмысленным, не реализована.
СТОП-ФАКТОР может быть выявлен на любом этапе тестирования (ключевая характеристика может быть функциональной, стоимостной, относиться к варианту исполнения, наличию документации и т.д. и т.п.), после чего дальнейшее тестирование, расчет Индекса Пригодности и Оценка Локализации не проводятся. На странице №1 в этом случае на красном фоне (в текущей цветовой гамме) в поле Индекс Пригодности и Оценка Локализации пишется слово «СТОП-ФАКТОР».
СТОП-ФАКТОР может быть набором характеристик, когда требуется реализация всей совокупности набора характеристик <Объекта тестирования> (объединение через «И») или перечнем ключевых характеристик, не выполнение одной из которых ведет к прекращению тестирование (объединение через «ИЛИ»)

Технологическая карта

Спасибо за внимание

Форма отчета - Цели и задачи тестирования
Здесь приводиться цель(и) тестирования и фактически, укрупненное описание действий в виде перечня задач, которые следует выполнить в процессе тестирования.
Пример
Целями данного тестирования являются:
Оценка возможности применения <Объекта тестирования> в инфраструктуре Компании.
Проверка работы функционала <Объекта тестирования>.
В процессе тестирования будут решены следующие задачи:
Визуальный осмотр и проверка возможности и удобства монтажа <Объекта тестирования>.
Прохождение первоначальной процедуры включения комплекса и базового обновления системного ПО <Объекта тестирования>.
Функциональная проверка <Объекта тестирования>.
Оценка стоимости <Объекта тестирования>.
Оценка локализации <Объекта тестирования>.