ТЕХНИКО-ЭКОНОМИЧЕСКИЕ ВОПРОСЫ РЕГРЕССИОННОГО ФУНКЦИОНАЛЬНОГО И НАГРУЗОЧНОГО ТЕСИРОВАНИЯ ПРИ СОПРОВОЖДЕНИИ И ЭКСПЛУАТАЦИИ АВТОМ

Содержание презентации
Краткая характеристика АБС
Понятие целостности АБС
Планирование контроля целостности
Проблема и способ решения
Понятие уровня целостности АБС
Уровни целостности на практике
Оптимизация функционального тестирования
Регрессионное нагрузочное тестирование
Оценка эффективности планирования
Итоги работы

Краткая характеристика АБС
Visa
MasterCard
American Express
Сберкарт

Краткая характеристика АБС
Платежная система для КО/ОК
10 000 платежей в минуту в часы пик
2 500 000 платежей в день

Исходя из назначения и особенностей функционирования, АБС можно отнести к сложным банковским экономическим системам.
Краткая характеристика АБС

Понятие целостности АБС
ГОСТ Р ИСО/МЭК 14764-2002 «Информационная технология. Сопровождение программных средств» - методологическая основа процесса сопровождения АБС
Цель процесса сопровождения
Внесение изменений в АБС при сохранении её целостности
целостность
Функциональная целостность
Целостность характеристик производительности

Понятие целостности АБС
Этапы процесса сопровождения

Понятие целостности АБС
Под целостностью понимается такое состояние АБС, при котором в ее программно-аппаратном обеспечении отсутствуют изменения, способные в ходе эксплуатации привести к негативным последствиям

Планирование контроля целостности
Ключевая задача - качественное планирование контроля целостности
Этап проверки и приемки версии АБС
Планирование контроля целостности
Проведение контроля целостности
Оценка эффективности контроля целостности

Планирование контроля целостности
Суть планирования заключается в определении:

Проблема и способ решения
Статистика по выпуску заданий на изменение АБС
Статистика по заявкам на доработку от пользователей

на контроль целостности отводится
не более 5-7 дней
Проблема и способ решения
Статистика по выпуску версий АБС

Перечень проверяемых требований
Проблема и способ решения
Перечень требований для тестирования версии АБС должен удовлетворять следующим условиям:
в результате проверки требований из перечня целостность АБС обеспечивается
проверка всех требований из перечня имеющимися ресурсами возможна

Этапы решения задачи построения перечня требований:
Проблема и способ решения

Матрица РИСКА
Понятие уровня целостности АБС
Величина вероятности
Степень опасности

Понятие уровня целостности АБС
Требования к АБС
Уровень целостности
I
Уровень целостности
II
Уровень целостности
III

Уровни целостности на практике
Требования к АБС
i-1
i
i+1
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Требования
уровня
целостности I
Требования
уровня
целостности II
Требования уровня
целостности III

Оптимизация функционального тестирования
высокая трудоемкость автоматизации проверки наиболее критичных функций АБС
Проблемы автоматизации функциональных тестов
Применение средств автоматизации
высокая частота вносимых в АБС изменений

Оптимизация функционального тестирования

Регрессионное нагрузочное тестирование (PHT)
Цель PHT: выявить деградацию характеристик производительности в модифицированной АБС
Требование к PHT: результаты тестирования должны быть адекватны результатам, получаемым при эксплуатации АБС

Регрессионное нагрузочное тестирование
тест
эксплуатация
i версия
i + 1 версия
i версия
i + 1 версия
i + 2 версия
Проблема адекватности результатов

Требования к АБС
i-1
i
i+1
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Регрессионное нагрузочное тестирование
Требования
уровня
целостности I
Требования
уровня
целостности II
Требования
уровня целостности III
Реализация плана РНТ всех уровней

i – N версия
Оценка эффективности планирования
Проблема оценки эффективности
i план
i версия
i + 1 план
i – 1 версия
i версия
Ошибка при эксплуатации

Оценка эффективности планирования
Для каждой версии АБС данные заносятся в таблицу
В основе оценки эффективности лежит сравнение количества ошибок, выявленных при контроле целостности, с количеством ошибок, выявленных при эксплуатации

Оценка эффективности планирования
Эффективность оценивается по таблице

Оценка эффективности планирования
Оценка неясного результата
Соотношение количества ошибок, выявленных при контроле целостности к общему количеству ошибок для i версии АБС
Соотношение количества ошибок, выявленных при контроле целостности и к общему количеству ошибок для всех версии АБС
≥
неясно хорошо
Y
Х
<
неясно плохо

Оценка эффективности планирования
Для каждой версии АБС заполняется таблица
Правила заполнения:
Для каждой версии относительно предыдущей (для первой версии таблица не заполняется) оценивается эффективность планирования контроля целостности. Если результат тестирования версии оценивается как «хорошо» или «неясно хорошо», то в соответствующем столбце к предыдущему результату прибавляется 1 (единица), а в столбце «плохо» значение остается без изменения и наоборот, если «плохо» или «неясно плохо», то в соответствующем столбце к предыдущему результату прибавляется 1 (единица), а в столбце «хорошо» значение остается без изменения
По столбцу «хорошо - плохо» (хорошо минус плохо) строиться график динамики эффективности планирования контроля целостности системы. Увеличение значений по столбцу оси Y говорит о положительной динамике, уменьшение – об отрицательной.

Оценка эффективности планирования
График эффективности планирования контроля целостности

Итоги работы