Моделирование систем. Оценка производительности (эффективности) компьютерных систем и сетей

1. Performance Modeling and Design of Computer Systems:
Published: February 2013. Publisher: Cambridge University Press
2. Discrete System Simulation University of Washington
3. SIMULATION AND MODELING Virginia Polytechnic Institute and State University
4. Performance Evaluation of Computer Networks: Theory and Practice
Graduate School of Information Science & Technology, Osaka University, Japan
5. Performance Evaluation of Computer Systems
Department of Computer Science , York University USA
6. PERFORMANCE MODELLING
The university of Edinburgh, School of informatics
7. Analytical performance modeling for computer systems, second edition synthesis lectures on computer science. National university of Singapore
8. Performance Evaluation of Computer Systems and Networks
Indian Institute of Technology, Bombay

Литература
Горбачев В.А., Волк М.А. Технологии моделирования систем. ХНУРЭ 2018 (издательство СМИТ, ХНУРЕ)
Горбачев В.А. Технологии моделирования систем. ХНУРЭ, 2005(библиотека, ХНУРЕ)
Горбачов В.О. Технології моделювання систем. ХНУРЕ, 2005 (укр.) (библиотека, ХНУРЕ)
Горбачев В.А., Иванисенко И.Н. Лабораторный практикум по курсу моделирование систем. ХНУРЕ, 2017 (укр., русск.)
Томашевський В.М. Моделювання систем. –К.: Видавнича група BHV, 2005. – 352с.: іл..
Література до GPSS

Структура курса
Часть 1. Аналитическое моделирование.
Гл. 3 (МП), Гл. 4 (СМО) и
Гл. 5 Математические модели компьютерных систем и сетей (ОА).
Часть 2. Имитационное моделирование.
Глава 5 (Моделирование Случайных Величин) и
Глава 6 (Имитационное Моделирование).
General purpose System Simulation (GPSS)
1. 30ч. – лк;
2. 10ч - пз;
3. 8ч – лб.
4. 6ч – конс.

ЛК
1. Будут даваться в сокращенном варианте
2. Настоятельная рекомендация иметь учебное пособие

ПЗ
Практические занятия посвящены разделу Аналитическое моделирование.
Настоятельная рекомендация (требование) иметь учебное пособие

ЛР
Лабораторные работы посвящены разделу
Имитационное моделирование. Изучается применение имитационной система GPSS (General Purpose Simulation System).
Методические материалы.
1. Дистрибутив GPSS
(практически это файл с расширением .exe, который нужно только активировать )
2. Лабораторный практикум по курсу моделирование систем (электронная версия)
Примечание. Время, отведенное для ЛР, можно использовать для консультаций и сдачи л.р.

Для оперативного взаимодействия, старосты на мой электронный адрес
[e-mail]
высылают свои:
1. Группа, Ф.И.О.
2. электронный адрес
3. моб. телефон

Введение
Концепция оценки эффективности систем

Что такое эффективность системы?
Тип системы - клиент-серверная система или СМО (системы массового обслуживания). Например, компьютерные системы, сети, Web приложения
(booking.com), ОС, СТО, гостиница, парикмахер, кассир и т.д.
Эффективность системы это ее соответствие заявленным функциям — это свойство системы выполнять поставленную цель или заявленные функции ( с точки зрения пользователей)
Цель оценки эффективности – определение степени ее соответствия заявленным функциям.
Степень соответствия оценивается критериями эффективности

Причины для исследования эффективности
1. Выявление узких мест в существующих системах и разработка улучшений.
2. Для планирования мощности: например, сколько ресурсов следует потратить, чтобы получить желаемый уровень качества обслуживания?
3. Для сравнения производительности систем, алгоритмов и протоколов; например, учитывая два протокола, какой из них лучше и в каком отношении?
4. Для проверки заявленных параметров разработчиками продуктов и производителями или поставщиками услуг; например может ли провайдер интернет-услуг гарантировать определенную минимальную пропускную способность, как обещал?
5. Для прогнозирования производительности при будущих рабочих нагрузках.

Критерии эффективности
Критерий эффективности - это величина, которая точно отражает степень качества выполнения системой той или иной функции. Нет общего определения критерия эффективности: он зависит от рассматриваемой системы, и его определение требует хорошего понимания системы и ее пользователей.
Пользователей клиент-серверных систем (ИТ-услуг) обычно не интересуют такие показатели, как коэффициент использования (загрузка) процессора, конкуренция за память, время безотказной работы маршрутизатора и другие, подобного рода, показатели производительности системы. Конечные пользователи хотят знать, насколько хорошо работает система и могут ли они выполнить свою работу вовремя. Пользователи воспринимают системные услуги с помощью критериев эффективности, таких как время ответа, доступность, надежность, безопасность и стоимость. Поэтому мы будем иметь дело в основном с критериями, связанными с качеством услуг (QoS), предоставляемых системой.

Пример для демонстрации необходимости применения методов оценки эффективности системы

Глобальная сеть (Wide Area Networks )

Показатели эффективности
Для отдельного узла (маршрутизатора) сети
Пропускная способность
Среднее число пакетов в узле
Среднее время ожидания пакета в узле
Вероятность потери пакетов в узле
Коэффициент использования узла
Для сети
Пропускная способность сети
Задержки в сети
Вероятность потери пакетов в сети
Прогноз показателей производительности сети
Поиск узких мест и их устранение

Вопросы, решение которых связано с критериями эффективности
Правильно ли спроектирована и рассчитана данная сложная система для заданных условий нагрузки?
Превышает ли пропускная способность системы 1000 транзакций (запросов) в секунду
Не дольше ли 2 секунд время ответа 90% транзакций ?
Может ли сервер обрабатывать не менее 70 000 сообщений в день
Какое время ответа системы?
Если и частота прибытия, и частота обслуживания удвоятся, останется ли среднее время ответа прежним?

Критерии производительности сети, связанные с качеством обслуживания (QoS)
Пользователи воспринимают системные службы (функции) через такие показатели эффективности, как
1.пропускная способность, (bandwidth)
2. производительность, (throughput),
3. время ответа, (response time),
4. коэффициент использования, (utilization),
5. доступность, (availability),
6.надежность, (reliability),

Производительность, (throughput),
Производительность - это то, сколько данных действительно (на самом деле) успешно проходит через «канал» за определенный промежуток времени (единицу времени). Также называется эффективной (реальной) скоростью передачи данных.
Производительность обычно измеряется в битах в секунду (bit/s or bps), а иногда и в пакетах данных в секунду (p/s или pps).

Пропускная способность (bandwidth)
Пропускная способность
- максимальный объем данных, который может проходить через «канал».
-максимальная производительность
Пропускная способность определяет потенциально возможный (теоретически возможный) объем данных, который должен быть передан за определенный период времени (единицу времени). Это пропускная способность сети / среды передачи данных. Пропускная способность может быть измерена в битах в секунду (bit/s), мегабитах в секунду (Mbps) и гигабитах в секунду (Gbps).
Оператор Интернета, обычно, заявляет пропускную способность

Разница между пропускной способностью и производительностью
Разница между пропускной способностью и производительностью:
реальная передача может быть ограничена разными факторами, включая задержку, потерю пакетов и используемый протокол. Таким образом, необходимо помнить, что высокая пропускная способность не гарантирует высокую производительность сети (устройства).

Примеры систем и соответствующие типовые показатели производительности
System Throughput Metric
Web Site HTTP requests/sec
Page Views per Second
Bytes/sec
E-commerce Site Web Interactions Per\ Second (WIPS)
Sessions per Second
Searches per Second
Router Packets per Second (PPS),
MB transferred per Second
CPU Millions of Instructions per Second (MIPS),
Floating Point Operations per Second (FLOPS)
Disk I/Os per Second
KB transferred per Second
E-mail Server Messages Sent Per Second

Производительность. Пример 1
Дано:
T: продолжительность периода наблюдения, T = 60 сек.
Ai: общее количество запросов на обслуживание к ресурсу i за период наблюдения T. Ai = 1800 транзакций
Ci: общее количество обработанных запросов ресурсом i за период наблюдения T. Ci = 1800 транзакций
Определить
Xi: пропускная способность (т.е. завершений в единицу времени) ресурса i;

Производительность. Пример 2
Дано: Предположим, что операция ввода-вывода на диске занимает в среднем 10 мсек. Если диск постоянно занят (т. е. его коэффициент использование составляет 100%), то он будет выполнять операции ввода-вывода непрерывно со скоростью одна операция ввода-вывода каждые 10 мс или 0,01 с.
Определить:
1.Какова максимальная производительность (или пропускная способность) диска?
2. Какова производительность, если скорость ввода запросов будет равна (или меньше) пропускной способности диска?
3. Что произойдет, если скорость ввода запросов превышает пропускную способность диска?

Время ответа
Время ответа в контексте клиент-серверных систем - это время, прошедшее между поступлением запроса в систему и ответом на этот запрос. Время ответа, используемое для измерения производительности системы, может относиться к запросам на обслуживание в различных технологиях.

Время ответа. Пример 3
На рисунке показаны три основных компонента времени ответа поискового запроса к сайту электронной коммерции: время браузера, время сети и время сервера.

Коэффициент использования
1. Коэффициент использования (обозначается U) - это отношение времени, в течение которого часть оборудования (например, процессор) используется, к общему времени (периоду наблюдения), в течение которого оно может использоваться. .
2. Коэффициент использования - это доля времени (обычно выражаемая в процентах), в течение которого часть оборудования или система находится в рабочем состоянии.
Umax =
Umin =

Вычисления коэффициента использования Пример 4
Временная диаграмма активности процессора
Дано:
T: продолжительность периода наблюдения,
RUNi периоды времени, когда процессор занят,
WAITi периоды времени, когда процессор простаивает.
Требуется.
Определить коэффициент использования процессора

Вычисления коэффициента использования Пример 5
Дано: Предположим, нужно напечатать 1 МБ информации. Объем памяти принтера - 128КБ. Это очевидно, что блок данных, который процессор передает на принтер, не может быть больше 128КБ.
Требуется:
Определите загрузку процессора во время операции ПЕЧАТЬ (ЗАПИСЬ)
U =?

Решение Пример 4
Чтобы продемонстрировать решение, мы будем использовать следующий рисунок:
а) взаимодействие процессора и принтера;
б) временная диаграмма взаимодействия.

Коэффициент доступности. Availability
Доступность определяется как доля времени, в течение которого
система находится в рабочем состоянии и доступна для клиентов.
Amax =
Аmin =

Вычисление коэффициента доступности. Пример 5
Дано: система доступна на 99,99% в течение тридцати дней.
Определить: как долго (в минутах) эта система будет недоступна в течение этого периода?

Вычисление коэффициента доступности. Пример 6
Cистема онлайн-бронирования зафиксировала периоды времени, в течение которых услуга была отключена, за последние два дня. Полученные результаты приведены в таблице
Определить коэффициент доступности сайта в течение двух дней

Надежность системы
Надежность системы - это вероятность (Pн) того, что она функционирует должным образом и непрерывно в течение фиксированного периода времени.
Pнmax =
Pнmin =

Подведем итоги:
1. Тип системы - клиент-серверная система или СМО
2. Эффективность системы это свойство системы выполнять поставленную цель или заявленные функции ( с точки зрения пользователей)
3. Цель оценки эффективности – определение степени ее соответствия заявленным функциям.
4. Степень соответствия оценивается с помощью критериев эффективности
5. Задача курса - анализ методов определения критериев эффективности

Методы определения коэффициентов эффективности
Три основных метода анализа (определения) коэффициентов эффективности:
аналитическое моделирование,
имитационное моделирование,
измерение,
Измерение - это наиболее фундаментальный метод, который требуется даже при анализе и моделировании для калибровки моделей. Измерения можно проводить аппаратно, некоторые - программно, а некоторые - гибридным способом.

РАЗДЕЛ 1.2 учебного пособия
Определим понятия:
Модель
Моделирование
Классификация моделей

Что такое модель?
Модель (лат. modulus мера) это объект-заменитель системы-оригинала, отдельные свойства ко­торого полностью или частично совпадают со свойствами исходного объекта. Модель заменяет исходный объект, сохраняя только некоторые, существенные свой­ства объекта. Какие свойства считать существенными, а какие — нет, опре­деляется целями моделирования.

Что такое моделирование?

Классификация моделей

Математические модели (аналитические и имитационные)