Решение задач BI и BAM на платформе InterSystems Ensemble

Мониторинг бизнес активности
Эволюция бизнес-аналитики
Мониторинг бизнес-активности
InterSystems Ensemble и BI

Поддержка принятия решения
У Вас в транзакционной (OLTP)
информационной системе
есть данные:
1 миллион записей о банковских транзакциях
или 2 миллиона записей о посещении Web-сайтов
или 5 миллионов записей о телефонных звонках
или …
Это ДАННЫЕ, но это не ИНФОРМАЦИЯ

Данные против Информации

Классическая архитектура построения аналитических систем
Приложение 1
Приложение 2
Операции чтения/записи над базой данных
Периодическое пополнение содержимого хранилища данных
Информационные запросы
Хранилище данных
Операционная база данных
Операции чтения/записи над базой данных
Система поддержки принятия решений

Два типа информационных систем
OLTP
Business
Intelligence

Системы поддержки принятия решений (DSS)
Хранилища данных (Data Warehouse)
OLAP
Data Mining
Средства построения отчетов

Хранилища данных
Предметная ориентированность
Интегрированность
Неизменчивость
Поддержка хронологии

On-Line Analytical Processing (OLAP)
Тест FASMI
Fast
Analysis
Shared
Multidimensional
Information

История систем бизнес-аналитики
Генераторы отчетов
Информационные системы для руководителей
1980 -1990
1992
OLAP
1994
Хранилища и витрины данных
1996
Мониторинг бизнес-активности
Data Mining

Мониторинг бизнес активности
Эволюция бизнес-аналитики
Мониторинг бизнес-активности
InterSystems Ensemble и BI

Мониторинг бизнес-активности
Концепция мониторинга бизнес-активности была предложена аналитической компанией Gartner
Gartner определяет мониторинг бизнес-активности как концепцию предоставления доступа в режиме реального времени к наиболее важным индикаторам производительности бизнеса с целью увеличения скорости и эффективности бизнес-операций

Мониторинг бизнес-активности
Ключевое понятие – событие
Примеры событий
Коммерческая сделка
Появление нового заказа
Приземление самолета
Аварийная ситуация на производстве

Мониторинг бизнес-активности

Эволюция систем
мониторинга бизнес-активности
Первое поколение систем мониторинга бизнес-активности обеспечивает «захват» бизнес-событий, обрабатывает эти события и предоставляет информацию пользователям на специальных инструментальных панелях. Бизнес события извлекаются из различных приложений и источников данных, затем фильтруются, объединяются со связанной информацией и преобразуются для формирования информации для пользователей
Следующий этап развития мониторинга бизнес-активности позволяет пользователям не только получать информацию о событиях на предприятии, но и осуществлять «ответные действия», влияющее на работу предприятия, на основании полученной информации
Дальнейшее развитие – это предсказывающий и адаптивный мониторинг бизнес-активности, который позволяет предоставить пользователю информацию с несколькими возможными вариантами ответных действий, что позволяет оптимизировать бизнес-процессы в реальном времени

Мониторинг бизнес-активности
Инструментальные средства для решения задачи мониторинга бизнес-активности:
Средства интеграции корпоративных приложений (Enterprise Application Integration) для «захвата» событий в любом приложении и источнике данных на предприятии
Системы интеграции корпоративной информации (Enterprise Information Integration) для извлечения контекста событий из разнообразных источников данных
Аналитические средства для анализа событий и исторических данных в реальном времени
Портальные решения для представления информации пользователям
Системы управления бизнес-процессами, которые позволяют пользователям, используя полученную информацию, влиять на выполнение бизнес-процессов на предприятии

Мониторинг бизнес-активности
и бизнес аналитика
Хранилища данных и OLAP
Не подходят для анализа событий в режиме «реального» времени
Мониторинг бизнес-активности
Не подходит для сложного анализа исторических данных
Мониторинг бизнес-активности дополняет традиционные приложения бизнес аналитики

Мониторинг бизнес-активности
Эволюция бизнес аналитики
Мониторинг бизнес-активности
InterSystems Ensemble и BI

InterSystems Ensemble
InterSystems Ensemble

Единая архитектура
Хранение
Управление
Разработка
InterSystems Ensemble:
Интеграционный сервер
СУБД
Сервер приложений
Платформа для портальных решений
Объединение технологий в рамках Ensemble
Общее хранение метаданных и данных,
общие средства разработки и администрирования

Ensemble для бизнес-аналитики
Ensemble – платформа для создания хранилищ данных
Ensemble предоставляет инструменты ETL
В Ensemble встроена объектная СУБД с поддержкой SQL
Высокая производительность
Быстрый SQL
Bitmap-индексыBitmap-индексы, BitSlice-индексы, полнотекстовый поиск
Возможность создавать собственные механизмы индексирования
Компактное хранения данных
Поддержка многопроцессорных и многосерверных конфигураций
Высокая надежность
Реляционные и объектные интерфейсы к данным

Подсистема мониторинга
бизнес-активности в Ensemble
Хранилище сообщений
в реальном времени
Компоненты
для мониторинга
бизнес-активности
Мониторинг и «ответные действия»
+ Внешние источники
данных

Мониторинг бизнес-активности в InterSystems Ensemble
В Ensemble встроено хранилище - высокопроизводительная объектная СУБД с поддержкой SQL, предназначенная для хранения метаданных, сообщений, состояний бизнес-процессов, данных композитных приложений.
Хранилище сообщений – один из основных источников информации о бизнес-событиях
Реляционный, объектный и прямой доступ к хранилищу из генераторов отчетов, OLAP и Data Mining

Мониторинг бизнес-активности в InterSystems Ensemble
Бизнес-метрики – специальные службы, которые собирают или вычисляют значения одной или нескольких метрик (например, KPI)
Инструментальные панели (Dashboards) –
Web-страницы, предназначенные для показа в режиме реального времени значения одной или нескольких метрик с помощью специальных графических компонент Ensemble
Возможность реализовать «ответные действия» на основании полученной информации

Бизнес-метрики Ensemble
Класс бизнес-метрик Ensemble содержит свойства - бизнес-метрики и метод, вычисляющий значения этих метрик
Метод, вычисляющий значения бизнес-метрик, запускается автоматически через заданный промежуток времени
Метод может содержать:
Обращение к интегрированным внешним приложениям
SQL-запрос по данным в Ensemble. Например, выбор информации из сообщений
Запуск расчетного алгоритма
Запуск бизнес-процесса Ensemble («ответное действие»)
Результаты вычислений помещаются в высокопроизводительный кэш, используемый инструментальными панелями и другими компонентами отображения информации

Инструментальные панели
Инструментальная панель (Dashboard) – это Web-страница, на которой с помощью одного или нескольких графических компонент показываются значения бизнес-метрик
Ensemble предоставляет набор готовых графических компонент: спидометр, светофор, диаграммы и т.д.
Компоненты реализованы с помощью Structured Vector Graphics (SVG). Установка дополнительных ActiveX или Java компонент не требуется

Компоненты Ensemble для создания инструментальных панелей

Компоненты для отображения аналитической информации в ZEN

Инструментальные панели
Инструментальные панели доступны в Ensemble Management Portal
Инструментальные панели
можно встраивать
в Web-приложения
У инструментальной панели
есть URL, по которому
можно к ней обратиться
DrillDown – можно открыть
подготовленный отчет
с уточняющей
информацией

Создание решений мониторинга
бизнес-активности в Ensemble
Определяем интересующие заказчика метрики
Создаем класс со свойствами-метриками и методом, который вычисляет их значения
Создаем инструментальную панель, используя готовые компоненты Ensemble
Встраиваем инструментальную панель в приложение (или просматриваем её в Ensemble Management Portal)

Практический опыт
Элементы BAM присутствуют в большинстве интеграционных проектов на InterSystems Ensemble
На InterSystems Ensemble реализовано ряд проектов, где задачи BI и BAM имеют первостепенное значение

Заключение
Мониторинг бизнес-активности – новое направление аналитических систем
Мониторинг бизнес-активности дополняет традиционные решения бизнес аналитики
InterSystems Ensemble – платформа для создания решений для бизнес-аналитики, в том числе решений для мониторинга бизнес-активности

Решение задач BI и BAM на платформе InterSystems Ensemble
Вадим Федоров
[email protected]
www.intersystems.ru
[phone]

BitMap-индексы. Что это такое?
BitMap индекс – это тип индекса, который показывает удовлетворяет ли каждая запись некоторому условию
Условие бинарное
Пациент – мужчина
Сумма заказа - 33 руб.
Город – Архангельск
День заявки - Понедельник

Типы индексов
Традиционные индексы
BitMap-индексы

BitMap-индексы
0 0 1 0 1 1 0 0 1 0 1 0 1 1 0 0 1
Пол - мужской
Пол - женский
1 1 0 1 0 0 1 1 0 1 0 1 0 0 1 1 0
Условия
0 0 1 0 1 1 0 0 1 0 1 0 1 1 0 0 1
Город - Киев
Возраст 25 лет
1 0 0 1 0 1 0 1 0 1 0 1 0 0 0 1 0
1 2 3 4 5 6 7 8 9 10
Записи
50 000 000

Как можно применять BitMap-индексы?
Поиск и подсчет записей в очень больших таблицах
Поиск записей, удовлетворяющих сложным логическим условиям

BitMap-индексы в Caché
Index HC on HairColor [type=bitmap];
Index CS on (State,City) [type=bitmap];
Любой неуникальный индекс может быть Bitmap индексом
Специальный Extent индекс отражает существование записи

Реализация Bitmap индексов в Caché и Ensemble
Надежность: Реализованы на уровне ядра СУБД
Производительность: Bitmap-операции атомарные
Производительность: Оптимизация журналирования
Масштабируемость: Используется компрессия Bitmap-индексов
Гибкость: Возможность использования Bitmap-функций разработчиками

BitSlice-индексы
Задача
Пока мы использовали Bitmap-индексы для подсчета записей
Сколько человек живет в Киеве?
Хотелось бы быстро подсчитывать итоговые и средние значения
На какую сумму были выставлены счета какой-либо группе людей ?
Какой средний размер счета выставлялся конкретному человеку ?

BitSlice-индексы
Концепция
Возьмем числовое значение (например, поле счет человека)
Переведем его в двоичное представление
Построим условие для каждого бита

BitSlice-индексы
Пример
У Человека №1 счет $27 (11011)
У Человека №3 счет $17 (10001)
1 0 1 0 1 1 0 0 1 0 1 0 1 1 0 0 1
2.Пол - мужской
3.Bill бит 5
1 1 1 1 0 0 1 1 0 1 0 1 0 0 1 1 0
Условия
1 0 0 0 1 1 0 0 1 0 1 0 1 1 0 0 1
4.Bill бит 4
5.Bill бит 3
0 0 0 1 0 1 0 1 0 1 0 1 0 0 0 1 0
1 2 3 4 5 6 7 8 9 10
Записи
50 000 000
1 0 0 0 1 1 0 0 1 0 1 0 1 1 0 0 1
6.Bill бит 2
7.Bill бит 1
1 0 1 1 0 1 0 1 0 1 0 1 0 0 0 1 0

BitSlice-индексы
Как подсчитать все счета мужчин ?
(условие2 AND условие3)*16 + (условие2 AND условие4)*8 + (условие2 AND условие5)*4 + …
1 0 1 0 1 1 0 0 1 0 1 0 1 1 0 0 1
2.Пол - мужской
3.Bill бит 5
1 1 1 1 0 0 1 1 0 1 0 1 0 0 1 1 0
Условия
1 0 0 0 1 1 0 0 1 0 1 0 1 1 0 0 1
4.Bill бит 4
5.Bill бит 3
0 0 0 1 0 1 0 1 0 1 0 1 0 0 0 1 0
1 2 3 4 5 6 7 8 9 10
Записи
50 000 000
1 0 0 0 1 1 0 0 1 0 1 0 1 1 0 0 1
6.Bill бит 2
7.Bill бит 1
1 0 1 1 0 1 0 1 0 1 0 1 0 0 0 1 0

Проект в Красноярском крае
Московский филиал InterSystems International Corporation являлся генеральным подрядчиком по лотам 1, 2 и 4 Краевой программы «Информатизация Красноярского края на 2004-2006 годы» и выполнял следующий работы:
Создание системы ведения единых территориальных справочников и классификаторов (АИС ЕС, лот №1)
Разработка централизованного хранилища данных и регистра информационных ресурсов Единой краевой информационной системы (АИС ИР, лот №2)
Развитие краевой системы электронного обмена и сбора данных (АССД, лот №4)

Проект в Красноярском крае - результаты
Разработана базисная технология для интеграции информационных систем, используемых в администрации края
Создано централизованное хранилища данных для получения агрегированных данных по согласованным форматам из витрин данных департаментов и агентств администрации или первичных данных из ведомственных информационных систем, а также для централизованного ведения НСИ
Создана технология, позволяющая, на базе существующих ИС, расширять круг решаемых в администрации задач, в т.ч. осуществлять мониторинг критичных показателей
Все эти задачи были решены в рамках единого интегрированного решения (АИС KrAI), построенного на базе платформы для интеграции и разработки приложений InterSystems Ensemble

Аналитическая информационная система KrAI