IBM Dynamic WarehouseНиколай Куликов[email protected]

3rd Generation
2nd Generation
1st Generation
Ясная, необходимая информация в Любом месте в Любое время
Помощь в раскрытии преступлений -предоставление необходимой информации в момент прибытия офицеров на место происшествия
Оптимизация работы полицейских
Статистика
преступлений

Dynamic Warehousing
A New Approach to Leveraging Information
Dynamic Warehousing
Традиционные
Хранилища

Dynamic warehousing
Традиционные
Хранилища
Больше примеров Dynamic Warehousing в действии
Аналитика и отчетность мошенничеству в страховании
Отчетность по претензиям клиентов
Анализ и отчетность по продажам за прошедший период
Статистика и отчетность по преступлениям

Вызовы стоящие перед традиционными ХД
ХД должны сейчас:
Адресованы к расширяющимся потребностям аналитики по запросу
Использовать ВСЕ типы информации включая неструктурированную
Обслуживать увеличивающиеся количество и типы приложений и пользователей с различными потребностями уровня обслуживания
Увеличивающаяся Смешанная нагрузка и
Постоянно изменяющиеся требования различных бизнес направлений требует более Динамичных Возможностей ХД

IBM предоставляет больше чем хранилище
Встроенная Аналитика (встроенная и как сервис)
Многомерный анализ
Data mining,Визуализация
За границами традиционных структурированных данных
Высокая компрессия
Сокращение затрат на диски, лучшая утилизация дисков, повышение производительности запросов
IBM DB2
Warehouse
Unstructured
Structured

IBM Dynamic Warehousing
Интегрированное предложение

Решение от IBM: IBM Information Server
Предоставление информации которой вы можете доверять
Понимание
Очистка
Трансформация
Доставка
Параллельная обработка
Широкие возможности доступа к Приложениям, Данным, и Контенту
IBM Information Server
Обнаружение, моделирование, управление информацией
Стандартизация,
объединение,
и корректировка
информации
Объединение и реструктуризация информации для нового пользования
Синхронизация, виртуализация, перемещение информации
Общее Внедрение
Общее управление метаданными

IBM Information Server - Архитектура
Интерфейс
Аналитика
Интерфейс Web
Администрирования
Интерфейс
Разработчика
ОБЩИЙ GUI
ОБЩИЕ СЛУЖБЫ
Службы
Метаданных
Службы
безопасности
Службы
Журнала &
Отчетности
ОБЩИЕ МЕТАДАННЫЕ
Разработка
Оперативные
ОБЩАЯ ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА
Понимание
Очистка
Трансформация
ОБЩИЕ ИНТЕРФЕЙСЫ ДОСТУПА
Службы
установки
Структурированные, Неструктурированные, Приложения, Mainframe
Доставка

Где необходимая информация?
Как я могу ее получить если она мне нужна?
Что она означает?
Могу ли я ей доверять?
Когда я ее получаю в какой форме она мне нужна?
Как я могу ее контролировать?
Почему важно начинать с Понимания?

Физические метаданные: IBM WebSphere Information Analyzer
Основанный на данных анализ приложений, БД и файловых источников данных
Безопастная, детальная профилировка полей, между полями и между источниками
Создание метаданных как результатов профилирования
Результаты постоянно доставляются посредством IBM Information Server
Understand
Анализ структур исходных данных и мониторинг их качества и соответствия правилам
IBM WebSphere Information Analyzer
Physical View

Бизнес метаданные: IBM WebSphere Business Glossary
Построенная на Web система для описания, управления & общего доступа к бизнес метаданным
Выравнивание действий IT с целями бизнеса
Предоставление бизнес контекста к информационным активам
Understand
Create and manage business vocabulary and relationships, while linking to physical sources
IBM WebSphere Business Glossary
Business View
GL Account Number
The ten digit account number. Sometimes referred to as the account ID. This value is of the form L-FIIIIVVVV.
Database = DB2
Schema = NAACCT
Table = DLYTRANS
Column = ACCT_NO
data type = char(11)
Technical
Business

Очистка данных: IBM WebSphere QualityStage
Специализированные функции очистки данных прозрачно интегрированы с DataStage
Визуальные инструменты для определения комплексных отображений и логики сохранения полей
Проверка очистки, стандартизации, де-дубликации информации
Единая версия правды
Cleanse
Standardize and correct source data fields, and match records together across sources to create a single view
IBM WebSphere QualityStage™
Visual Match Rule Design

Что важно в трансформации и доставке данных?
Трансформация это ключ для предоставления информации для использования ее в новых бизнес контекстах – это требует что бы эта информация была основанная на метаданных
Разработана для использования экспертами по информации и управляется посредством метаданных
Трансформация и доставка может быть использована множеством механизмов
Перемещение больших объемов заданиями(batch)
Ответ на событие в реальном времени
SOA
Федеративные запросы
Data
Analysts
Data
Architects
DBAs
Subject Matter Experts
Logic
Reuse
Query

Трансформация & Перемещение: IBM WebSphere DataStage
Визуальная разработка потоков данных с сотнями встроенных трансформаций
Оптимизированное использование объектов интеграционных
Возможность параллельной обработки без необходимости изменять процессы обработки
Возможность работы как с batch так real-time операциями
Transform
Трансформация и агрегация любых объемов информации
IBM WebSphere DataStage®
Deliver

Федеративные данные: IBM WebSphere Federation Server
Доступ к распределенной информации без ее перемещения
Лучшая в индустрии оптимизация запросов с поддержкой SSO, функции компенсации
Поддержка транзакций между распределенными источниками
Deliver

Федеративные запросы делают интеграцию простой как SQL
SELECT parameters_return_billto_key as BILL_TO_KEY,
billto_company_name,
parameters_return_shipto_key as SHIP_TO_KEY,
CASES_SHIPPED,
GROSS_SALES,
URL
FROM GETKEYSSOAP_GETKEYSREALTIME_NN,
GLOBAL_SALES_TRAN_NN,
BILLTO_DIMENSION,
URL_INVOICES
WHERE getkeysrealtime_ship_to_number = '13546'
and getkeysrealtime_ship_to_number = URL_INVOICES.shipno
and ltrim(rtrim(translate(ship_to_number, ' ', x'0a')))
= getkeysrealtime_ship_to_number
and parameters_return_billto_key = billto_key
and ltrim(rtrim(translate(sales_order_number, ' ', x'0a')))
= URL_INVOICES.orderno;
? XML Documents
Data Warehouse
Unstructured Data
? Web Service
Один запрос SQL :

Интегрированный набор инструментов для
Dynamic Warehousing

Интегрированный набор инструментов для
Dynamic Warehousing

Introducing IBM Balanced WarehouseTM
A fast track to warehousing
Простота
Предопределенная конфигурация для упрощения комплекса
Один номер для поддержки решения
Гибкость при росте
Простое Добавление BCUs для увеличивающихся потребностей
Надежно, возможность повторного использования для других задач
Оптимизирован для Производительности
Преконфигурирован и сертифицирован для предоставления гарантированной производительности
Основан на лучших практиках для уменьшения риска
Balanced Configuration Unit (BCU)
Преконфигурированный, Претестрированный, масштабируемый набор Программного и Аппаратного Обеспечения
Просто
Гибко
Оптимально

Гибридное партиционирование
999 Machines
HASH
RANGE
32K Partitions
MDC

Компрессия строк
Общая последовательность заменяется на 12 байт
Страница с компрессией
SOCKS BLUE DALLAS TEXAS
x’01C’
Без Компресии
С Компрессией
Страница без
Компрессии

DB2 - More Compression Ratios (Customer Data)
Compression Type 32KB Page Count Space Required on Disk
No compression 5893888 179.9GB
Row compression 1392446 42.5GB
% Pages Saved: 76.4%

BDW
(Banking Data Warehouse)
Финансовые Рынки
(Financial Markets Data Warehouse)
Заявки
Medical management
Управление сетью
Продажи, маркетинг
and membership
Финансы
Прибыльность
Маркетинг
Управление рисками
Управление активами пассивами
Соответствие Требованиям
Управление Рисками
Управление активами пассивами
Соответствие требованиям
Управление Здоровьем
(Health Plan Data Warehouse)
Клиенты
Заявки
Прибыльность
Соответствия требованиям
Управления рисками
Розница
(Retail Data Warehouse)
Клиенты
Управление закупками
Оптимизация складов
Управление цепочкой
Соответствие требованиям
Телекоммуникации
(Telecommunications Data
Warehouse)
Управление оттоком
Управление взаимоотношениями
Продажи и маркетинг
Качество обслуживания
Профайл пользователя
Страхование
(Insurance Information
Warehouse)
Индустриальные Модели данных

IBM Industry Data Models: Ключевые компоненты
Модель данных для терминов
Словарь бизнес определений для единых определений в рамках организации и индустрии
Модель EDW
Эта модель определяет как множество источников могут быть консолидированы в единую логическую структуру
Проектные представления
Логическое подмножество EDW и BSTs для решения конкретной задачи
Шаблоны бизнес решений (BST)
Набор Key Performance Indicators для создания OLAP кубов, витрин, шаблонов отчетности

Фаза планирования
Создание стандартов на данные и их управление
Бизнес планирование и развития IT
Стабильность проектов
Business Challenge
Component Business Model
Industry Models
Identify
Pain
Pin Point
Model

Фаза анализа
RDA (Enterprise Model Extender)
Выявление Бизнес требований
Структурированная по области проблем
Определяет область для реализации IT реализации
Дополнение Information Analyzer
Предоставление необходимого анализа данных
Information Analyzer
Analyze
Source Data
Business Solution Templates

Создание дизайна
RDA (plus Enterprise Model Extender)
Генерация ХД, витрин/кубов
Инкрементальная, проектная, корпоративная разработка
Трассировка бизнес требований до уровня кода
Сравнение, объединение моделей
Rational Data Architect
Enterprise Data Warehouse Model
Business Solution Templates
Create Database Schema
Create OLAP or Data Marts
With EM Extender

Фаза реализации
Определение целевых структур
Общий глоссарий
Инкрементальная разработка без переписывания
Business Glossary
Enterprise Data Warehouse
and Data Marts
Analytical Application
Information Server
Trusted Data

Анализ требований

Call Taker: James
Date: Aug. 30, 2002
Duration: 10 min.
CustomerID: ADC00123
D: Complained about rejected claim for antibiotics; form req’d more information
Unstructured data
Structured Data
Original Data
Обширные интерфейсы для объединения структурированных и не структурированных данных
Объединение поиска и текстовой аналитики
Unstructured analytics framework
Analysis tools
Introducing IBM OmniFind Analytics Edition
Linguistic
analysis
Extended
Insight

Alphablox
Data Warehouse
Data Mart
Relational
Database Systems
IE, Netscape
Web
Application
Server
Intranet/
Extranet
Client
Browser
App Server
Alphablox
Data Mart