DB2 Information Integrator SoftwareМарк Ривкин IBM EE/A

08/14/2023
Виды интеграции
Интеграция интерфейсов - Portal
Интеграция приложений - WS BI Server
Интеграция данных
Хранилища данных
Information Integrator

08/14/2023
Два подхода к интеграции данных
Консолидация данных для локального доступа (DW)
Высокая производительность и доступность (HA) при централизации данных.
Нужны не самые свежие, а согласованные на данный момент времени данные
Для семантической согласованности данных нужны сложные преобразования (ETL)
Production applications, data warehouses, operational data stores
Обычно используется ETL (Extract, Transform, and Load) или репликация
Нужны исторические данные
Большие объемы данных
Структурированные данные
Интегрированный доступ к распределенным источникам (II)
Производительностью доступа и загрузки можно пожертвовать в угоду простоте и снижению цены
Нужны самые свежие данные
Политики безопасности, лицензирования или внутренние правила ограничивают возможность перемещения данных
Смешение форматов данных, например customer ODS и контрактные документы или изображения
Данные нужны редко и нет смысла их хранить в DW
Наибольшие выгоды – при комбинации обоих подходов

08/14/2023
DB2 Information Integrator - “Зонтик”
Федеративный сервер данных – Работать с распределенными данными так, как будто они находятся в одном источнике данных
Описать интегрированный взгляд на разнотипные распределенные данные
Широкий диапазон источников данных и контента
Расширяемость на любые источники данных
Запросить как бы из единого источника
Использовать стандартные SQL запросы и SQL выражения
Использовать контекстный поиск
Реализовать специализированные функции в SQL
Использовать оптимизацию запросов и хэширование
Работать с XML документами
Комбинировать различные источники
Использовать DTDs или XML схемы
Единый источник, реляционное обновление
Integrated SQLView
DB2, Oracle, SQL Server, Sybase, Teradata, OLE DB, ODBC, Excel, XML, message queues, Web services, flat files, document repositories, content repositories, LDAP directories, WWW, email databases, and more.

08/14/2023
Сценарии использования II
Business Intelligence
Расширение данных хранилища свежими данными
Взгляд на все данные предприятия
Непрерывное пополнение DW свежими данными
Portal
Единый интерфейс к разным источникам
Доступ к старым данным
Единые портлеты
Единый поиск
Migration/Coexist
Слияние и приобретение
Миграция между БД
Синхронизация БД

08/14/2023
Расширение Data Warehouse оперативными данными
Federated
Server
Historical Data
Data Warehouse
Real-time Data
Operational Data Store
SQL
Analysis
Transformation
Optimize query
Cache
DB2 z/OS
SQL Server

08/14/2023
Обеспечение единого взгляда на данные компании
Federated
Server
Financial Services
Retail Bank
Обеспечение единого взгляда на клиентов и контракты, хранящиеся в разных системах
Доступ к данным на месте хранения – не надо их копировать
SQL
Analysis
Transformation
Optimize query
Cache
Oracle
Sybase
Документы, контракты, текущая инф

08/14/2023
Ускорение разработки портала
Federated
Server
Account Status
Reference Documents
E-mail
Обеспечение доступа приложениям портала к множеству структурированных и неструктурированных источников данных
Упрощение разработки и сопровождения
SQL
Analysis
Transformation
Optimize query
Cache
Oracle
Логика в одном месте

08/14/2023
Сосуществование различных СУБД
Replication
Server
Приложения прозрачно работают с несколькими СУБД на этапе сосуществования и миграции
Consolidation
Transformation
Manage Copies
Legacy Store
Oracle, IMS
Strategic Store
DB2 UDB
Federation
Server
Analysis
Transformation
Optimize query
Cache
Репликация для синхронизации данных

08/14/2023
Information Integration
IBM DB2 Information Integrator обеспечивает:
Виртуализацию данных
Стандартные языки доступа
SQL, XQuery, Content, Search
Доступ на чтение/запись к различным источникам данных и контента
Расширение доступа
Data placement
Кэширование, извлечение и загрузка, репликация разнородной информации
Преобразование данных
Контроль качества данных
Data analysis and mining
SQL, XML, Web services
Advanced search
Управление метаданными
Data publishing
Publishing changed data events from diverse sources
MQ интеграция
WebSphere business integration
Federate Place Transform Publish
Metadata management and interchange
IBM Confidential

08/14/2023
Text
Sybase
Informix
SQL Server
Oracle
DB2 Information Integrator
SQL, SQL/XML
Federation Engine
Wrappers and functions
Teradata
WebSphere MQ
ODBC
IBM Extended Search
Excel
…
WWW, email,…
XML
DB2 UDB
on MVS
Software AG
Adabas
VSAM
CA-IDMS
CA-Datacom
IMS
O
D
B
C
DB2 UDB
Integrated SQL View
Федеративный доступ к распределенным данным
Packaged apps
Web services
New

08/14/2023
Data sources accessible by IBM Lotus Extended Search:
Lotus Notes, Lotus Domino.doc, Lotus Discovery Server, Lotus QuickPlace, Lotus Sametime
IBM WebSphere Portal Search Engine, Microsoft Index Server, Microsoft Site Server, Microsoft Exchange, LDAP Directories,
18 Web search engines (Yahoo!, Lycos, Excite, HotBot, Google, Alta Vista, ABCNews.com, AOL.com Search, Business Wire, CNN, Canada.com, EuroSeek, FAST Search, GoTo.com, NBCi, PR Newswire WebCrawler, and Yahoo News)
Documentum, FileNet, DB2 Content Manager

08/14/2023
VSAM
Sequential
IMS
Adabas
CA-Datacom
CA-IDMS
Federated Sources
DB2 UDB
Informix
Oracle
Sybase
Teradata
Microsoft SQL Server
ODBC
OLE DB
Excel
Flat files
IBM Lotus Extended Search
Web search
LDAP
Custom-built
DB2 CM
Family
Domino.doc
Documentum
FileNet
Open Text
Stellent
Interwoven
Hummingbird
WebSphere
FileNet
Lotus Notes
Microsoft Index Server
IBM Lotus Extended Search
Sametime
QuickPlace
Microsoft Exchange
WebSphere BI Adaptors
SAP
PeopleSoft
Siebel
Дополнительно инструменты BP предоставляют доступ к большему кол-ву источников
Content
& Imaging
Workflow
systems
Relational
databases
Web
Other
Collaboration
Systems
XML
Web services
Packaged
applications
Mainframe
files
Mainframe
databases
SQL
Content
SQL

08/14/2023
Концепции
Wrapper
Server
Server
Nickname
Nickname
Nickname
Wrapper: библотека, обеспечивающая доступ к отдельному классу источников данных или протоколов (Net8...). Содержит информацию о характеристиках источника
Server: представляет конкретный источник данных
Nickname: локальный алиас для образа данных, размещающихся на удаленном сервере (отображенных в строки и колонки)
Локальные данные:
Глобальный каталог
Системные таблицы
MQTs
Пользовательские данные
Global optimizer
Использует инф о:
Статистике источника
Индексах источника
Функциях источника
Скорости сервера и сети

08/14/2023
Выполняют 4 основные задачи:
Моделирование данных
Отображают исходную модель данных в реляционную модель данных (таблицы с строчками и столбцами)
Отображают функции в SQL операции
Планирование запроса
Предоставляют информацию об источнике
Выталкивают на источники как можно больше работы
Определяют функции, отсутствующие на источнике (их компенсирует II)
Обеспечивают информацию для оптимизатора (cost and cardinality)
Connection and transaction management
Выполнение запросов и извлечение данных
Выполняют части запроса пользователя на различных источниках данных
Wrappers

08/14/2023
Nicknames, Push down and Compensation
Push down обработку данных, чтоб улучшить производительность
Компенсация для пропущенной функции (sort)
(инф о молекуле)
(результаты тестов)

08/14/2023
Администрирование – Control Center
Create nickname wizard
Помогает создать nickname
Выбирает/создает wrapper, server, nickname
Create cache table wizard
Помогает создать кэш таблицы.
Выбирает/создает nickname, cache table и конфигурирует репликацию
Export/ Deploy
Запоминает действия control center и записывает их в скрипт. Позволяет редактировать скрипты и выполнять их в Task Center
Monitoring
Мониторит набор nicknames, чтобы определить изменения в схеме данных, которые могут повлиять на эти описания nickname
Определяет состояние серверов (работает или недоступен)
Обновляет статистику
Запускает по расписанию обновление статистики для nickname
Server discovery
Конфигурирование II

08/14/2023
Обработка запросов к федеративным данным
Разбор и семантика
Query Rewrite
Трансформация запроса на основе эвристик и знаний об источнике
Pushdown Анализ
Анализирует как декомпозировать запрос
Cost-Based Optimization
Генерирует оптимальный план выполнения запроса, используя знания об источнике: database statistics, indexes, source functions, server capacity, network capacity
Генерация SQL
Производит эффективный для конкретного источника данных SQL (для SQL источников)
Выполняет запрос над локальными и распределенными данными
Выполняет компенсацию функций и virtual database view

08/14/2023
Гетерогенное кэширование
Улучшает производительность и надежность выполнения запроса
Администратор описывает Materialized Query Table
Заранее вычисленные или часто используемые значения
Любые данные из федеративных реляционных источников
Неявное или явное использование (automatic routing)
Разработчик включает использование кэша
Если включено – читает из кэша, пишет в источник
Если выключено – работает напрямую с источником
Обновление кэша:
Вручную
Репликация
Различные стратегии обновления задаются при проектировании
User Application
Read
Write
Read

08/14/2023
DB2 Information Integrator OmniFind Edition
Быстрый ответ
Сложные алгоритмы для корпоративного контента
Intranet, file systems, collaboration systems, content managers, and databases
Stemming, lexical analysis, anchor point analysis, dynamic summary, highlighted text
Легко встраивается в приложения
Java APIs
Document level security
Может работать с большими объемами
500K документов и более
Тысячи одновременных пользователей
Crawl Index Search
New

08/14/2023
OmniFind Crawlers
Web content
HTTP/HTTPS
News groups (NNTP)
WebSphere Portal web content sources
Collaboration
Lotus Notes databases
MS Exchange public folders
File systems
Content management systems
DB2 Content Manager
Relational Data sources
DB2 family (DB2, Informix, DB2 for z/OS)
DB2 Information Integrator relational data sources (Oracle)
New

08/14/2023
DB2 Information Integrator 8.1
A Replication Server
Реплицирует данные между реляционными СУБД
DB2, Informix, Microsoft, Oracle, Sybase, Teradata
Поддерживает гибкие топологии
Дистрибуция: один ко многим
Консолидация: многие к одному
Различные режимы репликации
Table-at-a-time (потабличный) для пакетной загрузки DW в ограниченное время
Транзакционно-консистентный для оперативных данных
Выбор характеристик задержки
По расписанию, через интервал, непрерывный
Применение преобразований на лету
Стандартные SQL выражения или выполнение хранимых процедур

08/14/2023
Staging tables
Концепции гетерогенной репликации
Log based
Trigger based
External application
Каждая стейдж-таблица содержит изменения для одной исходной таблицы
Формат стейдж-таблиы опубликован для внешнего использования

08/14/2023
Расширение архитектуры репликации
Каждое сообщение представляет транзакцию
XML формат сообщения
Высоко параллельный apply process
Определение и разрешение конфликтов репликации
Гетерогенные источники и подписчики
Wizard для конфигурирования
Federation
Engine
Log based
WebSphere MQ
Малая задержка, высокая пропускная способность
Высокая надежность
Database event publishing
Parallel
New

08/14/2023
Доступ к Web Services
Интегрирует SQL предложения и вызов Web Service
Один оператор может работать с локальными и удаленными данными и с web services
Поддержка генерации SQL функций и табличных UDFs, на основе WSDL web service description ( WebSphere Studio)
Web
Airline Fare
Service
Providers
SELECT l.city, t.degreesFahr FROM location l, temperature t WHERE t.city=l.city

08/14/2023
Использование Web Services
Любой Web Service становится функцией или источником данных

08/14/2023
DB2 Information Integrator
Classic Federation for z/OS
JDBC Client
ODBC Client
Публикация событий (или захват изменений в данных)
Workflow
WebSphere Business Integration
Асинхронная коммуникация между слоем данных и слоем приложений
New

08/14/2023
Связь с пакетными приложениями
WBI Adapter
WBI Adapter
WBI Adapter
Генерируются связанные иерархи реляционных схем для бизнес объектов пакетных приложений.
Запрос через SQL.
Можно соединиться с другими приложениями и БД.
Websphere MQ
New

08/14/2023
XML wrapper
Доступ к XML документам без их занрузки
Соединение XML с другими данными
XML Extender
Объектно-реляционное исполнение
Хранить, извлекать, разбирать, собирать XML
Оценивать по DTD или Схеме
Извлекать, преобразовывать
Хранение
куском
Разбросать по таблицам
XML расширения в SQL
Публиковать федеративные данные как XML документы
Мост в мир XML
Information Integration
XML world

08/14/2023
Интеграция с WebSphere MQ
Доступ из приложений к очередям WebSphere MQ с помощью SQL
Читать очередь (destructively or non-destructively)
Послать сообщение
Опубликовать сообщение на определенную тему
Зарегистрировать интерес к определенной теме
Two-phase commit integrity
Insert into PENDING_ORDERS
select t.msg from table(MQRECEIVEALL());

08/14/2023
Инструментарий
Фокус: Сделать DB2 Information Integrator прозрачным для средств разработки
DB2 Centers ( Control Center, Development Center, etc)
Поддержка для ДБА и разработчиков серверных приложений
WebSphere Studio (Eclipse Platform)
Web разработчики, J2EE разработчики, Data разработчики, XML разработчики и т д
DB2 Microsoft Visual Studio
Поддержка разработчиков приложений для DB2
Business Intelligence Tools
Протестировано с. Crystal Decisions, Business Objects, MicroStrategy, Brio, Cognos…