Технологии построения хранилищ данных:Oracle Data Integrator

4 Ключевых преимущества
Расширенные возможности
6 шагов к внедрению
Сценарии использования
План презентации

ИМЕЕМ…
НУЖНО…
Почему интеграция данных?

Oracle Data Integrator
Трансформация и перемещение данных из множественных источников в гетерогенной среде
Скорость: Архитектура “E-LT”
Гибкость: Активная интеграция
Продуктивность: Декларативный дизайн
Расширяемость: Модули знаний
Преимущества
Отличительные возможности

E-LT архитектура
Высокая производительность
Специализированный ETL сервер
Черный ящик
Слабая производительность
Высокая цена
Преобразования внутри СУБД
Использование современных возможностей
Эффективность
Высокая производительность
Преимущества
Оптимальная производительность и масштабируемость
Легкость управления и низкая цена

Java design-time environment
Работает на любых платформах
Тонкий клиент для просмотра метаданных
Java runtime environment
Работает на любых платформах
Управляет выполнением потока задач
Metadata repository
Ставится на любую БД
Модульность и расширяемость
Архитектура: Концепция

Архитектура: Компоненты

Позволяет построить хранилища реального времени и хабы
Можно использовать в SOA
Активная интеграция
Cобытийная и сервис-ориентированная интеграция
Переход от пакетной загрузки к хранилищам реального времени
Единообразие инструмента
Интеграция на лету
Преимущества

Journalize
Read from CDC Source
Load
From Sources to Staging
Check
Constraints before Load
Integrate
Transform and Move to Targets
Service
Expose Data and Transformation Services
Reverse
Engineer Metadata
Используется опыт лучших наработок
Легко администрировать
Reverse
Journalize
Load
Check
Integrate
Services
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS
WS
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues
Check MS Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
Готовые модули знаний
Преимущества
Модули знаний (Knowledge Modules)
Модульность, гибкость, расширяемость

Готовые Knowledge Modules
Generic SQL DB
Oracle DB 9i
Oracle DB 10g
Oracle DB 10g XE
IBM DB2/400
IBM DB2/UDB
IBM Informix SE
IBM LDAP Server
MS SQL Server 2000
MS SQL Server 2005
MS SQL Server 2005 SE
MS Office Access 2000
MS Office Excel 2000
MS Active Directory
Sybase ASA 8.x & 9.x
Sybase IQ 12.x
Sonic MQ v7.0
Teradata V2R5.x
Teradata V2R6.x
Netezza Performance Server 2.2.1
Hyperion Essbase
PostgresSQL 8.1
MySQL 4.0
MySQL 5.0
Oracle BI Suite 10g
Oracle BAM 10g
Oracle Internet Directory 9i
OpenLDAP 2.3
Siebel CRM 7.8
JD Edwards
PeopleSoft
SAP R/3
Oracle EBusiness Suite
Oracle AQ 10g
Oracle SOA Suite
Oracle ESB 10g
SalesForce.com App Exchange
Any JMS Standard Implementation
Out-of-Box
Knowledge
Modules

Declarative Design
Продуктивность разработчиков
Традиционный подход
Разработчик должен определить каждый шаг сложного ETL процесса
Требуются специальные ETL навыки
Существенные усилия по разработке и поддержке
Declarative Set-based Design
Уменьшается число шагов
Автоматическая генерация процедур
Преимущества
Существенное ускорение обучения
Уменьшение сроков внедрения
Облегчение понимания для не-ИТ персонала

Oracle Data Integrator
Расширенные возможности

Расширенные возможности
Master Data Management enabled
Создание унифицированных форматов
Автоматическое создание канонического формата и трансформаций
Встроенная проверка целостности данных
Real-time enabled
Захват изменений
Message Oriented Integration (JMS)
SOA enabled
Службы доступа к данным
Службы трансформации
Extensibility
Knowledge Modules Framework
Языки сценариев
Open Tools

MDM: Canonical Format Design
Разработка и наполнение Канонического формата
Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships)
Создание и поддержка структур эталонных данных
CRM
Enterprise Service Bus
SCM
Legacy
ERP

MDM: Встроенная проверка целостности данных
Определение ограничений (constraints) на уровне таблиц
Дизайн сценариев и проверка целостности
Просмотр, очистка или повторная обработка отброшенных записей

Real-time enabled: Changed Data Capture
Публикация и подписка CDC Framework
Database logs
Triggers
Third-tier solutions
Поддержка целостности транзакций затрагивающих несколько таблиц
Создайте или сгенерируйте сценарий
Выбирите Journalized Data Only
Запустите Журналирование
CDC

Real-time enabled: Интеграция основанная на сообщениях
Подключитесь к провайдеру публикации сообщений и подписки на них (JMS)
Проверьте, что целостность сообщений не нарушается
Сложные трансформации
Разрабатывайте сложные сценарии используя очереди, БД и приложения
Используйте JMS Queues как источники и приемники
CDC

SOA Enabled: Data Access Services
Создавайте и публикуйте службы доступа к данным
Создайте службу доступа к данным
Протестируйте службу
Задействуйте службу доступа к данным в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB

SOA Enabled: Data Flow Services
Представьте сценарии как Web Services
Манипулируйте сценариями
Публикуйте сценарии как web-сервисы в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB

Knowledge Modules
120+ KMs out-of-the-box
Доступ к best practices
Упрощение администрирования
Уменьшение стоимости владения
Переопределение и расширение
KM
Interpreter

Scripting Framework
Используйте языки сценариев
Применяйте языки встроенные в базы данных
SQL, PL/SQL, Transact SQL, etc.
Используйте OS shell скрипты
Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc.
Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.

Open Tool
Расширяйте ODI
Добавляйте свои инструменты в палитру
Определите OdiOpenToolAbstract Java интерфейс
Зарегистрируйте Open Tool в Designer
Используйте Open Tool в среде разработки

Oracle Data Integrator
6 шагов к внедрению

ODI Design-Time Environment
ODI Runtime Environment
6 шагов к внедрению
Получите/Создайте метаданные
Разработайте трансформации
Настройте сценарии выполнения
Сгенерируйте сценарии
Мониторинг выполнения
Анализируйте влияние
Development
Development Servers and Applications
Agent
Data Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Production
Production Servers and Applications
Agent
Data Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Operator
Metadata Navigator

Reverse-engineer
Автоматическая
Настраиваемая
40+ технологий
Создание метаданных
Документирование
Правила для целостности данных
Design-Time Environment
ODI Designer
Design-time Repositories
Development Servers and Applications
CRM
Legacy
ERP
Data Warehouse
Files / XML
Получите/Создайте метаданные
1

Oracle Data Integrator “Interface”
Declarative Design
1
Определите Что Вы хотите
Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension
Разработайте трансформации
2

Последовательность трансформаций
ODI инструменты
Data Quality Processes
Files/Archives Management
Send/Receive Emails
Web Services Invokation
Event Detection
Создайте собственные инструменты
Используйте
Цыклы
Условия
Обработку ошибок
3
Настройте сценарии выполнения

Скомпилируйте сценарии для выполнения
Используйте управление версиями
Advanced Version Management
Перенесите в Production
Сгенерируйте сценарии
4

Просмотр выполнения сессий в ральном времени
Просмотр кода
Детальная статистика
Перезапуск сбойных сессий
5
Мониторинг выполнения

Анализируйте влияния/зависимости
Поддержка большого числа сценариев в сложных проектах
Основанный на Web инструмент просмотра
Отследите ваши потоки данных
Следуйте по пути данных
Drill-down к трансформациям
?
6

Сценарии использования

E-LT для хранилищ данных
Гетерогенные источники и цели
Инкрементальная загрузка
Медленно меняющиеся размерности
Целостность данных
Захват изменений (CDC)
Анализ влияния

Master Data Management
(Управление основными данными)
Используется как инфраструктура для создания собственного хаба
Описания потоков данных
Захват изменений (CDC)
Очистка и согласование данных
Публикация эталонных данных
Расширение метаданных

Миграция
Массовая перегрузка данных в новое приложение
Преобразование форматов
Синхронизация старого и нового приложения в период совместного использования
Двусторонний захват изменений (CDC)

Использование в SOA
Вызов внешних сервисов для интеграции
Создание сервисов
Публикация сервисов

Oracle Data Integrator: Roadmap
Focus Areas for Next Major Release
Deep Integration with Fusion Middleware
Runtime, Design time, Security, Administration, Events
Functional Integration with Oracle Warehouse Builder
Runtime Integration, Metadata Sharing, Knowledge Module Sharing
Deployment of ODI for Embedded Data Integration
OracleBI Enterprise Edition, Data Hubs, Application Migrations
Enhanced Usability and Debuggability
Wizards, New Views, User-definable Debugging
Improved Support for Native Oracle Database Features
Oracle OLAP

Заказчики

A
Q
&

Преимущества Oracle Data Integrator
«E-LT» архитектура
Активная интеграция (Active Integration)
Модули знаний (Knowledge Modules)
Подход к проектированию основанный на бизнес правилах (Declarative Design)

ODI расширяет возможности Oracle BI
Oracle Business Intelligence Suite EE:
Бизнес модель
Обработка сложных вычислений
Интеллектуальная генерация запросов
Оптимизация доступа к данным
Oracle Data Integrator:
Наполнение корпоративного хранилища данных
Оптимизация производительности ETL процессов

ODI Enhances Oracle SOA Suite
Add Bulk Data Transformation to BPEL Process
Oracle SOA Suite:
BPEL Process Manager for Business Process Orchestration
Oracle Data Integrator:
Efficient Bulk Data Processing as Part of Business Process
Interact via Data Services and Transformation Services