Сергей Данилов Oracle СНГ Ведущий консультант по Базовым технологиям Государственный сектор Анатолий Барышников Oracle СНГ Менеджер пр

Сергей Данилов
Oracle СНГ
Ведущий консультант по
Базовым технологиям
Государственный сектор
Анатолий Барышников
Oracle СНГ
Менеджер проектов
Государственный сектор

Введение в
Oracle Enterprise Grid

The best thing about the Grid is that it is unstoppable.
The Economist, June 21, 2001
2

40 лет назад...
Начинается гонка по созданию больших серверов
В 1964 году компания IBM создала первый mainframe под управлением OS/360
Gene Amdahl (Джин Эмдал) покинул IBM чтобы основать собственную компанию Admahl Computing

Через 40 лет...
В гонку включается даже компания Microsoft!
Продемонстрирована работа SQL Server на 64 процессорной машине под Windows
Общая тенденция: Всем нужны все более и более крупные серверы

3. Один большой компьютер –
“недублированная точка отказа”
(single point of failure) - Все равно не надежно
Недостатки такой архитектуры
2. Большие компьютеры дороги.
Один процессор стоит 30-50 тыс. долларов.
1. Приложения перерастают даже самые большие компьютеры

Модель Grid вычислений Oracle
(Enterprise Grid Computing)
Объединение
Виртуализация и распределение ресурсов
Выравнивание нагрузки
Качество сервиса
Автоматизация

Идея GRID Computing
Объединение множества компьютеров в один суперкомпьютер («Сеть – это Компьютер»)
Вычисления как коммунальная услуга
(Computing Utility)
Аналог: Электрические сети (power grid)
Следующий шаг развития Internet (вторая, после Web, революция в Сети)
С точки зрения потребителя вычислительных ресурсов:
Не важно, где в сети размещаются данные и какой компьютер обрабатывает запрос на их обработку
«Обработка данных по требованию»

“В мировом масштабе, компании тратят более чем $49 миллиардов в год на серверы, а опросы IT-директоров показывают, что утилизация серверов составляет 60% или менее.”
– Forrester Research, April 2002

Уровень информированности об утилизации инфраструктуры
Насколько Вы уверены в знании уровня утилизации
инфраструктуры?
Вполне уверен =
Не уверен =
QNB Intelligence “Beyond Infrastructure ”, Sep.2003

Стиль мышления, далекий от стратегического
Какая из приведенных фраз в наилучшей степени отражает Ваш подход к решению проблемы перегрузки инфраструктуры?
Мы настраиваем сеть
QNB Intelligence “Beyond Infrastructure, Sep.2003”
Мы ре-конфигурируем
серверы
Мы немедленно покупаем
дополнительные серверы
Мы ограничиваем
требования пользователей
Мы ищем иные способы
решения проблем
Мы не знаем

Проблема:
«островки» приложений
Готовность < 99.x%, недублированные точки возможного отказа, проблемы безопасности
Ограниченная масштабируемость
Специальное конфигурирование оборудования и ПО с учетом требований пиковой нагрузки
Financials
Procurement
Service
Supply
Chain
Files
Sales
HR

Enterprise Grid решает проблему «островков» приложений
Обособленные ресурсы
Высокая стоимость
Сложное реконфигурирование
Возможны отказа
Сложное администрирование
Разделяемые ресурсы
Недорогие компоненты
Динамическое выделение ресурсов
Высокая надежность
Унифицированное управление
Решение в GRID
Проблема
Coordinated use of many small servers acting as one large computer.

Определение Grid
“Grid представляет собой кластеры компьютеров или серверов, специальным образом связанных между собой, что позволяет использовать их как общий пул вычислительных ресурсов”
– “Defining Grid Computing”, Giga Research, August 2002

Новые термины
Grid – сеть распределенной обработки данных
Grid Computing – технология распределенной обработки данных
Enterprise Grid – корпоративная сеть распределенной обработки данных

“Эволюция” GRID
Научный
GRID
Технический
GRID
Корпоративный
GRID
Универсальный
GRID
Совместное использование ресурсов в академической среде для решения сложных вычислительных задач
Технические распределенные
приложения
Распределение ресурсов
внутри корпораций
Создание универсальной
среды предоставления
вычислительных услуг

Идеи GRID
Утилизация неиспользуемых ресурсов
Разделение ресурсов (resource pooling)
Выделение ресурсов (resource provisioning)

Решение: Computing On Demand
Партиционирование одного большого сервера
Дорогие элементы
Полное, интегрированное ПО
Высококачественный сервис за большую цену
Скоординированное использование множества маленьких серверов
Дешевые, стандартные, модульные элементы
Открытое, полное, интегрированное ПО
Высококачественный сервис за низкую цену
“Mainframe” Модель
Grid Computing Модель

Why Grid is the Next Big Thing?
Новая экономика управления данными («affordability»)
Развитие компьютерных платформ
Blade-servers (серверы-лезвия)
Blade-farms (фермы серверов-лезвий)
Развитие операционных систем:
Высокая динамика развития Linux как серверной ОС
Linux – основная ОС для серверов-лезвий
Внимание ведущих игроков рынка IT
HP (Computing Utilities), Sun (N1), IBM (On Demand)
*Benny Souder, Vice-President, Distributed Database Development

Программная инфраструктура сети распределенных вычислений организации

Технологический стек
прикладных программных систем
Общая
инфраструктура
Общие
Сервисы
СУБД
Транзакционные
системы
Сервер
приложений
Приложения оперативной обработки
транзакций
Аналитические приложения
Бизнес-
анализ
Приложения
Средства разработки
Управление
сообщениями
Управление потоками
работ
Средства защиты
Обработка транзакций
Планировщик и
маршрутизатор
Oracle Application Server
Oracle Database
Инфраструктура

Концепции самоуправления
Концепция Содержание
Самоконфигурация
Самооптимизация
Самовосстановление
Самозащита
Автоматическое конфигурирование
компонентов и систем в соответствии с
высокоуровневыми правилами
Компоненты и системы постоянно ищут
возможность увеличить свою
производительность и эффективность
Система автоматически выявляет,
диагностирует и исправляет
локализованные программные и
аппаратные проблемы
Система автоматически защищается от
вредоносных атак или ошибок, использует
средства раннего предупреждения для
прогнозирования сбоев

Oracle
Enterprise Grid
Корпоративная сеть распределенной обработки данных

Oracle Enterprise Grid
Grid
Control
Согласованное использование множества серверов, работающих как один большой компьютер

Storage Grid
Корпоративная сеть устройств хранения данных

Oracle Storage Grid
Проблема: изолированные устройства хранения данных
“Утилизация емкости устройства хранения данных составляет 50%, но возрастает ежегодно на 30%”
Решение: ASM

Управление системой хранения данных*
Переносимая файловая система
Нет томов: только виртуальный диск
Высокая гранулярность
Диск разбит на фрагменты по 1 Мбайт каждый
Исключается необходимость использования традиционных файловых систем и менеджеров томов (volume manager)
Автоматическое зеркалирование (mirroring)
Автоматическая настройка ввода/вывода
Распределяет данные по дискам, чтобы сбалансировать использование их емкостей
*Automatic Storage Management - ASM

Сбалансированное использование
суммарной емкости устройств
хранения
ASM: Добавление нового устройства

Дисковая группа 1
ASM - Добавление новой группы устройств хранения
Автоматическая балансировка «на лету» при любых изменениях конфигурации
Данные автоматически переносятся пропорционально на новые носители
Дисковая группа 2
1

Автоматическая балансировка «на лету» при любых изменениях конфигурации
Данные автоматически переносятся пропорционально на новые носители
Оперативная миграция на новую группу устройств хранения
ASM - Добавление новой группы устройств хранения
Дисковая группа 1
Дисковая группа 2
2

Автоматическая балансировка «на лету» при любых изменениях конфигурации
Данные автоматически переносятся пропорционально на новые носители
Оперативная миграция на новую группу устройств хранения
ASM - Добавление новой группы устройств хранения
Дисковая группа 1
Дисковая группа 2
3

Автоматическая балансировка «на лету» при любых изменениях конфигурации
Данные автоматически переносятся пропорционально на новые носители
Оперативная миграция на новую группу устройств хранения
ASM - Добавление новой группы устройств хранения
Дисковая группа 2
4

Oracle
ASM
Стек технологий
Disks
Logical Vol
File System
Files
Tablespace
Tables
Disk Group
Logical Vol
File System
Files
Tablespace
Tables
СЕГОДНЯ
ASM
“Лучший способ снизить стоимость управления – уменьшить сложность”

Сокращение затрат на управление системой хранения данных
0
1
2
3
4
5
6
7
8
Число шагов
Установка
Добавить
устройство
Oracle ASM
Удалить
устройство
Переместить
устройство
Настройка
ввода/вывода
Управление
памятью
Традиционная архитектура
7
7
6
8
6
6
5
2
2
4
0
0

Поддержка сверхбольших баз данных
Размер базы данных увеличен до миллионов террабайт (8 Exabytes) Неограниченный размер данных типа LOB (террабайты)
Ultra Large Data File – террабайты в одном файле
Хранение данных в файлах: тип данных BFILE
Хранение таблиц в файлах: внешние таблицы (external tables)

Поддержка сверхбольших баз
данных
http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

Database Grid
Корпоративная сеть серверов баз данных

Oracle Database Grid
Проблема: «островки» обработки данных
“Вычислительные ресурсы серверов баз данных используются только на 15%“
Решение: консолидация процессов обработки данных, объединение серверов промышленных стандартов в вычислительные пулы
Стандартные серверы невысокой стоимости (Intel, Linux)
Вычислительные мощности по требованию
Кластеры баз данных (shared disk)

Три способа организации
данных в Enterprise Grid
Централизация данных в единой базе данных
Кластеризация на основе Oracle10g Real Application Clusters
Множество самостоятельных независимых баз данных
Федеративные (распределенные) базы данных
Временны й перенос данных из основной базы данных в удаленную
Перемещение блоков данных (табличные пространства) в удаленную базу данных
Последующая синхронизация блоков данных в основной и удаленной базах данных

Топология Enterprise Grid
Централизация
Федеративные
базы данных
Oracle Real Application Clusters
Oracle Distributed Database
Oracle Gateways

Топология Enterprise Grid
Механизм SELF PROPELLERING
Удаленная БД
Удаленная БД
Основная БД
UNIX
Windows
Linux
Oracle Streams
Oracle Streams

Enterprise Grid:
система высокой готовности
Стандарт Enterprise Grid: недорогие узлы и модульные дисковые массивы
Основа -
Oracle Real Application Clusters
Восстановление после сбоя может произойти на любом узле Grid
Балансировка нагрузки в Grid

Enterprise Grid:
Управление нагрузкой
Штатный режим работы
Отчеты
Процессинг
Запасной
Узлы (серверы)
1

Отчеты
Процессинг
Пиковый режим работы (обработка заказов)
Узлы (серверы)
Enterprise Grid:
Управление нагрузкой
2

Отчеты
Процессинг
Узлы (серверы)
Завершение квартала (отчетность)
Enterprise Grid:
Управление нагрузкой
3

Enterprise Grid:
Восстановление после сбоя
Ситуация сбоя узла
Отчеты
Процессинг
Запасной
Узлы (серверы)
1

Миграция сервисов на резервный узел
Отчеты
Процессинг
Узлы (серверы)
Enterprise Grid:
Восстановление после сбоя
2

Сбой другого узла
Отчеты
Процессинг
Узлы (серверы)
Enterprise Grid:
Восстановление после сбоя
3

Миграция сервисов на резервный узел
Отчеты
Процессинг
Узлы (серверы)
Enterprise Grid:
Восстановление после сбоя
4

Application Server Grid
Корпоративная сеть серверов приложений

Oracle Application Server
Свыше 16 тыс. заказчиков
Более 1000 компаний –
разработчиков прикладного ПО
Свыше 1400 системных интеграторов
99 технологических патентов
Источник: IDC, Application Deployment Platform Software Market, 2000-2002, June 2003
Worldwide Application Server Platform
Software Market*

Application Server Grid
Кластеризация сервера приложений
Кластеризация всех типов серверов: HTTP, Cache, J2EE
Автоматическое удаление/добавление узлов в кластер
Автоматическое распределение нагрузки между узлами кластера
Балансировка нагрузки на основе:
Метрик потребления ресурсов
Метрик, специфические для конкретных приложений
Планов и политик

Виртуализация сервисов промежуточного слоя
Серверы:
HTTP
Web Cache
J2EE
Процессы
EJB
Сервисы
Portal
Wireless Services
Web Services
Directory Services
Authentication
Authorization
Инфраструктура прикладной системы: объединение ресурсов и сервисов
HTTP Сервер
Web Cache
J2EE Сервер

Запланированное перераспределение ресурсов
Отчетность банка
Отчетность банка
Начало месяца:
Конец месяца:

Менеджер политик
Управление репозиторием политик
Менеджер ресурсов
Управление статусом и доступом к ресурсам
Диспетчер и Планировщик
Распределяют нагрузку на основе политик
Менеджер нагрузки
Управление на основе политик

Информационная безопасность
Централизованное администрирование и отзыв пользователей
Централизованное управление привилегиями пользователей для доступа к ресурсам и определение тождественности пользователя
Обеспечение возможности однократной регистрации для доступа к корпоративным приложениям
Разделение политик безопасности в рамках единой инфраструктуры

Grid Control
Управление корпоративной сетью распределенной обработки данных

Функции Grid Control
Управление структурой Grid
Распространяется на тысячи серверов
Управление качеством
прикладных сервисов
Управление конфигурациями
Снабжение ПО
Клонирование
Управление патчами

Управление конфигурациями
Исследование и анализ конфигураций
Полная информация о всем ПО Oracle (версии, патчи)
Детали конфигураций продуктов Oracle
Поиск и сравнение конфигураций
Отслеживание изменений конфигураций
Эталонные конфигурации
Автоматическое клонирование ПО
Массовое тиражирование эталонных конфигураций
Автоматическое управление патчами
Оперативное обнаружение новых патчей
Автоматическая доставка и применение

Затраты на сопровождение ПО
1 Установка
2 Создание и конфигурирование
3 Загрузка данных
4 Текущее управление системой и ее настройка
5 Поддержка программного обеспечения
6 Прочее

Самоуправляемая СУБД
Функции встроенной системы самоуправления
Настройка
Фиксация проблем
Извещения
Консультации
Инфраструктура самоуправления
Запросы SQL
Системные
ресурсы
Управление
памятью
Резервирование
И восстановление
Устройства
хранения
Ресурсы:
Automatic Workload Repository
Automatic Diagnostic Monitor
Automatic Maintenance Task
Advisory Infrastructure

ADDM Performance Monitoring
Snapshots
ADDM
MMON
In-memory
statistics
AWR
SGA
ADDM
Results
EM
30 minutes
ADDM
Results

Plan Tuning Flow
create
submit
output
SQL
Profile
Well-Tuned
Plan
use
No application
code
change

Database Performance
As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824,164.53 tpmC, $8.28/tpmC, available 12/31/03.
Source: Transaction Processing Council (TPC), www.tpc.org
World Record TPC-C

Database Performance
As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824,164.53 tpmC, $8.28/tpmC, available 12/31/03. Oracle Database 10g Enterprise Edition, HP 9000 Superdome Enterprise Server, 541,673 tpmC, $10.69/tpmC, available 12/31/03. Oracle9i Database Enterprise Edition, HP 9000 Superdome Enterprise Server, 423,414 tpmC, $15.64/tpmC, available 12/31/03
Source: Transaction Processing Council (TPC), www.tpc.org
28% Faster than Oracle9i
World Record TPC-C

Database Performance
As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824,164.53 tpmC, $8.28/tpmC, available 12/31/03. NEC Express5800/1320Xd, Oracle Database 10g Enterprise Edition, 521,440.53 tpmC, $11.77/tpmC, available February 15, 2004.
Source: Transaction Processing Council (TPC), www.tpc.org
World Record on Windows
World Record TPC-C

Database Performance
As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824,164.53 tpmC, $8.28/tpmC, available 12/31/03. NEC Express5800/1320Xd, Oracle Database 10g Enterprise Edition, 521,440.53 tpmC, $11.77/tpmC, available February 15, 2004. HP Integrity rx5670, (Oracle Database 10g Standard Edition), 136,110.98 tpmC, $4.09/tpmC, available December 31, 2003.
Source: Transaction Processing Council (TPC), www.tpc.org
World Record on Linux
World Record TPC-C

Application Server Performance
As of September 12, 2003: HP ProLiant ML370G3 (2 CPUs); Red Hat Linux AS 2.1; Oracle Application Server 10g; 431.26 TOPS@DualNode, $160.62/TOPS@DualNode. HP rx5670 (4 CPUs); HP-UX 11i; BEA WebLogic Server 7.0; 408.02 TOPS@DualNode, $1075.17/TOPS@DualNode.
Source: SPEC (http://www.spec.org)
1,037
?
BEA
IBM
World Record Linux SpecjAS2002
(4 procs)

Oracle Grid
Примеры построения корпоративных систем распределенной обработки данных

Electronic Arts
Компания – производитель игровых систем
Игра «The Sims Online» на Oracle
18 кластеров баз данных (Intel-Linux)
100,000 - 150,000 пользователей
30,000 SQL-операторов в секунду
Существенная экономия ($M) за счет использования серверов невысокой стоимости и подхода «pay-as-you-grow»
Высокая надежность – непременный атрибут игровых систем

CERN
Европейская организация по ядерным исследованиям (Conseil Europeen de la Recherche Nucleaire - CERN)
На оборудовании CERN работает 7 тыс. ученых из 500 научных центров
Большой Адронный Коллайдер (Large Hardon Collider – LHC)
Крупнейшая в мире установка для ускорения, накопления и столкновения пучков частиц сверхвысоких энергий
Длина вакуумного кольца – 27 км., глубина тоннеля – 100 м.
Запуск в 2007 году

CERN Openlab for Grid Applications
Партнеры лаборатории:
Entrasys (сетевое оборудование), HP (серверы), IBM (устройства хранения), Intel (процессоры Itanium), Oracle (программное обеспечение Grid)
Крупнейший в мире вычислительный комплекс*
Около 3,300 серверов, от 50 до 10 тыс. процессоров
Проектный объем базы данных – минимум 15 Петабайт
Использованы программные продукты Oracle
Oracle9i Database
Oracle9i Real Application Clusters
Oracle9i Application Server
*По классификации GRID – разделение ресурсов

Oracle University Grid
2 дня на установку недельного курса
108 часов в неделю на системное
администрирование
13 секунд на курс, одновременная установка
всех курсов
2 часа в неделю
1999 год
2003 год
240 Linux-серверов для 6 тыс. студентов

Oracle Outsourcing Grid
Центр аутсорсинга Oracle E-Business Suite
(г.Остин, Техас)
Более 500 серверов поддерживают Outsourcing Grid
Свыше 1000 Oracle DB, объем баз данных - 80TB
Каждому заказчику предоставлен набор серверов (slice of grid)
Дополнительные slice of grid выделяются из пула зарезервированных серверов
Использован Oracle9i Real Application Clusters
По классификации Grid – выделение ресурсов

Oracle Grid в России
Значение Grid: Mainstream развития инфраструктуры
На сегодняшний день:
Понимание целей и задач построения Grid
Стабильно высокий уровень интереса заказчиков
Первые пилотные проекты
Oracle Enterprise Grid – программная инфраструктура центров обработки данных
Перспективы
В ближайшие 2-3 года: построение первых промышленных Grid
Эволюционный характер построения Grid: включение в процесс по мере готовности заказчиков

“Из всех видов сильнейшим является тот, который лучше всех реагирует на изменения.”
– Чарльз Дарвин

Информация для контактов
Сергей Данилов
Oracle СНГ
Тел. [phone]
[email protected]
Ведущий консультант по
Базовым технологиям
Государственный сектор
Анатолий Барышников
Oracle СНГ
тел. [phone]
[email protected]
Менеджер проектов
Государственный сектор