Многопоточные вычисления на БД

Эволюция вычислительных мощностей
2

Современный Mainframe от Oracle
3

Объем растёт
Попытка впихнуть невпихуемое
4

Решение(?) в виде Parallel DML
5

Работа независимых потоков
6

Решение – фоновые процессы
SLAVE_PREPARE
SLAVE_PROCESS
SLAVE_FINISH
23--------
24--------
25--------
-----------
-----------
-----------
-----------
-----------
-----------
39--------
SLAVE_TASK_LIST
AQ
BOSS_PREPARE
BOSS_PROCESS
BOSS_FINISH
1---------
2---------
-----------
-----------
-----------
-----------
-----------
-----------
-----------
9999----
Задание
Задание
Ответ
Ответ
BOSS_TASK_LIST
7

Не сферические вычисления в вакууме
8

Пример «плохой» задачи и методы решения
Автопроводка документов
Инструментарий
Счет с остатком
Документ\ выписка
ДТ
КТ
Лог
Cloud control 12c
Фоновые процессы
версии 2014 года
Ядро платформы
Развитие версии 7.3.7.3
Сервер от IBM
с процессором Power7
9
Oracle 11.2

Решение задачи в лоб
Передача экземпляра по курсору
20 потоков
Суть эксперимента:
Обработано 700 документов
за 7 минут
10

Рандомизация выборки
Рандомизированная передача
экземпляра
20 потоков
Суть эксперимента:
Обработано 1300 документов
за 7 минут
11

Начинаем борьбу с блокировками
Задание – Счет по Дебет
20 потоков
Суть эксперимента:
Обработано 630900 документов
за 58 секунд с ошибками
12

Отладка «курильщика»
Добавили вывод в pipe
с чтением
20 потоков
Суть эксперимента:
Обработано 150 000 документов
за 7 минут
13

Отладка здорового человека
Вывод в таблицу
20 потоков
Суть эксперимента:
Обработано 630900 документов
за 135 секунд
14

С ног на голову
Alter index XXX rebuild reverse
50 потоков
Суть эксперимента:
Обработано 630900 документов
за 63 секунды
16

Пакетный вывод
Аккумулируем данные
в PlSql таблице
50 потоков
Суть эксперимента:
Обработано 630900 документов
за 136 секунд,
а в 20 потоков за 99 секунд
15

Массированный тест
Добавляем объем работ
50 потоков
Суть эксперимента:
Обработано 2343500 документов
за 66 секунд
17

Выводы
Первый успешный запуск
Финальный запуск
Минимальные трудозатраты
700 документов за 7 минут
2343500 документов
за 66 секунд
8 часов работы
20 потоков
Сильная загрузка сервера ничем
50 потоков
Полезная загрузка
18