Визуализация в распределенных системах Институт математического моделирования Российской академии наук

Особенности момента
Потребность в суперкомпьютерах высока
Эффективность использования суперкомпьютеров низка:
Использование каждого ядра последовательной программой составляет проценты и доли процентов
Обмены, синхронизация и другие дополнительные операции ещё снижают эффективность параллельной программы
Есть минимальный объем вычислений на процессорное ядро, определяющий максимальное число используемых ядер
За счет многопроцессорности проблематично сокращать время моделирования физического процесса, но можно повышать сложность решаемой задачи, например за счет увеличения размеров и детальности представления изучаемых объектов

JSCC
MSU
Оперативная память
Кеш
Операционные устройства
Множественный доступ
Бета-тестер

Вычислительная среда
Выбор математической модели и солверов.
Сопоставление атрибутам начальных и граничных условий, физических параметров.
Выбор сервера вычислений
Выбор сервера визуализации
Проект
Построение геометрической модели,
поверхностной и объемной сетки.
Задание атрибутов.
Формирование варианта задания
Расчет варианта задания
Файлы результатов
Визуализация результатов

Визуализация
Скалярные
Векторные
Стационарные
Зависящие от времени
Решетки
Треугольные и тетраэдральные сетки
сетки
Большие

Этапы визуализации
Запись
Сетка Сеточная функция
Чтение
Формирование объектов виртуальной сцены
Отображение

Клиент-серверная технология
Аппроксимация и потоковая обработка
VISIT ParaView
EnSight OpenDX
Отображение
Расчет
Запись результатов
Копирование всех данных
Чтение
Формирование сцены
Чтение
Формирование сцены
TecPlot
Origin

Методы
Распределенное иерархическое хранение
Декомпозиция
Огрубление с контролируемой точностью
Клиент-серверная технология
Потоковая обработка
Хранение образов

Обтекание самолета
Сетка Изоповерхности

Расчетная сетка

Огрубление поверхностей

Огрубление поверхностей

Двухуровневое разбиение
Сетка предварительно разбивается на большое число микродоменов,
образующих макрограф
Вершины макрографа распределяются по процессорам
I
II

Потоковая обработка
40 процессоров, полное чтение файла
40 процессоров, чтение фрагментов файла

Изоповерхности
Ошибка аппроксимации 5%

Огрубление 3D-данных

Огрубление 3D-данных

Сечение регулярной 3D сетки плоскостью
В результате сечения регулярной кубической решетки получается фрагмент неструктурированной сетки

Аппроксимация триангулированных поверхностей
Алгоритмы синтеза
Алгоритмы редуцирования

Начальная аппроксимация кривой

Аппроксимация кривой
этап 2
1 вектор

Аппроксимация кривой этап 3
3 вектора

Аппроксимация кривой
этап 4
7 векторов

Аппроксимация кривой
этап 5
15 векторов

Методы редуцирования
Удаление ребра
Удаление точки
Уточнение топологии

Аппроксимация изоповерхностей

Плоскость, пересекающая цилиндр
Ошибка аппроксимации 5%

Многоуровневое огрубление больших сеток

Распределенная визуализация

Моделирование течения вокруг летательного аппарата

Изоповерхности поля плотности
RemoteViewer
Tecplot

Тетраэдральные сетки 108 узлов

Заполнение пространства пирамидами
На каждую из 2n точек в среднем опирается 2n пирамид
Число пирамид ~ n2

Зависимость объема хранимых данных от числа микродоменов
38 350 -> 2 356 196 узлов
219 034 * 82 -> 14 018 176 тетраэдров
На 35% больше чем 124

Нерегулярная тетраэдральная сетка
110 533 834 узлов
659 316 736 тетраэдров
2 589 184 поверхностных треугольников
Время выполнения программы на 100 процессорах МВС-15000ВМ составляет 270 секунд (с учетом записи данных на диск).
Время равномерного измельчения – 30 секунд.
Дисковое пространство 12.33 Гб

Библиотека ввода-вывода
Ввод-вывод тетраэдральных сеток
Хранение микродоменов
Хранение макрографа
Ввод-вывод регулярных решеток
Хранение фрагментов сеток
Хранение сеточных функций

Записи двух сеточных 2d функций
Функция F1 Функция F2
Рисунок 2.

Групповое сжатие вещественных чисел
Перегруппировка байт
Сжатие байт стандартной библиотекой zlib
Обнуление младших бит мантиссы

Отсечение младших бит мантиссы
f=x2+y2+z2
23 106 427 байт
10^9 узлов - 113 354 035 байт – 0.1% - 0.92 битa на узел
10^9 узлов:
1000 блоков по 10^6 узлов
3.54 ■ бинарный без компрессии без огрубления
компрессия без огрубления
3.141592
3.14159
3.1415
3.141
3.14

Огрубление данных

Моделирование процессов охлаждения CPU

CPU
Процессор, охлаждаемый медным радиатором
Мощность 65Вт
10мм
~1.4мм
Толщина
0.3мм
7мм
……
97.5мм, 78 медных пластин
100мм
……
Поток воздуха: T=20C, .004-.005 м3/с
Cu
30x30 мм
35мм до границы

Зависимость эффективности от числа ядер
Конфигурация: 78 тонких ребер (0.3 мм) на радиаторе
Сетка: 1000 х 3500 х 150 = 525 млн.
Параллельная реализация: MPI + нити (8 нитей на узле)

Изоповерхности температуры: Т=20.5, 21, 22.5 С
сетка 800*700*120=67,2 млн. узлов

Зависимость коэффициента сжатия от числа усеченных бит
28 244 379 w101_reduced 12.bjn
22 340 718 w101_reduced 13.bjn
17 228 023 w101_reduced 14.bjn
13 339 249 w101_reduced 15.bjn
5 171 208 w101_reduced 16.bjn
3 321 150 w101_reduced 17.bjn
2 213 949 w101_reduced 18.bjn
1 471 818 w101_reduced 19.bjn
793 457 w101grid.bjn
Сетка: 1000 х 3500 х 150 = 525 млн узлов

Параллельные библиотеки http://www.imamod.ru
SDLB - динамическая балансировка (0D)
MCoarse - огрубление сеток (2D, 3D)
BjnIOlib - ввод-вывод регулярных сеток
TMLlib - ввод-вывод неструктурированных сеток
LRND - генерация псевдослучайных чисел
PSORT - параллельная сортировка

Якобовский М.В.
д.ф.-м.н.,
зав. сектором
«Программного обеспечения многопроцессорных систем и вычислительных сетей»
Института математического моделирования
Российской академии наук
mail: mail: [e-mail]: [e-mail]
http://lira.imamod.ru