Организация систем хранения данных на базе вычислительных кластеров

Содержание
Вычислительные мощности Лаборатории суперкомпьютерного моделирования (ЛСМ)
СКИФ Урал
СКИФ Аврора
Проекты ЛСМ, с хранением и обработкой данных сверхбольших объемов
PargreSQL
MedMining
Energo
VideoStorm
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Динамика развития суперкомпьютерных мощностей в ЮУрГУ
Суперкомпьютер
СКИФ-Аврора ЮУрГУ
Пиковая производительность
117.6 Teraflops
2010 г.
Вычислительный
кластер
СКИФ Урал
Пиковая производительность
16 Teraflops
2008 г.
Вычислительный
кластер
Infinity
Пиковая
производительность
333 Gflops
2004 г.
Intel Xeon64
DP 3,2 ГГц
Intel Xeon E5472
3 ГГц
Intel Xeon x5680
3,33 ГГц
Суперкомпьютер
СКИФ-Аврора ЮУрГУ
Пиковая производительность
24 Teraflops
2010 г.
Intel Xeon x5570
2,93 ГГц

Кластер СКИФ Урал
Число вычислительных узлов/процессоров/ядер: 166/332/1328
Тип процессора:
Intel Xeon E5472 (4 ядра по 3.0 GHz)
Коммуникационные сети:
Системная:
InfiniBand (20 Gbit/s, макс. задержка 2 µs)
Управляющая: Gigabit Ethernet
Сервисная: СКИФServNet
Оперативная память: 1.33 TB
Дисковая память: 49.29 TB
Параллельная система хранения данных:
T-Platforms ReadyStorage – 20ТB
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Суперкомпьютер СКИФ Аврора
4 планируемое место
в рейтинге СНГ ТОР50
70 планируемое место
в рейтинге TOP500
117,64 TFlops
8832 вычислительных ядер
Коммуникационные сети:
Трехмерный тор: 60 Гбит/сек
InfiniBand QDR: 40 Гбит/сек
Сети мониторинга: 3 шт.
Оперативная память: 8.8 Тбайт
Дисковая память: 108 Тбайт
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Параллельная система хранения
Panasas ActiveStorage 5100 20Тб
Производительное хранилище данных с архитектурой NAS, разработанное специально для кластеров
Пропускная способность более 60 Гбит/сек
Параллельный доступ к данным всех узлов кластера
Рост объема системы не усложняет управляемость
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Проект PargreSQL
Внедрение параллелизма в свободную последовательную СУБД PostreSQL
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Фрагментный параллелизм
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

PostgreSQL vs PargeSQL
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Проект MedMining
Параллельная система сбора, накопления и анализа данных по эффективному использованию ресурсов человека при предельных физических нагрузках
Аппаратно-программный комплекс Oxycon Mobile
Более 40 различных показателей функционирования организма человека в режиме реального времени с дискретизацией до 1 сек.
Прирост базы данных исследований:
1 Гб в день
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Проект Energo
Создание автоматизированного ситуационного центра энергоэффективности
Прирост базы данных показателей: 1 Гб в месяц
Мониторинг и оптимизация потребления энергоресурсов объектов ЖКХ ЮУрГУ на основе оперативного и интеллектуального анализа данных об энергопотреблении
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров

Проект VideoStorm
Разработка параллельной системы управления видеоархивом телеканала ЮУрГУ-ТВ
Хранение сырого, монтированного и сжатого видео
Прирост объема видеоархива:
30 Тб в год
Эффективное хранение и обработка видео
сжатие видео
автоматическое разбиение на сцены
высокая готовность данных
СХД, 22-мар-11
Организация систем хранения на базе вычислительных кластеров