Параллельные вычислительные системы: краткий обзор и классификация

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Пути достижения параллелизма
Примеры параллельных вычислительных систем
Суперкомпьютеры
Кластеры
Классификация вычислительных систем (систематика Флинна)
Заключение
Содержание

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Пути достижения параллелизма…
Под параллельными вычислениями понимаются процессы обработки данных, в которых одновременно могут выполняться несколько операций компьютерной системы

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Достижение параллелизма возможно только при выполнимости следующих требований:
независимость функционирования отдельных устройств ЭВМ (устройства ввода-вывода, обрабатывающие процессоры и устройства памяти),
избыточность элементов вычислительной системы
использование специализированных устройств (например, отдельные процессоры для целочисленной и вещественной арифметики, устройства многоуровневой памяти),
дублирование устройств ЭВМ (например, использование нескольких однотипных обрабатывающих процессоров или нескольких устройств оперативной памяти),
Дополнительная форма обеспечения параллелизма - конвейерная реализация обрабатывающих устройств
Пути достижения параллелизма…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Возможные режимы выполнения независимых частей программы:
многозадачный режим (режим разделения времени), при котором для выполнения нескольких процессов используется единственный процессор (данный режим является псевдопараллельным, в каждый момент времени исполняемым может быть единственный процесс),
параллельное выполнение, когда в один и тот же момент времени может выполняться несколько команд обработки данных (обеспечивается при наличии нескольких процессоров или при помощи конвейерных и векторных обрабатывающих устройств),
распределенные вычисления, при которых для параллельной обработки данных используется несколько обрабатывающих устройств, достаточно удаленных друг от друга, а передача данных по линиям связи приводит к существенным временным задержкам.
Пути достижения параллелизма…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Пути достижения параллелизма
Основное внимание будем уделять второму типу организации параллелизма, реализуемому на многопроцессорных вычислительных системах

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры
Суперкомпьютер – это вычислительная система, обладающая предельными характеристиками по производительности среди имеющихся в каждый конкретный момент времени компьютерных систем
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. Программа ASCI
(Accelerated Strategic Computing Initiative)
1996, система ASCI Red, построенная Intel, производительность 1 TFlops,
1999, ASCI Blue Pacific от IBM и ASCI Blue Mountain от SGI, производительность 3 TFlops,
2000, ASCI White с пиковой производительностью свыше 12 TFlops (реально показанная производительность на тесте LINPACK составила на тот момент 4938 GFlops)
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. ASCI White…
Система с 512-ю симметричными мультипроцессорными (SMP) узлами, каждый узел имеет 16 процессоров,
Процессоры IBM RS/6000 POWER3 с 64-х разрядной архитектурой и конвейерной организацией
с 2 устройствами по обработке команд с плавающей запятой и 3 устройствами по обработке целочисленных команд, они способны выполнять до 8 команд за тактовый цикл и до 4 операций с плавающей запятой за такт, тактовая частота 375 MHz,
Оперативная память системы – 4 TB,
Емкость дискового пространства 180 TB
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. ASCI White
Операционная система представляет собой версию UNIX – IBM AIX,
Программное обеспечение ASCI White поддерживает смешанную модель программирования – передача сообщений между узлами и многопотоковость внутри SMP-узла,
Поддерживаются библиотеки MPI, OpenMP, потоки POSIX и транслятор директив IBM, имеется параллельный отладчик IBM.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. Система BlueGene
Первый вариант системы представлен в 2004 г. и сразу занял 1 позицию в списке Top500
Расширенный вариант суперкомпьютера (ноябрь 2007 г.) по прежнему на 1 месте в перечне наиболее быстродействующих вычислительных систем:
212992 двухядерных 32-битных процессоров PowerPC 440 0.7 GHz,
пиковая производительность около 600 TFlops, производительность на тесте LINPACK – 478 TFlops
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. Система RoadRunner
RoadRunner является наиболее быстродействующей вычислительной системой (2008) и первым в мире суперкомпьютером, производительность которого превысила рубеж 1 PFlops (1000 TFlops):
Примеры параллельных вычислительных систем…
12960 процессоров IBM PowerXCell 8i и 6480 двухядерных процессоров AMD Opteron,
пиковая производительность около 1700 TFlops, производительность на тесте LINPACK – 1026 TFlops

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. МВС-15000…
(Межведомственный Суперкомпьютерный Центре РАН)
2005
Общее количество узлов 276 (552 процессора). Каждый узел представляет собой:
2 процессора IBM PowerPC 970 с тактовой частотой 2.2 GHz, кэш L1 96 Kb и кэш L2 512 Kb,
4 Gb оперативной памяти на узел,
40 Gb жесткий диск IDE,
Операционная система SuSe Linux Enterprise Server версии 8 для платформ x86 и PowerPC,
Пиковая производительность 4857.6 GFlops и максимально показанная на тесте LINPACK
3052 GFlops.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. МВС-15000
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Суперкомпьютеры. СКИФ МГУ…
(НИВЦ МГУ) 2008
Общее количество двухпроцессорных узлов 625
(1250 четырехядерных процессоров Intel Xeon E5472 3.0 ГГц),
Примеры параллельных вычислительных систем…
Общий объем оперативной памяти – 5,5 Тбайт,
Объем дисковой памяти узлов – 15 Тбайт,
Операционная система Linux,
Пиковая производительность 60 TFlops, быстродействие на тесте LINPACK 47 TFlops.

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры
Примеры параллельных вычислительных систем…
Кластер – группа компьютеров, объединенных в локальную вычислительную сеть (ЛВС) и способных работать в качестве единого вычислительного ресурса.
Предполагает более высокую надежность и эффективность, нежели ЛВС, и существенно более низкую стоимость в сравнении с другими типами параллельных вычислительных систем (за счет использования типовых аппаратных и программных решений).

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Beowulf…
В настоящее время под кластером типа “Beowulf” понимается вычислительная система, состоящая из одного серверного узла и одного или более клиентских узлов, соединенных при помощи сети Ethernet или некоторой другой сети передачи данных. Это система, построенная из готовых серийно выпускающихся промышленных компонент, на которых может работать ОС Linux/Windows, стандартных адаптеров Ethernet и коммутаторов.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Beowulf…
1994, научно-космический центр NASA Goddard Space Flight Center, руководители проекта - Томас Стерлинг и Дон Бекер:
16 компьютеров на базе процессоров 486DX4, тактовая частота 100 MHz,
16 Mb оперативной памяти на каждом узле,
три параллельно работающих 10Mbit/s сетевых адаптера,
операционная система Linux, компилятор GNU, поддержка параллельных программ на основе MPI.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Beowulf
1998, Система Avalon, Лос-Аламосская национальная лаборатория (США) , руководители проекта - астрофизик Майкл Уоррен:
68 процессоров (позднее расширен до 140) Alpha 21164A с тактовой частотой 533 MHz,
256 Mb RAM, 3 Gb HDD, Fast Ethernet card на каждом узле,
операционная система Linux,
пиковая производительность в 149 GFlops, производительность на тесте LINPACK 48.6 GFlops.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. AC3 Velocity Cluster
2000, Корнельский университет (США), результат совместной работы университета и Advanced Cluster Computing Consortium, образованного компаниями Dell, Intel, Microsoft, Giganet:
64 четырехпроцессорных сервера Dell PowerEdge 6350 на базе Intel Pentium III Xeon 500 MHz, 4 GB RAM, 54 GB HDD, 100 Mbit Ethernet card,
1 восьмипроцессорный сервер Dell PowerEdge 6350 на базе Intel Pentium III Xeon 550 MHz, 8 GB RAM, 36 GB HDD, 100 Mbit Ethernet card,
операционная система Microsoft Windows NT 4.0 Server Enterprise Edition,
пиковая производительность AC3 Velocity 122 GFlops, производительность на тесте LINPACK 47 GFlops.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. NCSA NT Supercluster
2000, Национальный центр суперкомпьютерных технологий (National Center for Supercomputing Applications):
38 двухпроцессорных систем Hewlett-Packard Kayak XU PC workstation на базе Intel Pentium III Xeon 550 MHz,
1 Gb RAM, 7.5 Gb HDD, 100 Mbit Ethernet card,
операционная система ОС Microsoft Windows,
пиковая производительностью в 140 GFlops и производительность на тесте LINPACK 62 GFlops.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Thunder
2004, Ливерморская Национальная Лаборатория (США):
1024 сервера, в каждом по 4 процессора Intel Itanium
1.4 GHz,
8 Gb оперативной памяти на сервер,
общая емкость дисковой системы 150 Tb,
операционная система CHAOS 2.0,
пиковая производительность 22938 GFlops и максимально показанная на тесте LINPACK 19940 GFlops (5-ая позиция списка Top500 ).
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Вычислительный кластер ННГУ…
2001, Нижегородский государственный университет, оборудование передано в рамках Академической программы Интел:
2 вычислительных сервера, каждый из которых имеет
4 процессора Intel Pentium III 700 MHz, 512 MB RAM,
10 GB HDD, 1 Gbit Ethernet card,
12 вычислительных серверов, каждый из которых имеет
2 процессора Intel Pentium III 1000 MHz, 256 MB RAM,
10 GB HDD, 1 Gbit Ethernet card,
12 рабочих станций на базе процессора Intel Pentium 4
1300 MHz, 256 MB RAM, 10 GB HDD, 10/100 Fast Ethernet card,
операционная система Microsoft Windows.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Вычислительный кластер ННГУ…
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Кластеры. Вычислительный кластер ННГУ
2007, Модернизация в рамках Инновационной образовательной программы ННГУ:
64 вычислительных сервера, каждый из которых имеет
2 двухядерных процессора Intel Core Duo 2,66 GHz, 4 GB RAM,
100 GB HDD, 1 Gbit Ethernet card,
пиковая производительность ~3 Tflops
операционная система Microsoft Windows.
Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Персональные мини-кластеры
T-Edge Mini - см. http://www.t-platforms.ru/ru/temini.php
4 двухпроцессорных узла на базе четырехядерных процессоров Intel Xeon (всего 32 вычислительных ядер)
Оперативная память – до 128Гбайт
Сеть передачи данных - Gigabit Ethernet или InfiniBand
Операционная система - SUSE Linux Enterprise
Server, RedHat Enterprise Linux или Microsoft
Windows Compute Cluster Server 2003
Пиковая производительность – 384 GFlops
Размеры (см) - 57х33х76
Примеры параллельных вычислительных систем

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)…
Классификация по способам взаимодействия последовательностей (потоков) выполняемых команд и обрабатываемых данных:
SISD (Single Instruction, Single Data)
SIMD (Single Instruction, Multiple Data)
MISD (Multiple Instruction, Single Data)
MIMD (Multiple Instruction, Multiple Data)
Классификация вычислительных систем…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)…
SISD – Один поток команд, Один поток данных:
Классификация вычислительных систем…
Поток команд
Поток данных
"Обычные" последовательные компьютеры

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)…
SIMD – Один поток команд, Множественный поток данных:
Классификация вычислительных систем…
Вычислительные системы с синхронным управлением, векторные компьютеры –
классический пример –
система ILLIAC IV

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)…
MISD – Множественный поток команд, Один поток данных:
Классификация вычислительных систем…
Конвейерная обработка ?
Пустой класс ?

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)…
MIMD – Множественный поток команд, Множественный поток данных:
Классификация вычислительных систем…
Многопроцессорные вычислительные системы

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Систематика Флинна (Flynn)
Классификация вычислительных систем
Практически все виды параллельных систем, несмотря на их существенную разнородность, относятся к одной группе MIMD

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Заключение
Приведена общая характеристика способов организации параллельных вычислений
Рассмотрено различие между многозадачным, параллельным и распределенным режимами выполнения программ
Приведен ряд примеров параллельных вычислительных систем
Дано описание одного из наиболее известных способов классификации вычислительных систем – систематики Флинна

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
В чем заключаются основные способы достижения параллелизма?
В чем могут состоять различия параллельных вычислительных систем?
Что положено в основу классификация Флинна?
Какие классы вычислительных систем можно выделить в соответствии с систематикой Флинна? Приведите примеры вычислительных систем для каждого класса.
Вопросы для обсуждения

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Приведите дополнительные примеры высокопроизводительных систем
Изучите список 500 наиболее производительных вычислительных систем в мире – список Top500 – см. http://www.top500.org
Изучите список 50 наиболее производительных вычислительных систем в России – список Top50 - http://www.supercomputers.ru
Рассмотрите дополнительные способы классификации вычислительных систем
Темы заданий для самостоятельной работы

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Гергель В.П. Теория и практика параллельных вычислений. - М.: Интернет-Университет, БИНОМ. Лаборатория знаний, 2007. – Лекция 1
Дополнительная литература:
Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. – СПб.: БХВ-Петербург, 2002.
Богданов А.В. и др. Архитектуры и топологии многопроцессорных вычислительных систем. М.: Интернет-Университет, 2004.
Таненбаум Э. Архитектура компьютера. – СПб.: Питер, 2002.
Дополнительные учебные курсы:
Богданов А.В. и др. Архитектуры и топологии многопроцессорных вычислительных систем. — http://www.intuit.ru/department/hardware/atmcs/
Барский А.Б. Архитектура параллельных вычислительных систем. — http://www.intuit.ru/department/hardware/paralltech/
Литература…

Н.Новгород, 2008 г.
Основы параллельных вычислений: Обзор параллельных систем
© Гергель В.П.
из 39
Общая характеристика многопроцессорных вычислительных систем
Следующая тема