Модели параллельного программирования. Лекция 2

Модель компьютера
Свойства модели:
Простота
Реалистичность
Последовательный характер выполнения программ
Рис. 1. Схема «read & write»

Модель параллельного компьютера
Параллельность
Масштабируемость
Локальность (read/write vs send/recv)
Основные свойства:
INTERCONNECT
Рис. 2. Схема «параллельного компьютера»

Модель последовательного программирования
Модульность
Процедуры
Функции
Структуры данных
Классы
Объектно-ориентированные конструкции
т.п.

Параллелизм (concurrency)
Масштабируемость (scalability)
Локальность (locality)
Модульность (modularity)
Модель параллельного программирования

Критерии выбора модели
Свойства механизмов абстракции:
масштабируемость;
модульность;
простота;
соответствие архитектуре.

Модели параллельного программирования
Модель «задача/канал»
Модель передачи сообщений
Модель разделяемой общей памяти
Модели, использующие параллелизм данных
Параллелизм задач / Параллелизм данных

Модель «задача/канал»
чтение / запись
послать сообщения на outports
получить сообщения из inports
создать новые задачи
завершить выполнение
Свойства:
Эффективность
Независимость отображения
Модульность
Детерминизм
Рис. 3. Схема модели

Модель передачи сообщений
чтение / запись
послать сообщения to task1
получить сообщения from task1
создать новые задачи
завершить выполнение
Свойства:
Эффективность
Независимость отображения
Модульность
Детерминизм
Рис. 4. Схема модели

Модель разделяемой памяти
чтение / запись
завершить выполнение
Свойства:
Независимость отображения
Модульность
Рис. 5. Схема модели

Модель параллелизма данных
чтение / запись
завершить выполнение
Свойства:
Эффективность
Модульность
Рис. 6. Схема модели
Поток N
Поток A

Обобщенная схема моделей
Компилятор
Рис. 7. Обобщенная схема

Параллелизм данных
Параллелизм данных (SIMD-модель):
одна программа;
глобальное пространство имен;
слабая синхронизация;
низкая вовлеченность программиста;
векторизация;
распараллеливание во время трансляции.

Параллелизм данных: основные операции
Управление данными (равномерность загрузки)
Операции над массивами (повышение эффективности)
Условные операции
Операции приведения
Операции сдвига
Операции сканирования
Операции пересылки данных
FORTRAN+, MPP FORTRAN , HPF

Параллелизм данных: требования
Поддержка на уровне транслятора:
препроцессоры;
предтрансляторы;
распараллеливающие трансляторы.

Параллелизм задач
Параллелизм задач(MIMD-модель):
несколько программ;
разделенное пространство имен;
высокая синхронизация;
высокая вовлеченность программиста;
высокая трудоемкость;
распараллеливание до трансляции.