ARC NorduGrid

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
2001-2002: часть NORDUNet2 программы, цель – создавать и развивать грид ПО (Middleware) и приложения в северных странах
Middleware: EDG
Приложения: HEP (ATLAS), теоретическая физика
Участники: академические группы из 4 северных стран
Дания: Research Center COM, DIKU, NBI
Финляндия: HIP
Норвегия: U. of Bergen, U. of Oslo
Швеция: KTH, Stockholm U., Lund U., Uppsala U. (ATLAS groups)
С конца 2002 исследовательское сообщество институтов
Открытое для всех
С конца 2003 вся деятельность посвящена только ПО middleware
Разработка собственного грид ПО middleware: Advanced Resource Connector (ARC)
6 основных разработчиков, множество сопутствующих студенческих проектов
Предоставление ПО middleware для исследовательских групп и национальных грид-проектов
История NorduGrid

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
История NorduGrid
2000 Сентябрь: GT-1.1.4 выпущен
2001 Январь: стартует проект EDG
2001 Ноябрь: Анонсирован GT-2.0
2002 Февраль: идея OGSA
2002 Апрель: GT-2.0 выпущен с
GRAM-1.5, MDS-2.0 (отсутствуют важные
части функциональности, проблемы
стабильности работы)
2001 Июнь: Первая встреча разработчиков NorduGrid
2001 Сентябрь : тестовая версия грид с
GT-1.1.4, переключение на GT-2.0 pre-alpha
2002 Февраль : решение разрабатывать альтернативное ПО, используя библиотеки Globus libraries. План, архитектура, философия NorduGrid
2002 Май: третий семинар NorduGrid, Helsinki демонстрация первого выпуска ПО
The middleware is available

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
ПО состоит из модулей, каждый из которых отвечает за некоторую часть функциональности
У каждого ресурса есть front-end ПО
Аутентификация пользователей, интерпретирование задач, взаимодействие с LRMS, публикация информации, перемещение данных
Каждый пользователь имеет легковесного независимого брокера
Обнаружение ресурсов, установка соответствий, подписание задач и работа с ними, слежение за ходом работы задач
Топология грид достигается за счет иерархического многокоренного набора сервисов индексации
Мониторинг полностью основывается на информационной системе

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Компоненты

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Компоненты
Вычислительные ресурсы: Linux класетры или рабочие станции
Дополнение не Linux ресурсами возможно через Linux front-ends
Front-end:
Специальный GridFTP сервер для передачи данных
Принимает запрос задачи и подготавливает задачу для LRMS
Производит практически все перемещения данных (загрузка, выгрузка), кэширование входных файлов, взаимодействует с каталогом реплик
Производит все манипуляции с задачей по запросу клиента
Публикует информацию о ресурсах и задачах

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Компоненты
Клиент: легковесный пользовательский интерфейс со встроенным брокером ресурсов
Набор утилит командной строки
Минимализм и простота
Брокер обеспечивает: поиск ресурсов, сравнение ресурсов, подписание задачи, управление задачей

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Взаимодействие брокера с сервисами грид
Над стрелками указаны используемые протоколы

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Компоненты
Информационная система: базируется на измененном OpenLDAP: использует GRIS и GIIS back-ends
Поддерживает жесткую структуру иерархии
Много-корневая система
Эффективно поддерживает псевдо-сетевую архитектуру, сходную с сетями разделения файлов (file sharing)
Информация храниться только на ресурсе; обновление не реже одного раза в 30 секунд

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Данные информационной системы через Ldap Browser

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Компоненты
Элемент хранения данных: любой тип системы хранения с дисковым front-end
Собственная реализация GridFTP сервера с добовляемыми модулями
Обычный доступ к файловой системе
Доступ базирующийся на Grid Access Control Lists (GACL)
“Smart" Storage Element – базирующийся на WS сервис со встроенной поддержкой сервисов репликаций (Globus’ RC, RLS)
Системы хранения на магнитных лентах не поддерживаются

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Функциональность
Предоставляет надежную реализацию основных грид сервисов:
Стандартная безопасность: единая подпись, Grid ACLs (GACL), VOs (VOMS)
Подписание задач: непосредственное или через брокер и сравнение
Информационный сервис: сбор ресурсов, представление, поиск и мониторинг ресурсов
Реализует основные возможности работы с данными
Автоматическая загрузка/выгрузка данных
Сервисы индексации данных (RLS, Fireman)
Мониторинг и управление задачами
Сервис регистрации прошедших задач
Построен на основе стандартных решений и протоколов
Globus Toolkit® pre-WS API and libraries (no services!)
OpenLDAP, OpenSSL, SASL, SOAP, GridFTP, GSI

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Особенности
Легковесный
Не навязчивый:
Владельцы ресурсов имеют полный контроль над своими ресурсами
Не требует специфических настроек ОС
Кластер не обязательно должен быть целиком предназначен для грид
Клиентская часть легко устанавливается начинающим пользователем
Простая система мониторинга
Специализация: ориентирован на пакетные задачи
Параллельные задачи возможны, но только внутри кластера
Интерактивные задачи не поддерживаются

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Grid Manager
Подготовка и запуск задач
Обработка задач после их выполнения
GridFtp
Передача данных
Grid Infosys
Модуль информационной системы
Собирает информацию о ресурсах, задачах и пользователях
Связывает модули NorduGrid между собой
Состоит из трех основных частей
Локальные информационные сервисы
Сервисы индексации
Процессы регистрации

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Грид-монитор
Позволяет просматривать данные, собираемые информационной системой Данные представлены в виде регулярно обновляемой веб-страницы
Клиентский модуль
Включает все минимально необходимые программы для работы в грид
Язык описания задачи – Extended Resource Specification Language
Брокер:
Поиск доступных ресурсов
Выбор подходящего ресурса
Передача задачи на ресурс

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Пример общего грид-монитора

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Пример грид-монитора с nordic.nw.ru

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Сертификаты
Сертификат хоста
Подтверждает подлинность компьютера.
Необходим на каждый front-end сервер
Сертификат пользователя
Подтверждает личность пользователя
Необходимым любому пользователю для работы в грид

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Установка ПО на front-end сервер
Внешнее ПО
Grid Packaging Tools (GPT)
Пакеты Globus Toolkit 4
OpenSSL, OpenLDAP, Cyrus SASL, Globus Replica Catalog, Globus RLS
VOMS Virtual Organization Membership Service
Библиотеки libxml2, Python, MySQL
ПО ARC NorduGrid

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Конфигурационный файл arc.conf
Единый конфигурационный файл для всех сервисов ARC.Имеет блочную структуру, каждый юлок отвечает за конфигурацию сервиса или части сервиса.
[common]
pbs_bin_path="/usr/local/bin"
pbs_log_path="/var/spool/torque/server_logs"
hostname="ap8.gridzone.ru"
lrms="pbs"
globus_tcp_port_range="9000,9300"
globus_udp_port_range="9000,9300"
x509_user_key="/etc/grid-security/hostkey.pem"
x509_user_cert="/etc/grid-security/hostcert.pem"
x509_cert_dir="/etc/grid-security/certificates"
gridmap="/etc/grid-security/grid-mapfile"
[group]
name="grid"
file="/etc/grid-security/local_users"

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
$netstat -nap
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:2135 0.0.0.0:* LISTEN 23482/slapd
tcp 0 0 0.0.0.0:15001 0.0.0.0:* LISTEN 19436/pbs_server
tcp 0 0 0.0.0.0:2811 0.0.0.0:* LISTEN 19498/gridftpd
tcp 0 0 195.70.213.238:15004 0.0.0.0:* LISTEN 19438/pbs_sched
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 25976/httpsd
tcp 0 0 0.0.0.0:8001 0.0.0.0:* LISTEN 25976/httpsd
udp 0 0 0.0.0.0:15001 0.0.0.0:* 19436/pbs_server
Запуск ARC
grid-manager, gridftpd, httpsd, grid-infosys

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Оборудование
GigEthernet сегмент LAN: CiscoCatalyst 2960G
Front-end сервер (ap8.gridzone.ru):
Intel Pentium 4 Dual Core 3.2GHz
2 x 1024MB DDR2 ECC
Вычислительные узлы (w3,w4,w7,w8):
2 x Intel Xeon Dual Core 3.0GHz
2 x 2048MB DDR ECC REG
OS: ScientificLinux 4.4

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Site configuration
ap8.gridzone.ru
Grid Manager
Grid Infosys
GridFTP
SSE
Grid Monitor
LocalCA
External Dependences
ARC Middleware
SimpleCA
GPT
Globus Toolkit® packages
VOMS
Python, MySQL, libxml2 libraries
PBS Server
PBS Scheduler
Ganglia
Cluster
32 CPU
PBS Client
MPICH-2.0
Gcc-4.2.0
Ganglia client
Local Resource Management System and Cluster Tools installing independently from ARC.
ARC Middleware installing on front-end server only.

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Основные команды
ngtest – тестирование ресурса с помощью встроенных тестов
ngsub – подписание задачи на выполнение
ngstat – получить статус задачи
ngcat – получить данные из выходного потока выполняющейся задачи
ngget – получить результаты работы задачи
ngkill – отменить задачу
ngclean – удалить из грид все данные относящиеся к задаче
ngrenew – обновление прокси-сертификата
ngls – просмотреть список Ваших файлов, хранящихся на ресурсе
ngcp – копирование файлов в грид
ngrm – удаление файлов с ресурса
ngacl – изменить параметры доступа к файлу

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Работа с файлами
Копирование файла при помощи сервиса GridFtp
$ ngcp file:///home/alex1/data.alex gsiftp://ap8.gridzone.ru:2811/topdir/data.alex
Убедимся, что файл скопировался
$ ngls gsiftp://ap8.gridzone.ru:2811/topdir
hello.xrsl
data.alex
cpi
Удалим файл
$ ngrm gsiftp://ap8.gridzone.ru:2811/topdir/data.alex
Removing gsiftp://ap8.gridzone.ru:2811/topdir/data.alex
Скопируем файл с использованием сервиса SSE
$ ngcp file:///home/alex1/data.alex se://ap8.gridzone.ru:8000/se?pi
Удалим файл
$ ngrm se://ap8.gridzone.ru:8000/se?pi
Removing se://ap8.gridzone.ru:8000/se?pi

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Запуск задачи
$ ngsub -c ap8.gridzone.ru -f ncpi.xrls
Задача запущена с ярлыком:
gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069
$ ngstat -a
Задача: gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069
Имя: ncpi
Состояние: FINISHED
$ ngget
gsiftp://ap8.gridzone.ru:2811/jobs/210911181402597440458069
Результат сохранён в /home/alex1/ncpi/210911181402597440458069
Обработано задач:1, успешно получено: 1

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Пример xrsl файла
&(* основной исполняемый файл задачи *)
(executable=/bin/echo)
(* аргументы для основного исполняемого файла *)
(arguments="Hello World" )
(* стандартный выходной поток будет перенаправлен в *)
(stdout="hello.txt")
(* стандартный поток ошибок будет перенаправлен в *)
(stderr="hello.err")
(* зададим задаче имя для более удобного мониторинга *)
(jobname="My Hello Grid")
(* дать указания кластеру, что Ваша задача должна быть помещена в очередь с соответствующим временем жизни *)
(cputime=5)
(* использовать только кластеры, имеющие соответствующее ПО *)
(middleware>="nordugrid-arc-0.6.0")

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Ссылки
http://www.nordugrid.org/papers.html - документация по ARC
http://www.nordugrid.org/documents/ui.pdf - "ARC User Interface: User's Manual" – updated for 0.5 and 0.6 ARC series
http://www.nordugrid.org/documents/userguide.pdf - "The NorduGrid ARC User Guide"
http://www.nordugrid.org/documents/xrsl.pdf - "XRSL (Extended Resource Specification Language)". O.Smirnova
http://nordic.nw.ru/gridmonitor - локальный грид-монитор
http://ap8.gridzone.ru – «логгер»

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
Job states
GM.pdf

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008
task flow
nordarch.pdf, 2002