Информационная система в gLite

EGEE tutorial, 15.02.2007
Службы gLite(реализовано)

EGEE tutorial, 15.02.2007
Информационная Система (ИС) gLite
В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах.
сайты (CE)
сайты (SE), предоставляющие возможности для хранения данных,
включая
данные мониторирования процесса выполнения задания
Эта информация может включать:
какие сайты способны выполнить данное задание,
как загружены сайты,
какое ПО установлено на них.
их статус,
максимальный размер
число файлов, которые могут быть сохранены.

EGEE tutorial, 15.02.2007
Получать информацию о
Грид-ресурсах и их статусе
Получать информацию о
статусе вашего задания
Использование ИС
Разработчик может
Пользователь может
Менеджер сайта или сервиса
Workload Management System:
Сопоставлять запросы задания и
доступные Грид-ресурсы
Monitoring Services:
Получает информацию о
Грид-ресурсах и их доступности
“Генерирует” информацию относительно
вашего сайта или сервиса

EGEE tutorial, 15.02.2007
ИС в gLite 3.0
В gLite используются 2 основных ИС:
Monitoring and Discovery Service (MDS) для
Relational Grid Monitoring Architecture (R-GMA) для
публикации информации пользовательского уровня.
мониторирования
сбора
публикации их статуса.
Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII)
сохранения информации о ресурсах

EGEE tutorial, 15.02.2007
MDS
MDS
использует представление данных в соответствии с GLUE(Grid Laboratory for a Uniform Environment) Schema
В LDAP используется иерархическая модель данных, представляющая элементы(entries), такие как, человек, компьютер, сервер и т.п., и их атрибуты
Специальный атрибут – objectclass может быть определён для каждого элемента. Он определяет набор обязательных и необязательных атрибутов для этого элемента.
(очень кратко)
GLUE решает вопросы интероперабельности
Основные программные компоненты разработанны так, чтобы быть частью базового middleware ГРИД каждого проекта. GLUE не требует сборки полной системы middleware, а выбирает компоненты так, чтобы решить конкретные вопросы интероперабельности.
построена на основе LDAP (Light-weight Directory Access Protocol), специализированной базы данных, оптимизированной для чтения, поиска и получения информации.
Доступ к ней открытый (insecure).

EGEE tutorial, 15.02.2007
id = pml id=gv id=fd
ou = IT ou = EP
c= US c=Switzerland c=Spain
Структура данных LDAP
► Lightweight Directory Access Protocol: древовидная структура данных
o = grid (корень DIT)
st = Geneva
or = CERN
►DIT (Directory Information Tree)
►Путь от узла к корню DIT определяет
встроенное уникальное имя ( DN):
“id=pml,ou=IT,or=CERN,st=Geneva,\
c=Switzerland,o=grid”

EGEE tutorial, 15.02.2007
Архитектура MDS сервиса
-- Иерархическая модель предоставления данных в информационной системе:
(GIIS в настоящее время заменяется на BDII)
CE, SE ?
GRIS ?
GIIS ?
BDII
-- Ресурсы описываются при помощи GLUE Schema.

EGEE tutorial, 15.02.2007
Примеры GLUE Schema(I)
Атрибуты для CE
¤ Базовый Класс для CE (objectclass: GlueCETop) : нет атрибутов
¤ CE (objectclass: GlueCE)
GlueCEUniqueID: уникальный идентификатор CE
GlueCEName: удобочитаемое имя сервиса
¤ CE Status (objectclass: GlueCEState)
GlueCEStateRunningJobs: количество запущенных заданий
GlueCEStateWaitingJobs: количество ждущих заданий
GlueCEStateTotalJobs: общее количество заданий (running + waiting)
GlueCEStateStatus: состояние очередей:
в очереди
работают
закрыты
…..
GlueCEStateWorstResponseTime:
наихудшее возможное время между представлением задания и
началом его выполнения

EGEE tutorial, 15.02.2007
Примеры GLUE Schema (II)
Атрибуты для SE
¤ Базовый класс (objectclass: GlueSETop) : нет атрибутов
¤ Aрхитектура (objectclass: GlueSLArchitecture)
GlueSLArchitectureType: тип оборудования (диск, ленты, ….)
¤ Протокол доступа (objectclass: GlueSEAccessProtocol)
GlueSEAccessProtocolType: тип протокола доступа или передачи файлов
GlueSEAccessProtocolPort: номер порта
GlueSEAccessProtocolVersion: версия протокола
GlueSEAccessProtocolAccessTime: время доступа к файлу по этому протоколуl

EGEE tutorial, 15.02.2007
Примеры GLUE Schema (III)
Смешанные атрибуты
¤ Связь между CE и одним или более SE (objectclass: GlueCESEBindGroup)
GlueCESEBindGroupCEUniqueID: уникальный ID для CE
GlueCESEBindGroupSEUniqueID: уникальный ID для SE

EGEE tutorial, 15.02.2007
LDAP
Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch)
LDAP может использоваться, как протокол доступа для большого числа баз данных
Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа

EGEE tutorial, 15.02.2007
Модели данных
Иерархическая – структура типа дерево;
потомок имеет только одного родителя.
легко разделяется (partitions); легко отображается на физические устройства.
BDII, LDAP
Реляционная – набор таблиц;
Язык запросов (SQL) эффективный,
широко распостраненный
R-GMA

EGEE tutorial, 15.02.2007
Недостатки LDAP
LDAP не поддерживает агрегатные запросы на различные объекты
относительно статичное описание данных для публикации - схема
запрос основывается только на атрибутах объекта.
MDS не позволяет приложениям добавлять свои собственные данные

EGEE tutorial, 15.02.2007
R-GMA
R-GMA: Relation Grid Monitoring Architecture
Поддерживает различные типы запросов:
Динамические данные о заданиях
Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы
R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS.
Данные представляются в виде таблиц.
Структура данных определяется по колонкам.
Каждая запись есть строка (tuple).
Язык запросов - Structured Query Language (SQL).
streams
archives
latest-value

EGEE tutorial, 15.02.2007
Мониторинг Грид

EGEE tutorial, 15.02.2007
Системы мониторинга
http://rocmon.jinr.ru:8080/
Cистема учета использования ресурсов
для LCG-сайтов РДИГ.
средним значениям использованной физической памяти
Доступна статистика по:
выполненным на сайтах задачам от различных виртуальных организаций
затраченному процессорному времени
времени нахождения задач в очереди.

EGEE tutorial, 15.02.2007
Мониторинг РДИГ
http://rocmon.jinr.ru:8080/

EGEE tutorial, 15.02.2007
Мониторинг Грид
http://goc.grid.sinica.edu.tw/gstat/
Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее.
Частота обновления информации – 5 минут

EGEE tutorial, 15.02.2007
Грид операционный центр
http://goc.grid.sinica.edu.tw/gstat/

EGEE tutorial, 15.02.2007
Грид операционный центр (ПИЯФ)
http://goc.grid.sinica.edu.tw/gstat/

EGEE tutorial, 15.02.2007
Мониторинг Грид
http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html
Java апплет, отображающий real-time прохождение задач в LCG

EGEE tutorial, 15.02.2007
Real-time мониторинг
http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html

EGEE tutorial, 15.02.2007
Мониторинг Грид
http://goc02.grid-support.ac.uk/googlemaps/lcg.html
Результаты прохождения ежедневных
SFT тестов из Операционного Центра в ЦЕРН.

EGEE tutorial, 15.02.2007
Результаты SFT тестов
http://goc02.grid-support.ac.uk/googlemaps/lcg.html

EGEE tutorial, 15.02.2007
Мониторинг Грид
http://cluster.pnpi.nw.ru/
Мониторинг загрузки кластера ПИЯФ

EGEE tutorial, 15.02.2007
http://cluster.pnpi.nw.ru/