Содержание

Слайд 2

25.06.2006

Д. Заборов

GRID

Вычислительный GRID – форма распределенной вычислительной сети, предполагающая совместное координированное использование

25.06.2006 Д. Заборов GRID Вычислительный GRID – форма распределенной вычислительной сети, предполагающая
различными географически распределенными организациями вычислительных мощностей, программ, данных и систем их хранения, а также сетевых ресурсов.

Слайд 3

25.06.2006

Д. Заборов

Преимущества GRID

… перед простым набором независимых вычислительных кластеров
Автоматическое распределение нагрузки между

25.06.2006 Д. Заборов Преимущества GRID … перед простым набором независимых вычислительных кластеров
кластерами
Доступ к системам хранения данных не зависит от географического положения за исключением потребления сетевых ресурсов
Унифицированная среда приложений и др.

Слайд 4

25.06.2006

Д. Заборов

Преимущества GRID

... перед одним большим “супер-кластером”
Большая гибкость в плане организации и

25.06.2006 Д. Заборов Преимущества GRID ... перед одним большим “супер-кластером” Большая гибкость
финансирования
Отсутствие необходимости выбора места строительства

Слайд 5

25.06.2006

Д. Заборов

Что такое gLite

“Lightweight Middleware for Grid Computing”
Программный пакет для организации географически

25.06.2006 Д. Заборов Что такое gLite “Lightweight Middleware for Grid Computing” Программный
распределенных вычислительных сетей
Позволяет объединять в единую систему:
- вычислительные кластеры
- системы хранения данных
www.glite.org

Слайд 6

25.06.2006

Д. Заборов

Происхождение gLite

gLite – программное обеспечение GRID, разрабатываемое в рамках проекта EGEE

25.06.2006 Д. Заборов Происхождение gLite gLite – программное обеспечение GRID, разрабатываемое в
(www.eu-egee.org), финансируемого Евросоюзом
В пакете gLite использованы наработки, полученые в проектах
LCG (LHC Computing GRID)
EDG (European DataGrid)
Globus
и др.

Слайд 7

25.06.2006

Д. Заборов

Задействованные технологии

Condor (входит в gLite WMS)
Системы хранения данных CASTOR, dCache, и

25.06.2006 Д. Заборов Задействованные технологии Condor (входит в gLite WMS) Системы хранения
др.
Базы данных Oracle, MySQL
Языки XML, WSDL
Axis, Tomcat (для Web-сервисов)
и прочие

Слайд 8

25.06.2006

Д. Заборов

Web-сервисы

Многие сетевые протоколы gLite определены с помощью языка WSDL (Web Service

25.06.2006 Д. Заборов Web-сервисы Многие сетевые протоколы gLite определены с помощью языка
Definition Language)
WSDL – XML формат для описания сетевых сервисов как набора конечных точек (endpoints), оперирующих над сообщениями
Операции и сообщения описываются абстрактно и могут быть физически реализованы с использованием различных протоколов (SOAP, HTTP, и др.)
Существует взаимно однозначное соответствие между WSDL описанием сервиса и java-описанием его интерфейса
http://www.w3.org/TR/wsdl

Слайд 9

25.06.2006

Д. Заборов

gLite 3.0

gLite 3.0 в большей степени основан на LCG 2.7, чем

25.06.2006 Д. Заборов gLite 3.0 gLite 3.0 в большей степени основан на
на gLite 1.5 (предыдущая версия gLite)
Некоторые разработанные в рамках EGEE компоненты, в том числе gLite FireMan Catalog, не вошли в релиз gLite 3.0.
Некоторые другие разработанные в EGEE компоненты, в том числе информационная система R-GMA, напротив, уже ранее были включены в пакет LCG

Слайд 10

25.06.2006

Д. Заборов

Где используется gLite

gLite 3 в настоящее время является стандартом для WLHC/EGEE

25.06.2006 Д. Заборов Где используется gLite gLite 3 в настоящее время является
GRID (старое название - LHC Computing GRID)
Переход с пакета LCG на gLite официально состоялся в мае 2006

Слайд 11

25.06.2006

Д. Заборов

Архитектура gLite 1.0

Job management Services
Workload Management
Computing Element
Logging and Bookkeeping
Data management Services
File

25.06.2006 Д. Заборов Архитектура gLite 1.0 Job management Services Workload Management Computing
and Replica catalog
File Transfer and Placement Services
gLite I/O
Information Services
R-GMA
Service Discovery
Security
Deployment Modules
Distribution available as RPM’s, Binary Tarballs, Source Tarballs, APT cache

Metadata Catalog

File & Replica Catalog

Storage Element

Data Management

Data Services

Accounting

Site Proxy

Job Provenance

Package Manager

Computing Element

Workload Management

Job Management Services

Information & Monitoring

Application Monitoring

Application &
Monitoring Services

Authorization

Authentication

Auditing

Security Services

Grid Access Service

API

Access Services

Слайд 12

25.06.2006

Д. Заборов

Сегодняшнее устройство gLite 3.0

Job management Services
LCG WMS
LCG Computing Element
LCG L&B

25.06.2006 Д. Заборов Сегодняшнее устройство gLite 3.0 Job management Services LCG WMS
Service
gLite WMS
gLite Computing Element
gLite L&B Service
Data management Services
Storage Element
“old” RLS catalog
“new” LFC catalog
File Transfer Service
2 Information Systems
Globus MDS
gLite R-GMA
Security Services
VOMS Server
MyProxy Server

RLS Catalog

LFC Catalog

Storage Element

FTS

Data Services

Accounting

MyProxy

LCG CE

LCG WMS

gLite CE

gLite WMS

Job Management

MDS

Monitoring

R-GMA

Authorization

Authentication

Security

VOMS

LCG LB

gLite LB

CLI

API

Access (from UI/WN)

Слайд 13

25.06.2006

Д. Заборов

GRID Security Infrastructure (GSI)

Инфраструктура безопасности gLite 3.0 в целом соответствует принятой

25.06.2006 Д. Заборов GRID Security Infrastructure (GSI) Инфраструктура безопасности gLite 3.0 в
во многих GRID-проектах т.н. GRID Security Infrastruture (GSI)
Новизна связана с использованием VOMS-сервиса (Virtual Organisation Membership Service), хранящего информацию о принадлежности пользователей к определенным группам и виртуальным организациям и о роли в них

Слайд 14

25.06.2006

Д. Заборов

Аутентификация

Аутентификация = опознавание пользователя
Аутентификация в GRID основана на использовании асимметричной

25.06.2006 Д. Заборов Аутентификация Аутентификация = опознавание пользователя Аутентификация в GRID основана
криптографии и цифровых сертификатов стандарта X.509 v3
Обычно аутентификация осуществляется при установке соединения (с сервером)
В качестве имени пользователя используется текстовая строка определенного формата (Distinguished Name, DN)
Максимальная длина ключей в gLite 3.0 ограничена 2048 битами (ограничение Java 1.4.x)

Слайд 15

25.06.2006

Д. Заборов

Криптография с публичным ключом

Криптография с публичным ключом, или асимметричное шифрование –

25.06.2006 Д. Заборов Криптография с публичным ключом Криптография с публичным ключом, или
форма криптографии, позволяющая обмениваться зашифрованными сообщениями не имея доступа к секретному ключу корреспондента
Реализуется асимметричная криптография с помощью пары математически связанных друг с другом ключей: приватного и публичного
Для расшифровки данных, зашифрованных публичным ключом, необходим соответствующий приватный ключ
Асимметричное шифрование может использоваться для создания цифровых подписей и в процедурах аутентификации

Слайд 16

25.06.2006

Д. Заборов

Сертификаты

Сертификат является «цифровым паспортом» пользователя (или ресурса) GRID
Сертификаты выдаются специальными органами

25.06.2006 Д. Заборов Сертификаты Сертификат является «цифровым паспортом» пользователя (или ресурса) GRID
(“Certification Authority”)
При создании запроса на получение сертификата пользователь генерирует пару ключей
Физически сертификат представляет собой файл, содержащий информацию о пользователе, его публичный ключ, период действия сертификата и цифровую подпись выдавшей его Certification Authority
Цифровую подпись невозможно подделать простым копированием, т.к. процедура «подписывания» включает в себя шифрование тела сертификата с использованием приватного ключа CA.
С другой стороны, для проверки подписи достаточно иметь копию сертификата CA (которая содержит ее публичный ключ)

Слайд 17

25.06.2006

Д. Заборов

Пример сертификата (начало)

Certificate:
Data:
Version: 3 (0x2)
Serial Number: 1365 (0x555)

25.06.2006 Д. Заборов Пример сертификата (начало) Certificate: Data: Version: 3 (0x2) Serial
Signature Algorithm: sha1WithRSAEncryption
Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CA
Validity
Not Before: Jul 13 15:16:30 2005 GMT
Not After : Jul 13 15:16:30 2006 GMT
Subject: C=CH, O=CERN, OU=GRID, CN=Dmitry Zaborov 9003
Subject Public Key Info:
Public Key Algorithm: rsaEncryption
RSA Public Key: (1024 bit)
Modulus (1024 bit):
00:a9:60:44:9b:ae:91:13:1b:6b:40:bf:ad:11:66:
7b:65:09:f4:e4:a1:c1:56:05:8c:80:2e:44:7c:a9:
81:df:33:89:ac:a5:08:43:fc:88:91:71:07:f2:13:
8e:49:6f:56:5c:75:56:91:4f:c0:f4:f8:f9:34:0c:
20:cd:3a:14:f9:05:a8:e6:f7:d9:91:94:40:11:5b:
4c:d4:b9:10:f3:07:d3:8c:4e:5f:eb:6a:64:21:4c:
4f:69:85:86:21:7a:ea:0b:f8:8c:81:73:9f:84:b3:
db:32:4e:dc:32:c4:4e:37:4a:d7:24:4c:28:8c:a3:
ad:97:37:37:17:a3:b0:af:d7
Exponent: 65537 (0x10001)
X509v3 extensions:
...

Слайд 18

25.06.2006

Д. Заборов

Пример сертификата (продолжение)

Signature Algorithm: sha1WithRSAEncryption
94:42:0f:a4:38:63:0a:6b:da:fb:3f:2b:0e:41:38:14:cf:be:
9c:13:b1:41:cb:7a:99:9d:bd:1d:4e:20:5c:7f:e3:f4:58:e2:
b8:26:af:c9:05:d5:de:9e:76:ae:7b:21:25:68:50:f5:b6:29:
f3:2c:f2:ae:11:68:5b:2e:18:bf:2c:05:f4:52:52:b9:a1:55:
48:ba:db:67:c5:67:e3:c8:d3:cb:5f:d6:2b:4d:69:5b:f7:c7:

25.06.2006 Д. Заборов Пример сертификата (продолжение) Signature Algorithm: sha1WithRSAEncryption 94:42:0f:a4:38:63:0a:6b:da:fb:3f:2b:0e:41:38:14:cf:be: 9c:13:b1:41:cb:7a:99:9d:bd:1d:4e:20:5c:7f:e3:f4:58:e2: b8:26:af:c9:05:d5:de:9e:76:ae:7b:21:25:68:50:f5:b6:29:
84:a2:4c:11:52:52:06:c2:d5:a8:70:25:d7:95:65:30:9a:b3:
dd:5e:cd:8b:32:87:29:3a:4d:ca:ca:3f:7a:56:20:d0:fb:88:
0e:de:54:e5:82:f8:87:5d:4c:7a:0b:ff:cf:d5:d6:af:02:ac:
98:a2:6c:83:09:ee:a6:7f:bd:c8:01:d2:3e:5d:02:ee:44:73:
c6:13:bc:fb:76:f3:02:43:e6:ba:30:79:b8:d2:51:68:9e:2c:
04:0e:3e:14:dd:4f:5c:e1:14:3f:14:b1:e3:27:0e:7b:f0:ea:
c4:ab:b4:c2:76:0d:a3:b6:5c:33:d4:cc:06:3e:5b:37:c7:4a:
f3:87:89:5e:a7:aa:87:65:03:d5:a0:7d:e2:28:e7:8c:05:68:
8c:a9:01:ca:0f:b0:02:b9:46:b1:10:55:34:27:f6:a7:2c:7f:
cc:b5:5b:fe

-----BEGIN CERTIFICATE-----
MIIDyjCCArKgAwIBAgICBVUwDQYJKoZIhvcNAQEFBQAwPTELMAkGA1UEBhMCQ0gx
DTALBgNVBAoTBENFUk4xDTALBgNVBAsTBEdSSUQxEDAOBgNVBAMTB0NFUk4gQ0Ew
HhcNMDUwNzEzMTUxNjMwWhcNMDYwNzEzMTUxNjMwWjBJMQswCQYDVQQGEwJDSDEN
MAsGA1UEChMEQ0VSTjENMAsGA1UECxMER1JJRDEcMBoGA1UEAxMTRG1pdHJ5IFph
Ym9yb3YgOTAwMzCBnzANBgkqhkiG9w0BAQEFAAOBjQAwgYkCgYEAqWBEm66RExtr
QL+tEWZ7ZQn05KHBVgWMgC5EfKmB3zOJrKUIQ/yIkXEH8hOOSW9WXHVWkU/A9Pj5
NAwgzToU+QWo5vfZkZRAEVtM1LkQ8wfTjE5f62pkIUxPaYWGIXrqC/iMgXOfhLPb
Mk7cMsRON0rXJEwojKOtlzc3F6Owr9cCAwEAAaOCAUowggFGMAwGA1UdEwEB/wQC
MAAwHQYDVR0OBBYEFHqSoEV9fse57FCzdJqLIpn5K8sUMB8GA1UdIwQYMBaAFPJK
7op946p5B4vW3TvdoaVyMn5qMA4GA1UdDwEB/wQEAwID+DBSBgNVHR8ESzBJMEeg
RaBDhkFodHRwOi8vc2VydmljZS1ncmlkLWNhLndlYi5jZXJuLmNoL3NlcnZpY2Ut
Z3JpZC1jYS9jZ2ktYmluL2dldENSTDAiBgNVHRIEGzAZgRdzZXJ2aWNlLWdyaWQt
Y2FAY2Vybi5jaDAXBgNVHSAEEDAOMAwGCisGAQQBYAoBAgMwEQYJYIZIAYb4QgEB
BAQDAgWgMEIGCWCGSAGG+EIBAgQ1FjNodHRwOi8vc2VydmljZS1ncmlkLWNhLndl
Yi5jZXJuLmNoL3NlcnZpY2UtZ3JpZC1jYS8wDQYJKoZIhvcNAQEFBQADggEBAJRC
D6Q4Ywpr2vs/Kw5BOBTPvpwTsUHLepmdvR1OIFx/4/RY4rgmr8kF1d6edq57ISVo
UPW2KfMs8q4RaFsuGL8sBfRSUrmhVUi622fFZ+PI08tf1itNaVv3x4SiTBFSUgbC
1ahwJdeVZTCas91ezYsyhyk6TcrKP3pWIND7iA7eVOWC+IddTHoL/8/V1q8CrJii
bIMJ7qZ/vcgB0j5dAu5Ec8YTvPt28wJD5rowebjSUWieLAQOPhTdT1zhFD8UseMn
Dnvw6sSrtMJ2DaO2XDPUzAY+WzfHSvOHiV6nqodlA9WgfeIo54wFaIypAcoPsAK5
RrEQVTQn9qcsf8y1W/4=
-----END CERTIFICATE-----

Слайд 19

25.06.2006

Д. Заборов

Proxy Сертификаты

Основной сертификат пользователя (точнее его приватный ключ) для повышения безопасности

25.06.2006 Д. Заборов Proxy Сертификаты Основной сертификат пользователя (точнее его приватный ключ)
защищен паролем
При работе в GRID пользователь создает Proxy-сертификат
Proxy-сертификат не защищен паролем, что позволяет использовать его для делегирования полномочий пользователя запускаемым от его имени процессам
Proxy-сертификат имеет сравнительно короткий период действия (по умолчанию 12 часов)
При создании proxy-сертификата (команды типа grid-proxy-init или voms-proxy-init) необходимы основной сертификат пользователя и его приватный ключ (для подписи)
Обладание proxy-сертификатом дает права его обладателя (на период его действия)

Слайд 20

25.06.2006

Д. Заборов

MyProxy

Иногда периода действия proxy-сертификата может оказаться недостаточно (например при запуске очень

25.06.2006 Д. Заборов MyProxy Иногда периода действия proxy-сертификата может оказаться недостаточно (например
«долгих» задач)
Для таких случаев пользователю предоставляется возможность поместить долгоживущий сертификат в защищенное хранилище MyProxy
Использование сертификата, хранящегося на MyProxy-сервере, требует знания пароля, заданного при помещении сертификата на сервер
MyProxy используется при копировании файлов с помощью FTS-сервера

Слайд 21

25.06.2006

Д. Заборов

Авторизация

Авторизация = проверка наличия прав на совершение запрошенной операции
В gLite 3.0

25.06.2006 Д. Заборов Авторизация Авторизация = проверка наличия прав на совершение запрошенной
существуют два механизма авторизации:
grid-mapfile механизм
Использование VOMS сервиса (Virtual Organisation Memebership Service)
Права пользователя могут устанавливаться в зависимости от его принадлежности к той или иной виртуальной организации, группе и роли (с помощью VOMS)

Слайд 22

25.06.2006

Д. Заборов

Особенности системы безопасности gLite

При выполнении задач на рабочих нодах производится “отображение”

25.06.2006 Д. Заборов Особенности системы безопасности gLite При выполнении задач на рабочих
DN пользователя на локальный User ID, а его группы на локальный Group ID. Эти id используются также при доступе к файлам по незащищенной версии протокола rfio (если таковая поддерживается близлежащим SE).
В подсистемах каталогов и управления данными вместо DN могут фактически использоваться так называемые виртуальные id

Слайд 23

25.06.2006

Д. Заборов

User Interface

User Interface (UI) – компьютер, служащий в качестве точки доступа

25.06.2006 Д. Заборов User Interface User Interface (UI) – компьютер, служащий в
к GRID
Чтобы сделать из компьютера UI достаточно установить и настроить соответствующее программное обеспечение
Предусмотрен вариант установки в пользовательскую директорию, не требующий прав администратора
UI позволяет:
Запускать и отменять «задачи»
Получать информацию о ресурсах GRID, статусе запущенных задач, их «истории» и т.п.
Копировать, реплицировать и удалять файлы из GRID

Слайд 24

25.06.2006

Д. Заборов

Working Node

Working Node (WN, Рабочий Нод) – компьютер, служащий для выполнения

25.06.2006 Д. Заборов Working Node Working Node (WN, Рабочий Нод) – компьютер,
вычислений (задач) в GRID
Рабочие ноды объединяются в кластеры с помощью одной из batch-систем (таких как LSF или PBS), образуя единый вычислительный элемент (Computing Element, CE)
По составу установленного клиентского программного обеспечения GRID WN весьма близок к UI

Слайд 25

25.06.2006

Д. Заборов

CLI и API

В распоряжении пользователя имеются все необходимые для работы в

25.06.2006 Д. Заборов CLI и API В распоряжении пользователя имеются все необходимые
GRID команды, которые можно запускать как с UI из командной строки (Command Line Interface, CLI), так и использовать в скриптах
Также существуют различные инструменты, обладающие графическим интерфейсом или Web-интерфейсом
Кроме того, взаимодействие с GRID может осуществляться посредством различных API (программных интерфейсов приложений), т.е. «изнутри» программы пользователя

Слайд 26

25.06.2006

Д. Заборов

Задачи

Задача (англ. Job) – совокупность действий по обработке и передаче данных,

25.06.2006 Д. Заборов Задачи Задача (англ. Job) – совокупность действий по обработке
рассматриваемая в комплексе в качестве единицы вычислительной работы
С точки зрения пользователя запуск задачи представляет собой запуск программы с помощью соответствующих средств GRID
В настоящее время официально поддерживается лишь единственный тип задач – простая пакетная задача (batch job)
Предусмотрены средства для запуска интерактивных, “checkpointable-” и MPI-задач

Слайд 27

25.06.2006

Д. Заборов

Job Description Language

Задача должна быть описана на языке описания задач JDL
JDL

25.06.2006 Д. Заборов Job Description Language Задача должна быть описана на языке
файл служит аргументом команды запуска задачи
Язык JDL, используемый в LCG/gLite GRID, основан на языке ClassAd (Classified Advertisement), разработанном проектом Condor
Синтаксис языка JDL представляют собой выражения типа
attribute = value;
Язык чувствителен к количеству пробелов и символам табуляции

Слайд 28

25.06.2006

Д. Заборов

Computing Element

GRID Gate

Local Resource
Management System
(OpenPBS, LSF, BQS …)

Worker Node

Worker Node

Worker

25.06.2006 Д. Заборов Computing Element GRID Gate Local Resource Management System (OpenPBS,
Node

CE

Job

CE – совокупность вычислительных ресурсов, локализованных в одном месте (“сайте”)
В gLite 3.0 существуют два типа CE: LCG CE и gLite CE
В LCG CE роль GRID Gate выполняет Globus Gatekeeper
gLite GRID Gate происходит из CondorC
В информационной системе gLite каждый CE фактически соответствует одной очереди LRMS

Слайд 29

25.06.2006

Д. Заборов

Workload Management System

WMS - Система Управления Рабочей Нагрузкой - отвечает за:
Принятие

25.06.2006 Д. Заборов Workload Management System WMS - Система Управления Рабочей Нагрузкой
запросов на постановку задач
Выбор CE, наилучшим образом подходящего для выполнения задачи
Передачу файлов, составляющих т.н. Input и Output Sandbox (небольшие файлы параметров и т.п., не файлы данных!)
Отслеживание состояния задач
Ведение логов

Слайд 30

25.06.2006

Д. Заборов

Workload Management System

25.06.2006 Д. Заборов Workload Management System

Слайд 31

25.06.2006

Д. Заборов

Компоненты gLite WMS

WMProxy/Network Server – интерфейс к функциональности WMS
Workload Manager –

25.06.2006 Д. Заборов Компоненты gLite WMS WMProxy/Network Server – интерфейс к функциональности
главный компонент системы
Resource Broker – вспомогательный компонент
Information SuperMarket (ISM) – хранит информацию необходимую для сопоставления ресурсов задачам (или наоборот)
Job Controller & Job Adapter – ответственны за CondorC submission file и wrapper script, передачу input/output sandbox’ов
CondorC – постановка, удаление задач
DAGMan – DAG Manager
Logging and Bookkeeping – мониторинг задач
Log Monitor – просмотр лог-файлов CondorC для активных задач и т.п.

Слайд 32

25.06.2006

Д. Заборов

LCG vs. gLite WMS

В gLite 3.0 две системы WMS: LCG WMS

25.06.2006 Д. Заборов LCG vs. gLite WMS В gLite 3.0 две системы
и gLite WMS
LCG WMS может направлять задачи лишь на LCG CE, в то время как gLite WMS способна работать с обоими типами CE
gLite WMS является более новой и более совершенной разработкой по сравнению с LCG WMS
Преимущества gLite WMS в эффективности должны быть особенно велики при запуске массивных параллельных вычислений

Слайд 33

25.06.2006

Д. Заборов

Storage Element

Виды SE в gLite 3.0
Classic SE
состоит из GridFTP сервиса и

25.06.2006 Д. Заборов Storage Element Виды SE в gLite 3.0 Classic SE
“небезопасного” RFIO сервиса, дающих доступ к единственному диску или дисковому массиву
Не имеет SRM (Storage Resource Manager) интерфейса
не рекомендуется к установке
Mass Storage System (такие как CASTOR)
Доступ по GrigFTP и/или rfio
dCache Disk pool manager
Помимо dCache сервера может включать несколько машин с дисковыми массивами
Доступ по GrigFTP и/или dcap/rfio
LCG Disk pool manager (DPM)
Более легкая альтернатива dCache, разработан для LCG
Рекомендуется в качестве замены Classic SE

Storage Element

SRM

Storage

gLite I/O

gridFTP

Слайд 34

25.06.2006

Д. Заборов

Имена GRID файлов

GUID (Grid Unique ID)
Уникальный идентификатор файла
LFN (Logical File Name)
“Human-readable”

25.06.2006 Д. Заборов Имена GRID файлов GUID (Grid Unique ID) Уникальный идентификатор
псевдоним для GUID
Файл может иметь несколько имен
SURL (Storage URL)
URL физической копии файла (реплики)
Включает в себя адрес SE
Файл может иметь несколько реплик
TURL (Transport URL)
URL, готовый для обращения по одному из транспортных протоколов (например GridFTP)
Является производным от SURL

Слайд 35

25.06.2006

Д. Заборов

Способы доступа к GRID файлам

GSIFTP/GridFTP
Позволяет помещать файлы на SE и получать/скачивать

25.06.2006 Д. Заборов Способы доступа к GRID файлам GSIFTP/GridFTP Позволяет помещать файлы
их с SE
Поддерживается всеми типами SE
Аутентификация по сертификату
Из командной строки или через API
Прямой доступ
secure rfio (с аутентификацией по сертификату)
insecure rfio (аутентификация в пределах локальной сети по uid)
dCache Access Protocol (gsidcap)
Различные типы SE могут поддерживать один или несколько протоколов
только через API (GFAL, rfio API, …)

Слайд 36

25.06.2006

Д. Заборов

Права доступа к GRID файлам

Права доступа к файлам в WLCG/EGEE GRID

25.06.2006 Д. Заборов Права доступа к GRID файлам Права доступа к файлам
определяются с помощью списков управления доступом (Access Control List, ACL)
ACL состоит из базовой и расширенной частей
Базовая часть полностью аналогична стандартным правам UNIX (пользователь, группа, другие)
Расширенные ACL позволяют задать права для дополнительных пользователей и групп
У директорий помимо собственного ACL есть также т.н. default ACL. Новые файлы и директории автоматически получают default ACL родительской директории

Слайд 37

25.06.2006

Д. Заборов

Права на использование ресурсов GRID

Различные сайты (операционные центры) GRID могут поддерживать

25.06.2006 Д. Заборов Права на использование ресурсов GRID Различные сайты (операционные центры)
или не поддерживать те или иные VO
В частности, могут существовать CE и SE, зарезервированные для конкретной виртуальной организации

Слайд 38

25.06.2006

Д. Заборов

Службы Каталогов

Файлы хранящиеся на различных SE объединяются в единую “файловую систему”

25.06.2006 Д. Заборов Службы Каталогов Файлы хранящиеся на различных SE объединяются в
путем ведения их каталога
В gLite 3.0 две службы каталогов:
старый RLS Каталог (Replica Location Server)
и новый LFC каталог (LCG File Catalog)
Эти два каталога не синхронизованы
Пользователь вынужден выбирать с каким из этих двух каталогов он будет работать
Рекомендуется выбирать LFC

Слайд 39

25.06.2006

Д. Заборов

RLS Catalog

RLS каталог состоит из двух сервисов:
Local Replica Catalog (LRC)
Хранит

25.06.2006 Д. Заборов RLS Catalog RLS каталог состоит из двух сервисов: Local
список реплик GRID файла, т.е. Связывает GUID и SURL
Также хранит системные метаданные (размер файла и т.п.)
Replica Metadata Catalog (RMC)
Хранит список имен файла, т.е. связывает GUID с LFN
Также позволяет хранить пользовательские метаданные

Недостаток
RLS каталога в том, что он допускает неавторизованный доступ

Слайд 40

25.06.2006

Д. Заборов

LFC Catalog

LCG File Catalog (LFC) объединяет в себе функции файлового каталога

25.06.2006 Д. Заборов LFC Catalog LCG File Catalog (LFC) объединяет в себе
и каталога реплик, т.е. обеспечивает связь между GUID, LFN и SURL файлов
В LFC любой файл имеет основное имя (main LFN), а также может иметь псевдонимы (аналогично символическим ссылкам в UNIX)
Файлы организуют древовидную структуру (по их основным LFN)
Поддерживаются системные метаданные и краткое описание файла (одна строка)
Безопасность обеспечивается в полном объеме

Слайд 41

25.06.2006

Д. Заборов

FTS/FPS

File Transfer Service – низкоуровневый сервис, используется для копирования файлов между

25.06.2006 Д. Заборов FTS/FPS File Transfer Service – низкоуровневый сервис, используется для
системами хранения данных
File Placement Service также ответственен за регистрацию скопированных файлов в каталоге

FTS

SRM

UI

Data Sheduler

File & Replica Catalog

Storage

FPS

MyProxy

SRM

Storage

* FPS не вошел в релиз gLite 3.0

Слайд 42

25.06.2006

Д. Заборов

Data Management API

25.06.2006 Д. Заборов Data Management API

Слайд 43

25.06.2006

Д. Заборов

GRID File Access Library (GFAL)

25.06.2006 Д. Заборов GRID File Access Library (GFAL)

Слайд 44

25.06.2006

Д. Заборов

gLite Data Management System

WMS

Storage Element

SRM

Storage

gLite I/O

gridFTP

VOMS

MyProxy

Get credential

Store credential

File I/O

File namespace
and Metadata mgmt

File replication

Proxy

25.06.2006 Д. Заборов gLite Data Management System WMS Storage Element SRM Storage
renewal

Replica Location

Слайд 45

25.06.2006

Д. Заборов

MDS

MDS представляет собой централизованную систему, в которой вся информация собирается от

25.06.2006 Д. Заборов MDS MDS представляет собой централизованную систему, в которой вся
краев к центру
На каждом CE и SE запущен GRIS (GRID Resource Information Server), в котором публикуется информация о ресурсе
Информация со многих GRIS собирается другими сервисами, GIIS (GRID Index Information Server)
Роль центральных GIIS обычно выполняет Berkley Database Information Index (BDII)

Слайд 46

25.06.2006

Д. Заборов

MDS

Информация, публикуемая в MDS, организована в соответствии с определенными правилами (GLUE

25.06.2006 Д. Заборов MDS Информация, публикуемая в MDS, организована в соответствии с
Schema) и образует древовидную структуру (Directory Information Tree)
MDS основана на использовании OpenLDAP, “open source” реализации протокола LDAP – Lightweight Directory Access Protocol

Слайд 47

25.06.2006

Д. Заборов

R-GMA

R-GMA (Relational Grid Monitoring Architecture) – реализация предложенной GGF (Global GRID

25.06.2006 Д. Заборов R-GMA R-GMA (Relational Grid Monitoring Architecture) – реализация предложенной
Forum) архитектуры мониторинга GRID
Основана на разделении субъектов на производители данных, потребители данных и единый реестр

Слайд 48

25.06.2006

Д. Заборов

Особенности R-GMA

Хотя R-GMA и является централизованной системой, данные в ней не

25.06.2006 Д. Заборов Особенности R-GMA Хотя R-GMA и является централизованной системой, данные
собираются на одном сервере, а образуют распределенную базу данных, объединяемую в одно целое Реестром
Предусмотрена возможность дублирования Реестра (для повышения надежности)

Слайд 49

25.06.2006

Д. Заборов

MDS vs. R-GMA

R-GMA обладает большей гибкостью чем MDS
Главным недостатком MDS является

25.06.2006 Д. Заборов MDS vs. R-GMA R-GMA обладает большей гибкостью чем MDS
то, что безопасность доступа к информации в ней не обеспечивается
В настоящее время в WLCG/EGEE GRID для обнаружения ресурсов и публикования их статуса используется MDS, а для мониторинга, подсчета использованных ресурсов (Accounting) и публикования пользовательской информации – R-GMA. Также R-GMA дублирует информацию MDS
В будущем должен произойти полный переход на R-GMA

Слайд 50

25.06.2006

Д. Заборов

Компоненты gLite 3.0 и их происхождение

Computing Element
Grid Gate (Globus/Condor)
Condor-C (Condor)
Local batch

25.06.2006 Д. Заборов Компоненты gLite 3.0 и их происхождение Computing Element Grid
system (PBS, LSF, Condor, …)
Workload Management
LCG WMS (LCG, EDG)
gLite WMS (EGEE)
Logging and bookkeeping (EDG, EGEE)
Condor-C (Condor)
Storage Element
GridFTP (Globus)
File Transfer/Placement (EGEE)
SRM: Castor (CERN), dCache (FNAL, DESY), DPM (LCG)

Catalog
RLC Catalog (EDG, LCG, Globus)
LFC Catalog (LCG)
Information and Monitoring
MDS (Globus)
R-GMA (EDG, EGEE)
Security
GSI (Globus)
VOMS (DataTAG, LCG, EDG, EGEE)
GSI Authentication for C and Java based (web) services (EDG)

Слайд 51

25.06.2006

Д. Заборов

Отличия gLite 3.0 от LCG 2.7

Новые компоненты:
gLite WMS/LB
gLite CE

25.06.2006 Д. Заборов Отличия gLite 3.0 от LCG 2.7 Новые компоненты: gLite
gLIte/LCG WN
gLite/LCG UI
FTS
FTA

Слайд 52

25.06.2006

Д. Заборов

Отличия gLite 1.5 от LCG-2

Workload Management System works in push and

25.06.2006 Д. Заборов Отличия gLite 1.5 от LCG-2 Workload Management System works
pull mode
Computing Element moving towards a VO based scheduler guarding the jobs of the VO (reduces load on GRAM)
Re-factored file & replica catalogs
Secure catalogs (based on user DN; VOMS certificates being integrated)
Scheduled data transfers (FTS)
SRM based storage
Information Services: R-GMA with improved API, Service Discovery and registry replication
Move towards Web Services
Имя файла: 3.pptx
Количество просмотров: 67
Количество скачиваний: 0