Реинжениринг данных общего архива наблюдений САО РАН

IAU : FITS-формат; классификация астрономических объектов; обозначения объектов; резолюция 5 Комиссии IAU об открытом веб-доступе к цифровым архивам обсерваторий, финансируемых из государственных бюджетов
IVOA : VOTable-формат; Unified Content Descriptors (UCD); протоколы доступа к данным: ConeSearch, SIAP, SSAP, SLAP, TAP …; Astronomical Data Query Language (ADQL), протоколы для веб-сервисов – PLASTIC, SEA, …

Требования к организации архивного CD/DVD диска:
включает метку диска и каталоги с наблюдениями
в каталоге хранятся данные одной ночи
название каталога включает дату наблюдений
наблюдение хранится в одном файле
нет жестких ограничений на формат файла

Архивная система включает хранилище данных (SF) и информационно-поисковую систему (SIS):
SF
SIS

Типы архивных файлов (235578):
Наблюдения– 91%
Журналы наблюдений-- 1%
Вспомогательные данные -- 8%
Оптические и радио данные

Оптические наблюдательные данные (169890 файлов, 96% - FITS):

САО РАН, 06.02.2008
Разделение наблюдательных данных по типу наблюдений:
Прямые снимки 55%
Эшелле-спектры 10%
Длинная щель 17%
Мультиобъектная спектроскопия 15%
Фабри-Перо 12%
Не определяются алгоритмом <0.1%
Стандартные запросы, кроме выбора данных по дате наблюдения, из-за
отсутствия необходимых параметров в заголовках файлов реализуются к
части наблюдательных файлов (без учета ошибок в параметрах):
Нет значений координат 17%
Нет имени объекта 4%
Не определено название программы 30%
Не определен заявитель 29%
Не определены наблюдатели 29%

Таблицы поисковой системы
Таблицы, содержащие информацию для коррекции значений параметров файлов (например: BTA, 6-m and so on)
Таблицы и представления с параметрами файлов
Таблица для связи параметров FITS-файлов и атрибутов поисковой системы

Схема таблиц поисковой системы

Деятельность International Alliance Virtual Observatory (IVOA)
регистры
модель астрономических данных
семантика– Unified Content Descriptors (UCD)
доступ к данным
язык запросов к астрономическим данным
программные сервисы для работы с данными в распределенной среде
формат для обмена данными (VOTable)

[email protected]
RCDL-VIII, Суздаль, 2006
Сопровождение и хранение (1)
[WG AD, IVOA IG CP]
Определение процедур для сбора информации, необходимой для доступа и управления данными
оценка – выбор того, что сохранять
поступление – контролируемый импорт данных
организация – как структурировать материал
описание – метаданные для обеспечения подлинности версии, семантического описания и целостности
хранение - создание архивной формы и помещение в хранилище
доступ – обнаружение и манипуляции

[email protected]
RCDL-VIII, Суздаль, 2006
Сопровождение и хранение (2)
Автоматизированная обработка, как в электронных библиотеках
Извлечение метаданных
Регистрирование метаданных и файлов
Проверка семантики и синтаксиса
Проверка целостности
Упаковка данных и метаданных
Шаблоны потока работ для контроля сопровождения и архивизации
Независимость от инфраструктуры (постоянные архивы)
Стандартные операции для взаимодействия с новой технологией