Федеральный фонд данных ДЗЗ из космоса – порядок ведения и эксплуатации

Федеральный фонд данных ДЗЗ из космоса
7 марта подписан закон № 46-ФЗ о создании федерального фонда данных дистанционного зондирования Земли из космоса (далее – ФФД ДЗЗ). Законом определяются назначение и содержание этого фонда, а также устанавливаются общие положения по предоставлению данных, содержащихся в фонде.
Кроме того, законом уточняются полномочия правительства РФ и Госкорпорации «Роскосмос» в части, касающейся создания и ведения федерального фонда данных, порядка взаимодействия фонда с другими государственными фондами.
Основными целями федерального закона являются организация эффективного использования федеральными органами государственной власти и органами государственной власти субъектов Российской Федерации данных дистанционного зондирования Земли из космоса, полученных с государственных космических аппаратов или приобретенных за счет средств федерального бюджета, а также оптимизация расходования бюджетных средств при закупке таких данных.

Состав Федерального фонда данных ДЗЗ из космоса
Согласно закону, Федеральный фонд данных должен включать в себя:
данные, получаемые с государственных космических аппаратов;
данные, получаемые с негосударственных космических аппаратов и закупаемые уполномоченным органом по космической деятельности за счет средств федерального бюджета;
копии данных, получаемых с негосударственных космических аппаратов, закупаемых федеральными органами исполнительной власти, подведомственными им бюджетными и казенными учреждениями за счет средств федерального бюджета и передаваемых в федеральный фонд данных;
копии данных, получаемых с негосударственных космических аппаратов и передаваемых в федеральный фонд данных их правообладателями безвозмездно;
информацию о данных и копиях данных, содержащихся в федеральном фонде данных;
информацию о данных и копиях данных, получаемых с космических аппаратов гидрометеорологического, океанографического и гелиогеофизического назначения, содержащихся в едином государственном фонде данных о состоянии окружающей среды, ее загрязнении.

В целях реализации положений и норм Федерального закона от 07 марта 2018 г. № 46-ФЗ «О внесении изменений в Закон Российской Федерации «О космической деятельности» приняты постановления
Правительства Российской Федерации
от 31 мая 2019 г. № 689 «Об определении оператора федерального фонда данных дистанционного зондирования Земли из космоса и его полномочий»;
от 29 июня 2019 г. № 840 «Об утверждении Правил определения размера платы за предоставление данных дистанционного зондирования Земли из космоса и копий данных дистанционного зондирования Земли из космоса, содержащихся в федеральном фонде данных дистанционного зондирования Земли из космоса»;
от 24 августа 2019 года № 1086 «Об утверждения Правил создания и ведения федерального фонда данных дистанционного зондирования Земли из космоса и Правил передачи федеральными органами исполнительной власти, подведомственными им бюджетными и казенными учреждениями копий данных дистанционного зондирования Земли из космоса для включения в федеральный фонд данных дистанционного зондирования Земли из космоса»;
от 24 августа 2019 года № 1087 «Об утверждении Положения о порядке и особенностях предоставления данных дистанционного зондирования Земли из космоса, получаемых с космических аппаратов»;
от 24 августа 2019 года № 1088 «Об установлении порядка взаимодействия федерального фонда данных дистанционного зондирования Земли из космоса с другими государственными фондами»;
от 24 августа 2019 года № 1377 «Об утверждении Регламента информационного взаимодействия федерального фонда данных дистанционного зондирования Земли из космоса и федерального фонда пространственных данных».

В целях реализации положений и норм Федерального закона от 07 марта 2018 г. № 46-ФЗ
«О внесении изменений в Закон Российской Федерации «О космической деятельности»
изданы приказы Госкорпорации «Роскосмос»
Приказ Госкорпорации «Роскосмос» от 16.07.2019 № 215 «Об утверждении Порядка предоставления данных дистанционного зондирования Земли из космоса и копий данных дистанционного зондирования Земли из космоса, содержащихся в федеральном фонде данных дистанционного зондирования Земли из космоса»;
Приказ Госкорпорации «Роскосмос» и Росгидромета от 15.08.2019 № 257/388 «Об утверждении Регламента информационного взаимодействия федерального фонда данных дистанционного зондирования Земли из космоса и единого государственного фонда данных о состоянии окружающей среды, ее загрязнении»;
Приказ Госкорпорации «Роскосмос» от 07.06.2019 № 173 «Об утверждении требований к форме и содержанию информации о данных дистанционного зондирования Земли из космоса и копий данных дистанционного зондирования Земли из космоса, содержащихся в Федеральном фонде данных дистанционного зондирования Земли из космоса, включая состав основных характеристик, необходимых для идентификации данных дистанционного зондирования Земли из космоса (копий данных дистанционного зондирования Земли из космоса)».

Комплекс долговременного хранения информации Оператора КС ДЗЗ представляет собой унифицированный программно-аппаратный комплекс построенный на базе IBM System Storage TS3500 и обеспечивает архивацию данных ДЗЗ с КА российской орбитальной группировки.
В комплекс входят подсистемы: ЦБГД, Архив-К, КОДХ-РП, Архив-М.
IBM TS3500
Тактико-технические характеристики основной системы хранения информации КАХИ-О:
ХАРАКТЕРИСТИКИ КОМПЛЕКСА ДОЛГОВРЕМЕННОГО ХРАНЕНИЯ ОПЕРАТОРА КС ДЗЗ

СОСТАВ КОМПЛЕКСА ДОЛГОВРЕМЕННОГО ХРАНЕНИЯ
Входит функционально в АПС ФД ДЗЗ

ОБЪЕМЫ ИНФОРМАЦИИ В ДОЛГОВРЕМЕННЫХ АРХИВАХ
ОПЕРАТОРА КС ДЗЗ (С УЧЕТОМ ДУБЛИРОВАНИЯ)
Суммарная емкость информации находящейся в ленточной библиотеке в (основной накопитель и дубль):
5 859 Тбайт (5,859 Петабайта)
ОБЪЕМ ИНФОРМАЦИИ С УЧЕТОМ ДУБЛИРОВАНИЯ

ОБЪЕМЫ ИНФОРМАЦИИ В ДОЛГОВРЕМЕННОМ
АРХИВЕ (БЕЗ УЧЕТА ДУБЛИРОВАНИЯ)

СОСТАВ КОМПЛЕКСОВ ДОЛГОВРЕМЕННОГО
АРХИВА 2018 ГОДА

СТАТИСТИКА ПО ИСПОЛЬЗОВАНИЮ ДОЛГОВРЕМЕННОГО АРХИВА ПЕРИОД ОКТЯБРЬ 2017 – ОКТЯБРЬ 2018
СРЕДНЕЕ КОЛИЧЕСТВО ИНФОРМАЦИИ В СУТКИ (ГБ)

СТАТИСТИКА ПО ИСПОЛЬЗОВАНИЮ ДОЛГОВРЕМЕННОГО АРХИВА ПЕРИОД ОКТЯБРЬ 2017 – ОКТЯБРЬ 2018
СРЕДНЯЯ СКОРОСТЬ(МБ/СЕК)

СТАТИСТИКА ПО ЕЖЕДНЕВНЫМ ОБЪЕМАМ ИНФОРМАЦИИ
Информация ДЗЗ получаемая в НКПОР космических комплексов храниться на двух типах аппаратных средств
Долговременное хранение информации
Оперативное хранение информации
в среднем до 30 суток
Ресурс-П 952 Гб/сутки
Ресурс-П 725 Гб/сутки
Комплексы обработки информации
КВП
ЦБГД
Потребители
Задания
Информация по заявкам
ЕКББП 30 Гб/сутки
ЕКББП 10 Гб/сутки
Электро-Л 131 Гб/сутки
Электро-Л 10 Гб/сутки
Среднесуточный объем
Метеор 1,2 168 Гб/сутки
Метеор-М 1,2 45 Гб/сутки
ЦБГД 246 Гб/сутки
ЦБГД 96Гб/сутки
Входит функционально в АПС ФД ДЗЗ

Восстановление информации
(средняя скорость 70Мбайт/сек на 1 АРМ)
Одновременно 5 потоков
Есть в оперативном архиве
Да
Нет
Восстановление с лент
(22 Мбайт/сек)
Одновременно 4 потока
ТОПОЛОГИЯ ДОЛГОВРЕМЕННОГО АРХИВА
КВП
ЦБГД
Потребители
Заявка
Информация по заявкам
Чем больше оперативный архив комплекса, тем меньше задержки по выдачи информации.
В случае, если комплекс обработки не успевает выполнить заявку, в течении 90 дней, с момента поступления в оперативный архив, работа идет с «медленным» долговременным архивом.
90 суток хранения информации
Комплекс обработки
60 АРМ РП
24 АРМ Канопус
Задания
Заказ данных из архива

ТЕКУЩИЕ ПРОБЛЕМЫ ДОЛГОВРЕМЕННОГО АРХИВА
НКПОР-РП
Время восстановления информации из долговременного архива на рабочую станцию составляет – от нескольких минут до 4~6 часов;
Основные временные затраты на восстановление информации:
восстановление с лент до оперативного архива – до 2~3 часов;
копирование информации на рабочую станцию – до 2 часов;
Текущая технология работы с информацией в КОДХ-РП, имеет среднюю скорость восстановления
22 Мбайта/сек, исходя из технологического времени работы по восстановлению информации – 12 часов,
в сутки можно восстановить максимум 930 Гбайт.
Срок восстановления всего архива информации Ресурс-П, при
текущей технологии составляет – более 2-х лет.
2. При запуске работы ФД ДЗЗ, существенно возрастет нагрузка по восстановлению информации. Отсутствует дополнительный ресурс для обеспечения работы ФД ДЗЗ. Оценочно для решения задач в части ФД ДЗЗ из архива Ресурс-П может выгружаться порядка 300 Гбайт в сутки.
3. При вводе в штатную эксплуатацию ка Ресурс-П 4,5, объемы поступающих данных составят 3 Тбайта в сутки, что в дальнейшем приведет к уменьшению объемов восстанавливаемой информации по каждому аппарату.

ПЕРСПЕКТИВНАЯ СИТУАЦИЯ
ПО АРХИВАЦИИ ИНФОРМАЦИИ «РЕСУРС-П» 1,4,5

ТЕКУЩИЕ ПРОБЛЕМЫ АРХИВА ЦБГД
Проблемы хранения непрерывных покрытый публикуемых в Геопортал Роскосмоса.
Необходимо определить сроки и объемы хранения данных в оперативном (онлайн) доступе. В случае хранения всего объема, требуется дооснащение ЦБГД объемом дискового пространства не менее 2,5 Петабайт. В данный момент проблема решена привлечением СХД из состава КВР ЦОД.
Проблемы долговременного хранения информации в ЦБГД.
В соответствии с ТЗ на доработку НКПОР-М и НКПОР-К, ЦБГД должен обеспечивать архивацию информации в долговременный архив. На текущий момент ЦБГД может архивировать информацию только аппаратуры КМСС. Требуется доработка в 2019 году в части архивирования всей информации получаемой с КА «Метеор-М» 1,2,2.2.
Проблемы долговременного в части ФД ДЗЗ.
На текущий момент не произведена оценка производительности ЦБГД в части решения задач по ФД ДЗЗ. Какой объем в сутки можно восстанавливать по ФД ДЗЗ и выдавать потребителям? Какой объем в сутки можно архивировать ФД ДЗЗ?

ПРЕДЛОЖЕНИЯ В ЕТРИС 2019-2022
Буфер выдачи потребителям КВП (250 Тбайт)
Буфер выдачи потребителям ФД ДЗЗ (500 Тбайт)
Буфер проекта «Цифровая Земля» (1000 Тбайт)
Буфер Геопортала «Непрерывные покрытия»
(500 Тбайт)
Долговременный архив НЦ ОМЗ
(КОДХ-РП, ЦБГД, АРХИВ-К, АРХИВ-М)
Долговременный архив
КВР ЦОД
Восстановление информации по заявкам
Готовая к выдаче продукция в условных кадрах 2А / 2B
ЦБГД
Комплексы обработки информации (НКПОР)
Комплексы обработки на базе ЦОД
Автоматическое восстановление 2А / 2B

ПРЕДЛОЖЕНИЯ: ТОПОЛОГИЯ АРХИВА 2019-2022
Долговременный архив НЦ ОМЗ
(КОДХ-РП, ЦБГД, АРХИВ-К, АРХИВ-М)
Долговременный архив КВР ЦОД
Содержит все данные полученные в НЦ ОМЗ в период 2011 – 2022 год;
Содержит все данные ФД ДЗЗ
Основной архив ЕТРИС ДЗЗ на базе КВР ЦОД
(объем порядка 20 Петабайт)
Копия данных полученная в период
начиная с 2011 по 2022 год
НЦ ОМЗ г. Москва ул Декабристов вл. 51 стр. 25
ЦОД РКС г. Москва ул. Авиамоторная 53
ЦОД Калязин
Резервный долговременный архив
Содержит копию всех данных КВР ЦОД;

СТОИМОСТЬ ХРАНЕНИЯ 1 ТБ ДАННЫХ
Расчёт стоимости хранения 1 ГБ данных
при общем объёме хранилища 5 ПБ:
1 Библиотека IBM + 1 шкаф расширения
5 СХД Lenovo + 51 расширение
213 Серверов DELL
Стоимость хранения 5 Петабайт:
СХД (начального класса) - 125 млн. руб.;
(средняя скорость доступа, нет обработки)
Программ. опред. СХД (АПОИ) - 190 млн. руб.;
(высокая скорость доступа, есть обработка)
Ленточная библиотека - 21 млн . руб.
(низкая скорость доступа, нет обработки)