Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД-архивы.

С 1978 года в качестве стандарта в области гидрометеорологии для представления данных в Госфонд был принят язык описания данных (ЯОД). ЯОД является унифицированным средством структуры данных Госфонда для всех видов информации, обеспечивая стуктурное единство и иформационную совместимость выходных форматов.
Специально разработанная В.М.Веселовым система СУД Аисори обеспечивает доступ к ЯОД-архивам и выполнение основных операций над ними включая выборку данных, их тестирование, реструктуризацию, статистические расчеты и т. п.

Организация нового поколения архивов – Нормализованных архивов выполнена с помощью технологии, реализованной на базе системы СУД Аисори.
Исходные первичные гидрометеорологические архивы имеют квазисиноптический формат – каждый файл содержит данные по всем станциям управления Гидрометслужбы за один месяц.
Нормализованная структура архива – получена в результате ряда операций, которые позволили перейти от квазисиноптической структуры архива к климатической, в которой каждый файл содержит данные по одной станции (с одним уникальным номером) за весь период наблюдений.
При формировании номализованного архива были выполнены проверка структуры массива, слияние и сортировка информации, удаление дублей, общее тестирование данных. Для файлов Нормализованной структуры был выполнен дополнительный выходной контроль.

В 2003 году был проведен анализ пропусков в нормализованных метеорологических и гидрологических массивах первичной обработки.
Основные причины пропусков в данных связаны:
-с нарушениями технологической дисциплины при обработке и передаче данных в РВЦ (ТВЦ) и УГМС;
-со сменой поколений ЭВМ, программных средств и технических носителей в УГМС;
-со сбоями при перезаписи данных.
По результатам анализа пропусков были получены справки о полноте информации.
Получение справки о наличии данных выполнялось с помощью программного комплекса Аисори по автоматизированному Каталогу, в который включены все когда-либо функционировавшие станции и посты УГМС. Справка показывает наличие и отсутствие данных по годам и месяцам.
Во все управления были высланы подробные справки-таблицы с наличием и отсутствием гидрометеорологической информации.
Ниже приведен пример справок по метеорологии и гидрологии для Приморского УГМС.

Отсутствие данных по годам и месяцам - метеорология

Первичные гидрологические архивы - полнота данных по годам

Аналогичные справки были направлены во все УГМС.
УГМС провели работу по анализу справок и передали в ГУ «ВНИИГМИ-МЦД» заполненные таблицы. На основании откорректированных справок по метеорологии и гидрологии, полученных из УГМС, были составлены Таблицы с объемами пропусков для каждого УГМС.
В рамках «Комплексной программы развития фонда данных Росгидромета на 2006-2009 и последующие годы» ГУ «ВНИИГМИ-МЦД» совместно с УГМС проводит организацию работ в части проведения сплошного контроля метеорологических и гидрологических архивов и заполнению имеющихся пропусков.
В ГУ «ВНИИГМИ-МЦД» разработан проект заключения (безденежного) Соглашения с УГМС по устранению пропусков и улучшению качества архивных файлов режимной гидрометеорологической информации, полученных средствами систем ПЕРСОНА, и уточнению каталога гидрометеорологических постов и станций.

Соглашения являются совместной работой по повышению качества массивов, переданных ранее на хранение в Госфонд (ГУ «ВНИИГМИ-МЦД»), включая заполнение имеющихся пропусков на электронных носителях в рядах наблюдений гидрометеорологических станций и постов по территории УГМС.
По запросу УГМС ГУ «ВНИИГМИ-МЦД» обеспечивает подготовку и оформление Соглашения между ГУ «ВНИИГМИ-МЦД» и УГМС на выполнение работ по заполнению пропусков в рядах наблюдений.
ГУ «ВНИИГМИ-МЦД» подготавливает передачу нормализованных данных по территории деятельности УГМС за период, указанный в Соглашении, и необходимого инструктивного материала в УГМС
Дополнительно для гидрологических массивов выполняется преобразование данных из формата ЕС ЭВМ в исходный формат файлов системы ПЕРСОНА РЕКИ.
Ниже представлена таблица, в которой отражены сведения об уже заключенных Соглашениях и результаты их выполнения.

Сведения о заключенных Соглашениях

Метеорология. Количество пропусков по Соглашениям

Гидрология Количество пропусков по Соглашениям

График соглашений полностью приславших пополненные
массивы по гидрологии.