В.М. Веселов Анализ пропусков в метеорологических и гидрологических архивах по территории России.

08/13/2023
Источники формирования нормализованных ЯОД-архивов
TM0_SR 3-срочные данные 1878-1935 300 1.01 77
TM1_SR 4-срочные данные 1936-1965 3471 9.36 591
ВОСХОД 8-срочные данные. 1966-1976 3429 11.81 893
ВОСХОД-77 8-срочные данные 1977-1983 3628 9.36 671
TM1_SU Суточные данные 1878-1965 3388 2.77 207
СУТ-66 Суточные данные 1966-1976 3423 1.31 128
СУТ-77 Суточные данные 1977-1983 3629 1.04 191
ТММ1 Наблюдения на станциях 1977-1984 3593 11.27 2155
ТМС Наблюдения на станциях 1984-2005 3649 18.64 955
ТМСС Суточные обобщения 1984-2005 3648 2.44 335
ТМСМ Месячные обобщения 1984-2005 3648 1.30 333
Срочные наблюдения, архивы ручной подготовки
Суточные обобщения, архивы ручной подготовки
Данные автоматизированных систем первичной обработки
Всего: 70.31 6536

08/13/2023
Среда хранения и среда обработки архивов
на примере архива ТМС–Текущая метеорология станций (1984 – 2007 гг.)
Хранение Обработка Хранение Обработка Хранение Обработка
1985-1993гг. 1998 г. 2005 г.
Магнитная лента
1000
1000
40
CD-ROM
Жесткий диск
Картридж
1 1
1000

08/13/2023
Основные недостатки базовых архивов
наличие структурных дефектов, появившихся как во время хранения, так и вследствие дефектов технологий сбора;
наличие дублей (полных и, еще хуже, частичных) как на уровне файлов, так и внутри файлов;
наличие существенных пропусков в данных;
отсутствие сведений о полноте и пропусках в данных
недостаточное качество данных,
неудобный способ упорядочения по пространственно-временным признакам, ориентированный на технологии сбора, а не на задачи обслуживания;
необеспеченность эффективного доступа (за счет хранения на лентах и картриджах)

08/13/2023
Потеря или появление лишних байтов, Инородные включения
Нарушение структуры в смысле файловой системы ОС
Ошибки значений счетчиков и длин
Выход ключей за границы
Нарушение постанционной структуры файлов
Выход значений за естественные границы
Ошибки формата элементов (буквы вместо цифр и т.п.)
Дефекты структуры базовых архивов

08/13/2023
Нормализованные архивы
Нормализованные архивы получаются из базовых архивов путем тщательного тестирования, исправления структурных дефектов, реструктуризации и упорядочения,
удаления дублей, устранения пропусков и других процедур, повышающих их качество
Для различных базовых архивов набор применяемых процедур может быть различным
Нормализованные архивы сопровождаются подробным описанием выполненных процедур и общей оценкой полноты и качества данных
Нормализованные архивы сохраняют содержание базового архива
Нормализованные архивы используется как отправная точка при формировании всех других производных массивов и баз данных, а также при обслуживании потребителей
Нормализованные архивы служат основой построения эффективной системы доступа к режимным данным
Нормализованный архив – это не просто производный массив, полученный применением определенных процедур к базовому архиву, а производный массив, наделенный статусом информационного ресурса Архивной системы

08/13/2023
Метеорологические станции России

08/13/2023
Число метеостанций России в срочных архивах Госфонда по годам

08/13/2023
Пропуски в срочных данных для метеостанций России в массивах Госфонда

08/13/2023
Сравнение пропусков в срочных данных в 2005 и 2007 гг.

08/13/2023
Полнота и отсутствие данных по станциям