Суперкомпьютерные технологии в задачах прогноза погоды и климата Е.Д. Астахова Гидрометцентр России

План презентации
Что такое прогноз погоды и климата?
Почему задача прогноза погоды и моделирования климата – задача Grand Challenge?
Что влияет на качество прогноза?
Что такое детерминированный прогноз погоды?
Что такое ансамблевый прогноз погоды?

Что такое прогноз погоды и климата?

Введение. Основы численного прогноза погоды и моделирования климата
Цель: Описание эволюции атмосферы
Суть: Решение численными методами уравнений гидротермодинамики атмосферы
Реализация: Модель атмосферы
Численный прогноз = Интегрирование модели атмосферы

Модель атмосферы
Уравнения гидротермодинамики
Методы их решения
Параметризации процессов подсеточного масштаба
(правая часть уравнений)

Дискретизация
Сферические координаты
Широтно-долготная сетка
По горизонтали
По вертикали

Beljaars, 2008
Пространственные и временные масштабы некоторых процессов в атмосфере

В зависимости от разрешения модели
физические процессы описываются явно или параметрически
Немецкая метеослужба DWD
GME COSMO_EU COSMO-DE
spatial: ~150 km ~30 km ~10 km temporal: ~4 min ~1.5 min ~30 sec
ECMWF T799 T1279 T2047 ~25 km ~16 km ~10 km 720 s 450 s 300 s

Основные физические процессы подсеточного масштаба, учитываемые в моделях атмосферы.
Микрофизика облака
Сток
Мелкая конвекция

Модели атмосферы
Спектральные и конечно-разностные – по методу решения уравнений
Глобальные, региональные, мезомасштабные - по пространственному масштабу
Краткосрочного, среднесрочного, долгосрочного прогноза погоды, климата – по временному масштабу

Часы Дни Недели Месяцы Сезоны Годы
Локальный
Региональный
Глобальный
Сверхкраткосрочный
прогноз(0-12ч)
Краткосрочный
прогноз (12-72ч)
Среднесрочный
прогноз (72-240ч)
Долгосрочный
прогноз
(30 дней-2 года)
Прогноз климата
(более 2 лет)
Пространственный масштаб
Временной масштаб
Расширенный прогноз
(10-30 дней)
Численное моделирование процессов в атмосфере

Современные тенденции: бесшовный подход
Единая система моделирования
на масштабах от дней до десятков лет
Численный прогноз
погоды
Численное моделирование
климата

Почему задача прогноза погоды
и моделирования климата –
задача Grand Challenge?
И что это такое?

Численное моделирование процессов в атмосфере
– задача «Grand Challenge» = фундаментальная проблема, решение которой имеет большое экономическое и научное значение и требует применения высокопроизводительных вычислений
Численный прогноз погоды
Моделирование климата
ТОЧНЕЕ и БЫСТРЕЕ!

Что влияет на точность численного прогноза погоды?
Качество начальных данных о состоянии атмосферы и поверхности Земли (наблюдений и методов их обработки)
Разрешение модели атмосферы
(Спектральные модели: T169L31 = 169 гармоник, треугольное усечение, 31 уровень по вертикали)
Полнота и точность параметризаций процессов подсеточного масштаба («физики»)

Роль начальных данных о состоянии атмосферы (влияние их малых возмущений на 5-сут прогноз)
Факт
Прогноз 1
контрольный
Прогноз 2
от
возмущенных
начальных данных
Прогноз 3
от
возмущенных
начальных данных

Роль разрешения модели
Осадки за вторые сутки прогноза, полученные по модели ECMWF с разным разрешением

Оправдываемость прогнозов температуры на уровне 2 м на 24 и 36 часов (% случаев с абсолютной ошибкой < 3 град)
по моделям T85L31 и T169L31 в Сибири
Верхоянск Оймякон Якутск
24 ч 36 ч 24 ч 36ч 24 ч 36 ч

Роль улучшения разрешения и параметризаций процессов подсеточного масштаба. Осадки
Радар
TL319
TL959
TL959
Новая схема
конвекции
Nakagawa,2005

Временные ограничения для задач прогноза погоды и климата
Прогноз погоды: 1 сутки за 10-20 мин
Наблюдения в фиксированные моменты времени
Надо успеть передать по каналам связи
Моделирование климата: 100-1000 дней за сутки
(World Modelling Summit for Climate Prediction, 2008)

Строгие временные рамки счета задачи численного прогноза погоды

GDAS
GFS anal
NAM anal
CFS
RTOFS
SREF
NAM
AQ
GFS
HUR
RDAS
Data processing
GENS/NAEFS
Использование компьютера для решения
различных прогностических задач в NCEP

Откуда так много вычислений?
(1) Разрешение 1 км:
Радиус Земли ~ 6380 км
Площадь поверхности ~ 128 000 000 кв.км
100 уровней по вертикали в модели
Итого около 13 млрд точек сетки!!!!!
(2) Задача моделирования изменения климата: Шаг по времени – минуты (устойчивость), временной масштаб – сотни лет.
Сколько минут в столетии?
52 560 000 !!!!

Суперкомпьютерные системы ведущих метеорологических центров мира

Salmond, 2004
Компьютеры, использовавшиеся в английской метеослужбе

Компьютеры в метеорологических центрах в 2009-2014

Улучшение качества численных прогнозов идет параллельно улучшению компьютерных ресурсов

(World Modelling Summit for Climate Prediction, 2008. WCRP No. 131.WMO/TD No. 1468, Jan.2009)

Проблема :
Программное обеспечение моделей атмосферы не рассчитано на десятки тысяч и миллионы процессорных элементов!!!
САМ – эксперименты до 100 000 РEs.

Масштабирование модели Европейского центра среднесрочных прогнозов с разрешением T1279L91

Что такое детерминированный и ансамблевый прогноз погоды и как он делается?

Пример прогноза Гидрометцентра России
meteoinfo.ru

Пример прогноза Гидрометцентра России
meteoinfo.ru

Начальные данные – данные наблюдений

Наземные наблюдательные системы
Синоптические станции
Радары
Буи

Неравномерное по пространству распределение данных
Синоптические станции Росгидромета

Метеорологические радары

Спутниковые данные

Сырые данные
Неравномерны
Зашумлены
Не пригодны для моделей
«Усвоенные» данные
Равномерны
Гладкие
Пригодны для моделей
Данные должны быть подготовлены для моделей
Система усвоения данных: замешиваются наблюдения и прогноз

Задача численного детерминированного прогноза погоды
Усвоение данных наблюдений (объективный анализ)
Препроцессинг модели
Инициализация данных (устранение ложных быстрых гравитационных мод)
Модель атмосферы
Постпроцессинг модели
Оценка качества прогноза
Передача результатов прогноза по каналам связи

Оперативные глобальные модели прогноза погоды

Численный прогноз погоды
Детерминированный прогноз
Однократное интегрирование модели атмосферы с использованием данных о начальном состоянии атмосферы, рассматриваемых как наилучшее приближение к истине
Ансамблевый прогноз
Многократное интегрирование одной или нескольких моделей атмосферы с использованием слегка различающихся данных о начальном состоянии атмосферы
Требует существенно больше компьютерных ресурсов!!!!

Улучшение качества наблюдений и увеличение их количества
Усовершенствование моделей атмосферы
Рост компьютерных мощностей
Точный
прогноз?
НЕТ!!!

ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ
Атмосфера – хаотическая система
Динамика ее нелинейна
Мелкомасштабные ошибки могут влиять на крупномасштабные процессы и приводят к возрастанию ошибок прогноза со временем
Данные о начальном состоянии атмосферы неточны
ошибки измерений
неравномерное распределение наблюдений в пространстве и во времени
Модели атмосферы несовершенны
Неточности в уравнениях
Параметрический учет физических процессов
Дискретизация

ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ
Эволюция ошибок в начальном состоянии атмосферы
Заблаговременность
прогноза
Линейный режим
Нелинейный режим
Детерминированный прогноз от наиболее точно определенного начального состояния
Истинная эволюция состояния атмосферы

ПPОГНОЗАМ ПОГОДЫ ПРИСУЩА ПРИНЦИПИАЛЬНАЯ НЕОПРЕДЕЛЕННОСТЬ
Хорошо предсказуемая ситуация
Плохо предсказуемая ситуация
Buizza 2002
Качество прогноза зависит от ситуации
Режим 1: сухо и тепло
Режим 2: холодно и сыро

Качество прогнозов
падает
с заблаговременностью
прогнозов
Качество прогнозов
зависит
от ситуации
Пользователям нужна
оценка качества прогнозов
Пользователям нужна
вероятность
экстремальных явлений
Нужен вероятностный прогноз!
Т.е. описание эволюции функции плотности
вероятности состояний атмосферы во времени.
Уравнение Лиувилля – долго.
АНСАМБЛИ!!!

Простейший ансамбль
–совокупность прогнозов, стартующих со слегка различающихся (возмущенных) начальных данных
(ансамбля начальных данных)
Ансамбль начальных данных должен:
Содержать равновероятные члены
Являться репрезентативной выборкой из вероятных состояний атмосферы
Включать истинное состояние атмосферы (т.е разброс достаточно велик)
Возмущения должны быть в пределах ошибок анализа
Реализация ансамблевого подхода

Неточность данных
о состоянии
атмосферы
Неточность данных
о состоянии
поверхности
Земли
Неточность модели
атмосферы
Бридинг
Ансамблевые трансформации
Сингулярные вектора
Системное моделирование
Стохастическая физика
Мультимодельность
Вариации параметризаций
Системное моделирование
Варьирование характеристик поверхности

Основные ансамблевые системы среднесрочного прогноза

Разброс ансамбля характеризует качество прогноза в зависимости от ситуации
Среднее по ансамблю дает лучшую ( по сравнению с детерминированным прогнозом) оценку истинного состояния атмосферы (даже при использовании модели худшего разрешения!)
Легко получить вероятностный прогноз явлений погоды
Выгоды использования ансамбля

Пример ансамблевого прогноза температуры воздуха в Лондоне
(метеограмма)

А что у нас ?
Фабрика погоды прошлого:
Ручной анализ
Суперкомпьютеры

Развитие моделей численного среднесрочного прогноза ECMWF и Гидрометцентра России и соответствующие характеристики компьютеров
ECMWF
1990 CRAY Y-MP, 8 PEs T106L31
1996 Fujitsu VPP700, 46 PEs T213L31
2006 IBM p575, 2400 PEs T799L91
Исследования T2047L62
Гидрометцентр России
1990 Hitachi 3033, 1 PE T40L15
1996 CRAY Y-MP, 8 PEs T85L31
2006 Xeon, 4 PEs T85L31
Исследования T339L31

Развитие моделей численного среднесрочного прогноза ECMWF и Гидрометцентра России и соответствующие характеристики компьютеров
ECMWF
1990 CRAY Y-MP, 8 PEs T106L31
1996 Fujitsu VPP700, 46 PEs T213L31
2006 IBM p575, 2400 PEs T799L91
Исследования T2047L62
Гидрометцентр России
1990 Hitachi 3033, 1 PE T40L15
1996 CRAY Y-MP, 8 PEs T85L31
2006 Xeon, 4 PEs T85L31
Исследования T339L31
2009: ECMWF 2*156 Tflops , 2*8320 PEs
Гидрометцентр России 11+16 Tflops, 1664+1416 PEs

Квази-оперативные и оперативные
прогностические модели Гидрометцентра России

Преемственность систем детерминированного и вероятностного численного прогнозирования
Технология
детерминированного
Прогноза:
T85L31 (150 км),
T169L31 (70 км),
T169L63 (70 км),
T339L31 (45 км),
T679L31 (25 км)
Технология
ансамблевого
Прогноза:
T85L31,
T169L31
Разработка версий модели
Разработка систем построения ансамблей
Спектральная модель атмосферы

Метод спектральных преобразований
θ, λ, z
m, n, z
µ, m, z

Спектральная модель:
Пространственная декомпозиция области расчетов в cеточном пространстве

Спектральная модель:
Декомпозиция области расчетов в спектральном пространстве

T339L31. 24-часовой прогноз.
2х-ядерный p575 1.5 Ггц

Спектральная модель:
На 1 PE ~100 мин
На 16 PEs ~18 мин
(без SHMEM ~23 мин)
На 64 PEs ~ 11 мин
Суточный прогноз должен быть готов за ~20 мин

Конфигурация ансамблевой системы прогноза

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 1 день вперед
от 11 сентября 2009 12 ВСВ
на 12 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 2 дня вперед
от 11 сентября 2009 12 ВСВ
на 13 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 3 дня вперед
от 11 сентября 2009 12 ВСВ
на 14 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 4 дня вперед
от 11 сентября 2009 12 ВСВ
на 15 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 5 дней вперед
от 11 сентября 2009 12 ВСВ
на 16 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 6 дней вперед
от 11 сентября 2009 12 ВСВ
на 17 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 7 дней вперед
от 11 сентября 2009 12 ВСВ
на 18 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 8 дней вперед
от 11 сентября 2009 12 ВСВ
на 19 сентября 2009 12 ВСВ

«Спагетти»
Н500 (516, 552, 576 гпм)
Пример выходной продукции системы ансамблевого прогноза
Прогноз на 10 дней вперед
от 11 сентября 2009 12 ВСВ
на 21 сентября 2009 12 ВСВ

Пример выходной продукции системы ансамблевого прогноза
Прогноз эволюции метеорологической переменной в пункте
Прогноз от 15 мая 2009

«Почтовые марки».
Пример выходной продукции системы ансамблевого прогноза
Н500

Среднее по ансамблю (изолинии) и разброс ансамбля (цвет). Высота геопотенциальной поверхность 500 гПа.
5-сут прогноз на 17/12/2007 12 ВСВ
Пример продукции ансамблевой системы
Прогноз наименее достоверен в областях с максимальным разбросом

Вероятности выпадения количества осадков, превышающего заданное пороговое значение
Пример выходной продукции системы ансамблевого прогноза
Valid: 17Jul2008/12
Prec > 2 mm/6h
Valid: 16Jul2008/12
Prec > 0.1 mm/6h

Полулагранжева модель прогноза погоды
Вертикальное разрешение – 28 уровней
Постоянное разрешение 0,9° по долготе, 0,72° по широте
(размерность задачи 400х250х28)
Одномерная декомпозиция по широте
MPI + OpenMP
Теоретическая масштабируемость ограничена Nlat ; для будущей версии 0,25°x0,18°x60 это дает 1000 процессоров

testSLM: Scalability

Время расчета прогноза на 1 сут. на 36 ядрах = 22 мин.

Гидрометеорологический центр Российской Федерации
COSMO-RU07: область интегрирования и характеристики модели
h = 2.8 km Начальные данные для 00 и 12 UTC
Прогноз на 78 часов
Шаг сетки 7 км
Сетка: 700 * 620 * 40
SGI Altix 4700 (1664 ядер)
(832 процессора Itanium, 64-bit, 3,3 Tb память)
Время счета прогноза на 78 час.
19 мин.: 1024 ядра
33 мин.: 512 ядер
59 мин.: 256 ядер
4900 км
4340 км

СПАСИБО ЗА ВНИМАНИЕ!

Бридинг-метод