Суперкомпьютер IBM Roadrunner

Общая информация
Roadrunner – суперкомпьютер, построенный IBM для Лос-Аламосской национальной лаборатории в Нью-Мексико (США).
25 мая 2008 года он достиг 1,026 петафопс и занял первое место в рейтинге ТОП500 суперкомпьютеров, поддерживая производительность в 1,0 петафлопс в бенчмарке LINPACK
Roadrunner занимал примерно 296 серверные стойки площадью 560 м2 и начал работать в 2008 году.
Он был списан 31 марта 2013 года.
Министерство энергетики США использовало Roadrunner для расчёта старения ядерных материалов и анализа безопасности и надёжности ядерного арсенала США. Также он использовался для научных, финансовых, транспортных и аэрокосмических расчётов.

Строение
Суперкомпьютер IBM Roadrunner
Узел Connected Unit (CU)
Модуль TriBlade
Блейд-сервер IBM BladeCenter LS21
Процессор AMD Opteron
Блейд-сервер IBM BladeCenter QS22
Процессор IBM PowerXCell 8i

Процессор AMD Opteron
Архитектура AMD64 (x86-64)
Процессор SMP
Многопроцессорная система NUMA
PSMP (AMD Opteron Core) = Ipv 64[2 Core (AMD Opteron Core), U (Crossbar), CtrM (Memory/DRAM Controller), 3 U (HT Link)]

Ядро процессора AMD Opteron
Core (AMD Opteron Core) = {Rg64, B, F, Cshi164KB, Cshd164KB, Csh21024KB}

Процессор IBM PowerXCell 8i
1 PPE (PowerPC Processor Element)
8 SPE (Synergistic Processor Element)
Совместно используют память

IBM PowerXCell 8i PPE
Core (IBM PowerXCell 8i PPE) = {Rg64, B, F, Cshi132KB, Cshd132KB, Csh2512KB}

IBM PowerXCell 8i SPE
Core (IBM PowerXCell 8i SPE) = {Rg64, B, F, M256KB (SRAM), U(DMA)}

IBM PowerXCell 8i
NUMA, так как SPE работает с LS, а не с общей памятью, но имеет DMA
PNUMA (IBM PowerXCell 8i) = Ipv 64[Core (IBM PowerXCell 8i PPE), 8 Core (IBM PowerXCell 8i SPE), U (Element Interconnect Bus), 2 CtrM (Memory Controller), 2 U (I/O Controller)]

Модуль TriBlade
BldNUMA (IBM BladeCenter LS21) = {2 M4GB (DDR SDRAM)200MHz <- 6.4 GB/s -> PSMP (AMD Opteron Core) <- Hyper Transport x16 32Gb/s 1GHz-> PSMP (AMD Opteron Core) <- 6.4 GB/s -> 2 M4GB (DDR SDRAM)200MHz}
BldNUMA (IBM BladeCenter QS22) = {M4GB (DDR2 SDRAM)400MHz <- 6.4 GB/s -> PNUMA (IBM PowerXCell 8i) <- -> PNUMA (IBM PowerXCell 8i) <- 6.4 GB/s -> M4GB (DDR2 SDRAM)400MHz}
NodeNUMA (TriBlade) = {BldNUMA (IBM BladeCenter LS21) <- 2x Hyper Transport x16 32Gb/s 1GHz -> Bld (Expansion Blade) <- 4x PCIe x8 32Gb/2 -> 2 BldNUMA (IBM BladeCenter QS22)}

Узел Connected Unit (CU)
NodeClusterHPC (Connected Unit) = < Switch (Voltaire ISR2012 2GB/s) > [180 NodeNUMA (TriBlade), I/O, SS]

Суперкомпьютер IBM Roadrunner
17 узлов CU (планировалось 18)
8 коммутаторов второго этапа Infiniband ISR2012 (6 необходимо)
12 восходящих линий до каждого (96 всего)
SuperClusterHPC (IBM Roadrunner) = < 8 Switch (Voltaire ISR2012 2GB/s) > [17 NodeClusterHPC (Connected Unit)]

Структурная нотация
Core (AMD Opteron Core) = {Rg64, B, F, Cshi164KB, Cshd164KB, Csh21024KB}
PSMP (AMD Opteron Core) = Ipv 64[2 Core (AMD Opteron Core), U (Crossbar), CtrM (Memory/DRAM Controller), 3 U (HT Link)]
BldNUMA (IBM BladeCenter LS21) = {2 M4GB (DDR SDRAM)200MHz <- 6.4 GB/s -> PSMP (AMD Opteron Core) <- Hyper Transport x16 32Gb/s 1GHz-> PSMP (AMD Opteron Core) <- 6.4 GB/s -> 2 M4GB (DDR SDRAM)200MHz}
Core (IBM PowerXCell 8i PPE) = {Rg64, B, F, Cshi132KB, Cshd132KB, Csh2512KB}
Core (IBM PowerXCell 8i SPE) = {Rg64, B, F, M256KB (SRAM), U(DMA)}
PNUMA (IBM PowerXCell 8i) = Ipv 64[Core (IBM PowerXCell 8i PPE), 8 Core (IBM PowerXCell 8i SPE), U (Element Interconnect Bus), 2 CtrM (Memory Controller), 2 U (I/O Controller)]
BldNUMA (IBM BladeCenter QS22) = {M4GB (DDR2 SDRAM)400MHz <- 6.4 GB/s -> PNUMA (IBM PowerXCell 8i) <- -> PNUMA (IBM PowerXCell 8i) <- 6.4 GB/s -> M4GB (DDR2 SDRAM)400MHz}
NodeNUMA (TriBlade) = {BldNUMA (IBM BladeCenter LS21) <- 2x Hyper Transport x16 32Gb/s 1GHz -> Bld (Expansion Blade) <- 4x PCIe x8 32Gb/2 -> 2 BldNUMA (IBM BladeCenter QS22)}
NodeClusterHPC (Connected Unit) = < Switch (Voltaire ISR2012 2GB/s) > [180 NodeNUMA (TriBlade), I/O, SS]
SuperClusterHPC (IBM Roadrunner) = < 8 Switch (Voltaire ISR2012 2GB/s) > [17 NodeClusterHPC (Connected Unit)]

Расчёт пиковой производительности
AMD Opteron = 2 FLOP/такт * 1,8 ГГц * 2 ядра = 7,2 GFLOPS
IBM BladeCenter LS21 = 2 процессора * 7,2 GFLOPS (AMD Opteron) = 14,4 GFLOPS
IBM PowerXCell 8i PPE = 2 FLOP/такт * 3,2 ГГц = 6,4 GFLOPS
IBM PowerXCell 8i SPE = 2 FLOP/такт * 2 слова * 3,2 ГГц = 12,8 GFLOPS
IBM PowerXCell 8i = 6,4 GFLOPS (PPE) + 8 * 12,8 GFLOPS (SPE) = 108,8 GFLOPS
IBM BladeCenter QS22 = 2 процессора * 108,8 GFLOPS (PowerXCell 8i) = 217,6 GFLOPS
TriBlade = 14,4 GFLOPS (LS21) + 2 * 217,6 GFLOPS (QS22) = 449,6 GFLOPS
Connected Unit = 180 * 449,6 GFLOPS (TriBlade) = 80,928 TFLOPS
IBM Roadrunner = 17 * 80,928 TFLOPS (Connected Unit) = 1,375776 PFLOPS
Значение в рейтинге ТОП500 = 1375,78 TFLOPS