Новосибирский государственный университет

Факультет информационных технологий

ICT SBRAS

Словарь терминов в коллекции "Вычислительные системы"

Cray XT3

Массово-параллельную вычислительную систему Cray XT3 производит один из лидеров в области суперкомпьютеров - Cray Inc. (основана в 2000 году). В конфигурациях системы Cray XT3 число элементарных процессоров может достигать 30720, а производительность - 318 TFLOPS, емкость памяти - 239 Тбайт.
Вычислительная система Cray XT3 представляется композицией множества элементарных процессоров трехмерной тороидальной структуры и системы ввода-вывода информации.


Элементарный процессор Cray XT3

Элементами структуры ВС являются вычислительные и сервисные элементарные процессоры. Независимо от функционального назначения в состав каждого ЭП входит локальный коммутатор (называемый Cray SeaStar), микропроцессор AMD Opteron и локальная память. Помимо названных компонентов в сервисном ЭП имеются две 64-разрядные шины (Dual PCI-X) для взаимодействия с системой ввода-вывода информации.
Локальный коммутатор (ЛК) SeaStar - сложное функциональное устройство, реализованное на одной БИС. Он предназначен для выполнения высокоскоростной маршрутизации и обменов информацией (как межпроцессорных, так и внутри ЭП). В состав ЛК входят: коммуникационный процессор (Communications and Management Processor), высокоскоростной сетевой маршрутизатор (Interconnect Router), канал HyperTransport, контроллер прямого доступа к памяти DMA (Direct Memory Access), а также сервисный порт.
Сетевой маршрутизатор работает с шестью межпроцессорными каналами связи и тем самым обеспечивает непосредственную связь данного ЭП с шестью соседними ЭП по трем направлениям Х, Y, Z в 3D-тope. Пиковая пропускная способность каждого межпроцессорного канала в двунаправленном режиме составляет 7,6 Гбайт/с. Маршрутизатор реализует также протокол коррекции ошибок и повторной передачи информации по межпроцессорным каналам.
Канал HyperTransport служит для связи микропроцессора данного ЭП с коммуникационной сетью Cray XT3 (следовательно, со всеми остальными ЭП). Пропускная способность данного канала - 6,4 Гбайт/с.
Контроллер DMA обеспечивает (без каких-либо прерываний микропроцессора) доступ к локальной памяти данного ЭП другим элементарным процессорам через коммуникационную сеть Cray XT3. Контроллер DMA и операционная система функционируют совместно, что дает возможность минимизировать латентность коммуникационной сети.
Сервисный порт кристалла SeaStar позволяет системе обеспечения надежности и управления получить доступ к его регистрам через специальную супервизорную сеть Cray XT3. Данные средства необходимы для осуществления начальной загрузки, технического обслуживания, обеспечения надежности и мониторинга суперВС Cray XT3.
Для компоновки элементарных процессоров могут быть применены любые 64-разрядные микропроцессоры семейства AMD Opteron (включая одно- и двухъядерные - Single or Dual Core).
Локальная память каждого ЭП Cray XT3 составляет 1...8 Гбайт, скорость обращения микропроцессора к локальной памяти - 6,4 Гбайт/с.


Коммуникационная сеть Cray XT3

Структура сети межмашинных связей Cray XT3 является традиционной для МРР-систем фирмы Cray - трехмерный тор (3D-тop). В вершинах такой тороидальной структуры находятся локальные коммутаторы SeaStar.
Коммуникационная сеть Cray XT3 характеризуется высокой пропускной способностью (7,6 Гбайт/с), низкой латентностью (средним временем задержки при межпроцессорных обменах - около 3 нс).


Конструктивные особенности системы Cray XT3

ВС Cray XT3 компонуется из стоек, в каждой из которых может размещаться до 96 элементарных процессоров. Возможные конфигурации ВС и их характеристики:
Число стоекСтруктура ВС - фрагмент 3D-тора: N(x,y,z)Число процессоровПиковая производительность, TFLOPSЕмкость памяти, Тбайт
вычислительныхсервисныхА*В**
6576(6×12×8)548142,65,64,3
242304(12×12×16)22602210,823,417,7
969216(24×16×24)91085443,794,671,2
32030720(40×32×24)30508106147318239
* При использовании одноядерного процессора, 2,4 ГГц.
** При применении двухъядерного процессора, 2,6 ГГц.


При формировании ВС Cray XT3 используют конструктивные модули двух типов - вычислительные и сервисные. Первые модули включают в себя четыре вычислительных ЭП, а вторые - два сервисных ЭП. Количество ЭП, находящихся в модуле, и определяет минимальный фрагмент для масштабирования структуры ВС.
Размер стойки - 204,5×57,2×144,1 см3, ее масса - 694 кг, потребляемая мощность - 14,5 кВт.


Программное обеспечение Cray XT3

В состав программного обеспечения Cray XT3 входят масштабируемые операционная система UNICOS/lc и среда программирования. Операционная система UNICOS/lc (модифицированная UNICOS/mk, позволяющая эффективно функционировать конфигурациям до 120000 процессорных ядер).
Основу системы UNICOS/lc составляют два компонента - микроядро для вычислительных элементарных процессоров и полнофункциональная ОС для сервисных ЭП.
Среда программирования для суперВС Cray XT3 представлена компиляторами FORTRAN 77, 90, 95 и С , С++ , коммуникационными библиотеками (в частности, MPI 2.0 ), математическими библиотеками программ и др.


Система обеспечения надежности и управления Cray XT3

СуперВС Cray XT3 оснащена аппаратурно-программной системой CRMS (Cray RAS and Management System; RAS - Reliability, Availability, Serviceability - надежность, готовность, обслуживаемость), которая обеспечивает мониторинг, идентификацию неисправностей и восстановление. В состав CRMS входят специальные управляющие процессоры и гигабитная супервизорная сеть, а также программный комплекс, размещенной в рабочей станции. В каждой стойке установлено 24 процессора для управления вычислительными и сервисными модулями и один процессор для связи с рабочей станцией.
Система CRMS осуществляет мониторинг всех основных и аппаратурных, и программных компонентов Cray XT3. Кроме того, CRMS контролирует включение и выключение электропитания и последовательность начальной загрузки, управляет коммуникационной сетью и выводит на дисплей информацию о состоянии ВС для системного администратора.
Система CRMS - независимая, ее рабата не отвлекает ресурсы ВС, занятые при выполнении пользовательских программ.


Система ввода-вывода Cray XT3

Система ввода-вывода суперВС является высоко масштабируемой параллельной файловой системой. Она реализована как массив дисков, подключенные к сервисным элементарным процессорам. Высоконадежные диски со световодными каналами и контроллеры обеспечивают скорость ввода-вывода информации до 100 Гбайт/с.

Литература

Дополнительная:

  1. Хорошевский В.Г. Архитектура вычислительных систем: Учеб. пособие. - 2-е изд., перераб. и доп. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. - 520 с.

Ключевые термины:  cray;   системы с массовой параллельной обработкой;


Контекстный поиск: Задайте образец для поиска:
    

|Список основных тем курса|
   
Федотова Ольга
[SBRAS]

НГУ
ФИТ НГУ
ИВТ СО РАН
© 2012-2024, Новосибирский государственный университет, Новосибирск
© 2004-2024, Институт вычислительных технологий СО РАН, Новосибирск
© 2004-2024, Федотов А.М.
    Дата последней модификации: 04.12.2013