Новосибирский государственный университет

Факультет информационных технологий

Словарь терминов в коллекции "Вычислительные системы"

Cray T3D

Вычислительная система Cray T3D - первая МРР-система корпорации Cray Research , ее разработка была завершена в 1993 году. Это позволило фирме Cray Research Inc. быстро захватить лидерство на рынке МРР-систем . Количество элементарных процессоров в конфигурациях системы Cray T3D достигало 32...2048, а диапазоны производительности и емкости памяти были соответственно равны 5...300 GFLOPS и 512 Мбайт...128 Гбайт. Система в максимальной конфигурации никогда не выпускалась; обычная конфигурация Cray T3D - 64-процессорная, она обеспечивала быстродействие, равное 10 GFLOPS.
Архитектура системы Cray T3D - MIMD , а сама ВС принадлежит к виду распределенных. В системе достаточно полно воплощены принципы модели коллектива вычислителей . Последнее позволило, в частности, достичь в ВС Cray T3D высокой надежности и живучести, а также масштабируемости (варьируемости числа процессоров в пределах от 32 до 2048 с шагом 32). Следовательно, архитектура ВС Cray T3D приспособлена к формированию конфигураций с заданной производительностью и/или стоимостью.
Система Cray T3D работает под управлением хост-системы (Host System - управляющая ВС). Одной из функций хост-системы является производительная подготовка программ (включающая компиляцию) и ввод-вывод данных для Cray T3D. В качестве хост-системы могут быть использованы, в частности, конфигурации ВС Cray Y-MP и Cray С90 . Между хост-ВС и системой Cray T3D предусмотрен высокоскоростной канал связи (200 Мбайт/с).
Вычислительная система Cray T3D представляет собой композицию множества вычислительных узлов, коммуникационной сети (или сети межузловых связей), каналов ввода-вывода информации и средств синхронизации.

Вычислительный узел Cray T3D

Все вычислительные узлы (ВУ), составляющие ВС Cray T3D, однородные. Каждый узел системы включает в себя два одинаковых ЭП и ЛК.

Элементарный процессор представляется композицией из микропроцессора, локальной памяти (ЛП) и устройства управления памятью (УУП) Микропроцессор - это DEC 21064 Alpha chip (или просто DEC Alpha), т.е. RISC-процессор типа Alpha фирмы DEC. Микропроцессор имеет кэш-память для команд и кэш-память для данных. Набор команд предусматривает и логические, и арифметические операции целочисленной и вещественной арифметики.

разрядность - 64;
тактовая частота - 150 МГц;
производительность (3 инструкции за цикл) - 150 MFLOPS, 300 MIPS;
емкость кэш-памяти для команд и данных - 8 Кбайт и 8 Кбайт;
технология - КМОП (комплементарная «металл-окисел-проводник»);
технологические нормы - 0,75 мкм.

Локальная память ЭП представляет собой DRAM-память емкостью 16...64 Мбайт (Dynamic Random Access Memory - динамическая память с произвольной выборкой). Каналы связи микропроцессора с локальной памятью ЭП характеризуются малой задержкой и высокой пропускной способностью. Устройство управления памятью ЭП осуществляет поддержку обмена данными между элементарными процессорами.

Локальный коммутатор обеспечивает непосредственную связь ВУ с соседними узлами и представляет собой шестиполюсник. В состав ЛК входят: сетевой маршрутизатор, сетевой интерфейс и контроллер для пересылки блоков данных.
Сетевой маршрутизатор (Network Router) ВУ - основной элемент управления коммуникационной сетью Cray T3D. Он способен работать с тремя парами двунаправленных межузловых связей, что позволяет создавать трехмерные структуры ВС. Маршрутизатор каждого ВУ определяет путь перемещения каждого пакета данных и может осуществлять параллельный транзит данных по всем трем межузловым связям.
Сетевой интерфейс (Network Interface) вычислительного узла специальным образом кодирует информацию перед ее пересылкой по коммуникационной сети другому ВУ или в канал ввода-вывода. Сетевой интерфейс служит также для приема данных от других ВУ или из канала ввода-вывода и распределяет их между элементарными процессорами данного ВУ.
Контроллер для пересылки блоков данных (Block Transfer Engine) осуществляет асинхронное перераспределение данных в пределах всей распределенной памяти ВС Cray T3D, т.е. перераспределение информации, находящейся в локальной памяти разных ЭП системы, без прерывания работы самих элементарных процессоров.

В системе Cray T3D память физически распределенная, но логически общая. Каждый ЭП имеет непосредственный доступ к своей локальной памяти, но он может обратиться и к локальной памяти другого ЭП, не прерывая его работы. Такие возможности поддерживаются аппаратурой ВУ и коммуникационной сетью Cray T3D. Очевидно, что обращение элементарного процессора к памяти другого ЭП осуществляется медленнее, чем обращение к собственной локальной памяти. Величина задержки при таком обращении определяется количеством линков, соединяющих взаимодействующие процессоры.

Коммуникационная сеть Cray T3D

Коммуникационная сеть (Interconnect Network) системы Cray T3D предназначается для реализации обменов информацией между ВУ, а также между ВУ и каналами ввода-вывода. Она образуется из связей и сетевых маршрутизаторов как ВУ, так и каналов ввода-вывода информации.
Ориентация ВС на решение трехмерных сложных задач предопределила ее структуру, именно трехмерную структуру коммуникационной сети. В системе Cray T3D каждый ВУ связан с соседними по трем направлениям X, Y и Z, причем по каждому направлению вершины образуют замкнутое кольцо. То есть, структура коммуникационной сети Cray T3D является трехмерным тором. Каждая связь между двумя соседними узлами представляется двумя однонаправленными каналами передачи данных, что допускает одновременный обмен информацией в противоположных направлениях.
Быстродействие коммуникационной сети Cray T3D по каждому из двух направлений передачи информации составляет 140 Мбайт/с.
Двунаправленный трехмерный тор имеет преимущества перед «незамкнутыми» трехмерными топологиями:
• повышенная живучесть структуры - возможность выбора маршрутов для обхода поврежденных узлов и связей;
• возможность быстрой связи граничных узлов и небольшая латентность (задержка) при передаче информации между вершинами (диаметр - максимальное расстояние из кратчайших между любыми двумя вершинами - для конфигурации из 128 ЭП он равен 6, а для 2048 ЭП - 12).
В 3D-тope каждый ВУ непосредственно связан с шестью соседними узлами, и он входит в три кольца ВУ, соответствующих направлениям X, Y, Z.

Адресация (нумерация) вычислительных узлов Cray T3D разделена на физическую, логическую и виртуальную. Каждому ВУ присвоен свой физический адрес, определяющий его абсолютное расположение в системе; этот адрес используется непосредственно аппаратурой. Вычислительному узлу может быть присвоен также логический адрес, определяющий его расположение в логической конфигурации системы, которая уже и будет представлять собой трехмерный тор. Например, 512-процессорная конфигурация системы Cray T3D реально содержит 260 физических ВУ, четыре из которых составляют резерв. Следовательно, логические конфигурации ВС, по сути, являются физическими системами с повышенной надежностью. Виртуальная адресация ВУ введена для того, чтобы пользователю предоставлять дополнительный сервис: он не должен учитывать при программировании физические и логические адреса ВУ, а может вводить свои (виртуальные) адреса ВУ. При этом каждой программе пользователя из трехмерного тора будет выделен вполне определенный прямоугольный параллелепипед, на котором и будет исполняться данная программа (не учитывая средств операционной системы).
Любой из адресов ВУ представляется трехкомпонентным вектором: (х, у, z), который однозначно определяет расположение узла в трех измерениях коммуникационной сети Cray T3D. Физический адрес ВУ - это абсолютный неизменяемый номер узла в сети, а логический и виртуальный адреса ВУ являются относительными адресами (относительно абсолютного).
Относительные адреса получают операцией смещения исходного адреса.
В системе Cray T3D отображение логических адресов на физические адреса ВУ обеспечивается таблицей маршрутизации, загружаемой в сетевые маршрутизаторы. Гибкость средств отображения адресов и маршрутизации позволяет логически изолировать неисправные ВУ в Cray T3D.

Каналы ввода-вывода Cray T3D

Каналы ввода-вывода предназначены для обмена информацией между Cray T3D и управляющей системой или кластером ввода-вывода.
Канал ввода-вывода Cray T3D представляется композицией из узлов ввода и вывода и низкоскоростного устройства передачи запросов и ответов.
Функциональные структуры узлов ввода и вывода предельно близки к структуре ВУ, в состав каждого из первых двух узлов входят элементарный процессор, локальный коммутатор и схемы ввода или вывода соответственно. Локальный коммутатор любого из узлов ввода или вывода включает в свой состав сетевой маршрутизатор, сетевой интерфейс и контроллер для асинхронной передачи данных. Однако, в отличие от ВУ, здесь сетевой маршрутизатор рассчитан на работу со связями только по направлениям X и Z.
Узлы ввода и вывода взаимодействуют ,друг с другом не только через маршрутизаторы, но и через устройство передачи запросов и ответов.
Каналы ввода-вывода включаются в коммуникационную сеть Cray T3D только в «кольца» направлений X и Z. Хост ВС подсоединяется к каналам через высокоскоростные (200 Мбайт/с) схемы ввода и вывода, а также через низкоскоростные устройства передача запросов и ответов. В комплексе «хост-ВС-Cray T3D» запросы и ответы используются для управления потоком передачи данных через высокоскоростные схемы ввода и вывода.

Средства синхронизации Cray T3D

В вычислительной системе Cray T3D весь коллектив ВУ и каналы ввода-вывода работают синхронно. Это достигается при помощи генератора тактовых импульсов (Clock), который посылает импульсы одновременно и в ВУ, и в узлы ввода и вывода. Генератор работает на частоте 150 МГц.
Для синхронизации параллельных вычислительных процессов (реализуемых в различных ЭП) в ВС Cray T3D имеются специальные аппаратурные средства. Эти средства распределенные, т.е. они организуются из специальных локальных схем поддержки синхронизации, расположенных в элементарных процессорах.
В системе Cray T3D осуществлена аппаратурная реализация механизмов синхронизации «барьер» и «эврика». Для реализации механизма «барьер» в каждой ветви параллельной программы задается точка синхронизации, при достижении которой каждый элементарный процессор должен ждать до тех пор, пока остальные ЭП не дойдут до своих точек, и лишь после этого все процессоры могут продолжать работу дальше. Ясно, что такая синхронизация требуется перед осуществлением коллективных обменов информацией между ветвями параллельной программы. Механизм синхронизации «эврика» реализует, по сути, операцию перехода в параллельных процессах, если из них даже только один достиг точки синхронизации. Механизмы синхронизации необходимы для реализации программирования, характерного и для SIMD- , и для MIMD-архитектур .

Эффективность системы Cray T3D

Литература

Дополнительная:

Хорошевский В.Г. Архитектура вычислительных систем: Учеб. пособие. - 2-е изд., перераб. и доп. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. - 520 с.

Ключевые термины: cray; системы с массовой параллельной обработкой; mimd-архитектура;

|Список основных тем курса|

Федотова Ольга

НГУ
ФИТ НГУ
ИВТ СО РАН

© 2012-2024, Новосибирский государственный университет, Новосибирск
© 2004-2024, Институт вычислительных технологий СО РАН, Новосибирск
© 2004-2024, Федотов А.М.
Дата последней модификации: 03.12.2013