
На днях мне удалось договориться с сотрудниками центра коллективного пользования супер вычислительными ресурсами ТТИ ЮФУ в Таганроге о фотосессии кластера. Под катом много фоток и чуть-чуть технической информации.
Я уже писал про ввод в эксплуатацию этой системы
здесь, там же можно посмотреть подробное описание из чего она состоит.
Для тех кому лень перейти по ссылке, еще раз ее характеристики (по данным
списка TOP 50 и информации от сотрудников центра):
| Количество процессоров/ядер: |
518/2072 |
| Узлы: |
128 (16xOpteron 8356 2.3 GHz 32 GB RAM)
2 (8xOpteron 2356 2.3 GHz 8 GB RAM)
1 (8xXeon E5430 2.66 GHz 8 GB RAM) |
| Сеть |
Infiniband 4x DDR/Gigabit Ethernet/Gigabit Ethernet [20 Gb/s] |
| Производительность |
14508 GFlops - Тест Linpack
18841 GFlops - Пиковая |
| Разработчик |
Hewlett Packard / КРОК |
| Операционная система |
XC Linux |
Стойки с узлами кластера, медиа-библиотекой, дисковым массивом

Стойка с дисковым массивом. Посередине стойки, красиво подсвеченный синим - выдвигающийся терминал, очень классная штука, всегда о такой мечтал :)
Стойка с вычислительными узлами. Узлы вставлены вертикально - т.н. блейды.
Блэйд-сервер (англ. blade — лезвие) — компьютерный сервер,
созданный по специальной технологии с расчетом на минимизацию
занимаемого пространства. Существуют варианты написания «блейд-сервер»,
«blade-сервер», «лезвие», а также «ультракомпактный сервер».
Дисплейчик посередине стойки показывает состояние узлов.
Ленточная библиотека MSL (стример) - в ней хранятся резервные копии.
Так выглядит открытый терминал.
Еще фотография терминала

Стойка с блейдами с обратной стороны. Черные провода в центре - сеть Infiniband.
InfiniBand это архитектура коммутации соединений типа "точка-точка". Каждая линия связи представляет собой четырехпроводное двунаправленное соединение с пропускной способностью 2,5 Гбит/с в каждом направлении и гибким выбором физических линий передачи. В архитектуре
InfiniBand определен многоуровневый протокол (физический, канальный, сетевой и транспортный уровни) для реализации аппаратными средствами, а также программный уровень для поддержки управляющих функций и скоростного обмена данными (с малыми задержками) между устройствами. Перечислим основные характеристики технологии
InfiniBand:
- возможность масштабирования пропускной способности линий связи до 30 Гбит/с в дуплексном режиме;
- поддержка различных физических линий: печатных проводников (на объединительной панели), медных или оптоволоконных кабелей;
- связь на базе коммутации пакетов с сохранением целостности данных и управлением потоком;
- качество обслуживания;
- реализованный аппаратно гибкий транспортный механизм;
- оптимизированный программный интерфейс и удаленный прямой доступ в память (RDMA);
- инфраструктура управления, поддерживающая функции отказоустойчивости, аварийного переключения и "горячей" замены.
Справа и слева - сетевые фильтры с индикацией текущей нагрузки (экранчики в верхней части)




Стойка с коммутаторами Infiniband
Переходники KVM <---> Ethernet
Баллон от системы газового пожаротушения
Система энергообеспечения - источники бесперебойного питания (на фото
не видно, слева от этих шкафов есть еще один здоровый шкаф с
аккумуляторами):
Система кондиционирования и вентиляции:
Управление кондиционированием:
Ну и напоследок немного фоток того, как это все красиво светится, если выключить свет :)