Модуль Facebook OCP OAM
Серверные системы семейства Emerald Pool поддерживают до 8 модулей OAM. Вот как выглядит каждый модуль на схематичном изображении:
Вот как выглядит модуль OAM с установленной системой охлаждения:
Согласитесь, чем-то напоминает модули Nvidia SXM2. При масштабировании OAM-модулей могут использоваться различные топологии:
Ключевые особенности модулей OAM:
- Поддержка питания напряжением 12 В и 48 В
- До 350 Вт (12V) и до 700 Вт (48V) TDP
- Размеры 102mm x 165 мм
- Поддержка одного или нескольких ASICs на модуль
- До 8 соединений PCI-E x16
- Поддержка одной или двух высокоскоростных соединений x16 для хоста
- До 7 высокоскоростных соединений соединения x16
- До 8 модулей акселераторов в одной системе
- Совместимость со стандартными 19 » стойками
Проект OCP Accelerator Module получил поддержку ведущих IT-компаний, в числе которых Intel, AMD, Nvidia, Baidu, Microsoft, Google, Huawei и других.
2021: Модельный ряд серверов в форм-факторах 1U, 2U и 4U на базе Intel Xeon и AMD EPYC
Компания Polywell Computers 17 мая 2021 года представила в России свой модельный ряд серверов в форм-факторах 1U, 2U и 4U на процессорах Intel Xeon и AMD EPYC.
Их можно разделить на 3 группы:
- Серверы общего назначения
- Многоузловые серверы
- Серверы с GPU
Серверы общего назначения предназначены для применения в качестве файловых, облачных, виртуальных, вычислительных серверов, серверов баз данных. Они характеризуются применением современных серверных процессоров Xeon и EPYC, значительным объемом поддерживаемой оперативной памяти и дисковых накопителей форм-фактора 2,5 дюйма с возможностью горячей замены. Последние могут иметь как интерфейс SATA, так и наиболее быстрый интерфейс NVMe для твердотельных накопителей. Имеются также два разъема для подключения SATA-DOM модулей. Имеется значительный набор сетевых интерфейсов – 10 GbE Ethernet, SFP+, IPMI 2.0, OCP 3.0.
Многоузловые серверы
Многоузловые серверы представляют собой сочетание 4 серверов в одном шасси форм-фактора 2U. Это полезно в случае, когда необходимо экономить место в стойках. Общие блоки питания (установлены 2 блока питания на 2600 Вт) также позволяют экономить место и электроэнергию для питания серверов и их охлаждение. Особенно полезна подобная компоновка для вычислительных или отказоустойчивых кластеров или для виртуализации. Наиболее популярны решения от Microsoft, Stratus, Citrix, VMware. Все они предполагают дублирование аппаратных ресурсов, поэтому подобные компоновки серверов Polywell Computers выгодны в подобных приложениях, отметили в компании. Каждый из четырех узлов поддерживает процессоры Intel или AMD, до 4 ТБ памяти, 6 дисковых накопителей форм-фактора 2,5 дюйма, 1 слот OCP 3.0 для сетевых модулей, один модуль IPMI 2.0 (Intelligent Platform Management Interface).
Серверы с GPU
Серверы с GPU предназначены для высокопроизводительных вычислений (HPC), построения вычислительных кластеров GPU, искусственного интеллекта и глубокого машинного обучения. Имеются модели в форм-факторе 2U с 4 GPU Nvidia HGX A100 GPU 40GB/80GB, NVLink, NVSwitch и в форм-факторе 4U с 8 GPU Nvidia HGX A100 GPU 40GB/80GB, NVLink, NVSwitch. Также, в зависимости от форм-фактора, они могут поддерживать до 8 ТБ (12 ТБ) памяти, иметь до 4 (6) накопителей в форм-факторе 2,5 дюйма, 2 x 10GbE сетевых адаптера или 1 слот OCP 3.0 для сетевых модулей. Благодаря использованию серверов Polywell Computers с GPU обеспечивается ускорение ИИ до 20 раз и ускорение HPC до 2,5 раз по сравнению с предыдущими поколениями графических процессоров, подчеркнули в компании.
Как отмечается, все серверные системы Polywell Computers собираются из комплектующих промышленного класса (industrial grade), имеют высокую надежность. Среднее время наработки на отказ (MTBF) составляет 100000 часов (почти 11,5 лет).
Intel Nervana NNP L-1000
Intel использует форм-фактор Open Compute Project Accelerator Module (OAM) для своей новой платформы NNP, которая явно нацелена на рынок GPU, где лидирует Nvidia Tesla. На OCP Summit 2019 мы получили представление о модуле Intel Nervana NNP L-1000, а также топологии системы ускорителя. Для NVIDIA архитектура OAM может стать явной угрозой для серверов DGX-1 и DGX-2(h).
Чип Intel Nervana использует HBM2-память, что хорошо видно на фотографии сверху, ожидается что её объём составит 32 Гб, как у Nvidia Tesla V100.
На примере Intel Nervana видно, что представляет собой «процессорное гнездо» модулей OAM.
Семейство процессоров Spring Crest позволяет масштабировать вычислительные узлы до 32 процессоров (читай OAM-модулей) в одной системе. Естественно, столько модулей не вместятся в одном корпусе, но PCI Express кабели позволяют распределить один вычислительный узел на несколько физических корпусов.
Подобные системы мощностью до 13.9 КВт появятся в продаже до конца 2019 года. Не стоит забывать, что речь идёт именно о модулях ускорения машинного обучения, которым дополнительно нужны и серверы на обычных x86 процессорах.
Facebook Zion Accelerator Platform
Так же Facebook представила платформу для акселераторов OAM, в которую можно объединить до 8 центральных процессоров и 8 модулей OAM, объединив эти устройства высокоскоростными линиями связи.
Каждый 2-процессорный серверный модуль подключается в общую корзину по типу Blade-серверов, и в той же платформе можно использовать до 8 модулей OAM.
Обратите внимание — каждый процессор имеет выход к сетевому соединению и ускорителю
Каждый узел серверной платформы Zion — это 2-процессорная машина под Xeon LGA3647
Обратите внимание на размер радиаторов на процессорах. Каждый из CPU имеет свой сетевой модуль стандарта OCP 3.0
Платформа для акселераторов фактически является посадочным местом для 8 модулей OAM. Расстояние между радиаторами — минимально, на материнской плате не видно ни чипов, ни элементов питания.
Каждый OAM-модуль имеет два гнезда с контактами, по которым передаются данные и питание. Это унифицированные разъёмы, допускающие использование акселераторов разных производителей. Опять же, идея такого подключения очень смахивает на Nvidia SXM2.
Каждый модуль весит не меньше килограмма, а для установки не требуется какого-то специального инструмента, как в случае с акселераторами Nvidia.
Для соединения процессоров и акселераторов используются огромные кабели PCI Express. Да, ничего лучше, чем проще вытащить PCI-E наружу, разработчики не придумали.
Каждый из разъёмов PCI Express обеспечивает подключение по 8 шинам PCI-E x16 (итого 128 линий PCI-E), что больше чем в арсенале 2-процессорных серверов на базе Xeon Scalable, то есть запас по скорости интерконнекта ещё есть.
Бюджетные модели для простых задач
Такое оборудование должно за сумму в пределах 30-35 тыс. рублей обеспечивать работу как внутренних, так и внешних хранилищ, а также иметь индикацию, так как сервер, скорее всего, будет находиться недалеко от рабочего места сисадмина
Немаловажно и количество выделяемого тепла. Согласитесь, лишний шум от нескольких кулеров круглые сутки не только портит «карму» помещения, но и вредит здоровью, что уже доказано
Ярким представителем одноплатформенной серверной платформы является SYS-5018A-MLTN4 от компании Supermicro, специализирующейся на недорогих оптимальных решениях. Модель построена на мобильном 4-ядерном процессоре Intel Atom C2550 (графика Aspeed AST2400) с TDP равным 14 Вт, поэтому имеющим воздушное охлаждение. В качестве материнской платы используется модель A1SAM-2550F собственного производства, получившая поддержку PCI Express 2.0, где один слот PCI-E 8x и один PCI-E 4x, а также два шестигигабитных и четыре трехгигабитных SATA для подключения периферийного оборудования. Таким образом, получается сбалансированная платформа с максимальным доступным для расширения объемом RAM, равным 64 ГБ. Причем последняя – полноразмерная DIMM DDR3, поэтому мудрить с выбором, таймингами и переплачивать не придется – не особо шустрый Atom компенсируется четырьмя слотами по 8-гигабайтной планке в каждой. Да и двухканального режима никто не отменял.
Из прочих особенностей 1U Supermicro SYS-5018A-MLTN4 – возможность установки до двух 2,5- или 3,5-дюймовых жестких дисков (жаль, что в комплекте их нет), хотя HDD лучше выбрать самому, так как китайцы порой грешат установкой не самых шустрых накопителей по цене нормального железа. При этом можно законнектить RAID-массив через тот же шестигигабитный SATA. На передней панели предусмотрена «новогодняя елка» из индикаторов всех ключевых событий, а вот для разъемов на ней места не осталось. Нет и возможности горячей замены HDD. Зато на тыльной части корпуса есть четыре USB 2.0, COM-порт, четыре гигабитных LAN, D-Sub и даже разъем IPMI. В общем, недостатки отлично компенсируются достоинствами. Только вот блок питания всего на 200 Вт. Конечно, для штатной работы этого хватит, но лучше заменить его на 350-ваттный БП с защитой от просадок напряжения и короткого замыкания
Обратите на это внимание: как и в случае с игровым десктопом, сервер должен иметь стабильное питание. Стоит 1U Supermicro SYS-5018A-MLTN4 почти 33 тыс
рублей.
Если же доплатить 500-600 рублей, то можно приобрести неплохой «конструктор» на вырост 1U ASUS RS100-E9-PI2. Модель поставляется без процессора, зато подразумевает установку всей линейки E3-1200 пятой редакции Intel Xeon. При этом вы получаете довольно неплохую серверную материнскую плату ASUS P10S-M-DC Server Board с LGA1151 с шиной на 100 МГц. К ее преимуществам также стоит отнести наличие слота под райзер-карту, полноценный PCI-E 16x и два M.2-порта для скоростных SSD (так и хочется установить на них отдельную ОС для каждой планки – тем более что здесь уже четыре DIMM DDR4 (до 64 ГБ) с максимальной возможной частотой до 2133 МГц). Словом, можно собрать производительный сервер, отвечающий всем современным канонам, благо порты для RAID-массивов и две корзины для 3,5-дюймовых HHD имеются. При желании можно установить slim-привод DVD±RW.
Из прочих преимуществ – два USB 3.0 и один D-Sub на фронтальной панели, на тыльной панели разместились «PC пополам» (PC/2) для включения компьютера через клавиатуру (если поддерживает BIOS), два USB 3.0 и два USB 2.0, COM-порт (очень удобно для подключения к серверу КИП-оборудования на производстве), два гигабитных LAN и D-Sub. Из недостатков – блок питания на 250 Вт, и установить его можно только в количестве одна штука. Поэтому, если вы решили собрать на базе 1U ASUS RS100-E9-PI2 производительную систему, то лучше выбрать что-то помощнее, предварительно рассчитав максимальную нагрузку + запас. Стоит тайваньский «конструктор» 33 510 руб.
