Nvidia DGX

Эта статья содержит рекламный контент . Помогите улучшить ее, удалив рекламный язык и неуместные внешние ссылки , а также добавив энциклопедический текст, написанный с нейтральной точки зрения . ( Январь 2024 г. ) ( Узнайте, как и когда удалять это сообщение )

DGX

Стойка с пятью суперкомпьютерами DGX-1
Производитель	Нвидиа
Дата выпуска	2016 ( 2016 )

Nvidia DGX (Deep GPU Xceleration) представляет собой серию серверов и рабочих станций , разработанных Nvidia , в первую очередь ориентированных на улучшение приложений глубокого обучения за счет использования универсальных вычислений на графических процессорах (GPGPU). Эти системы обычно поставляются в стоечном формате с высокопроизводительными серверными процессорами x86 на материнской плате.

Основной особенностью системы DGX является включение от 4 до 8 модулей Nvidia Tesla GPU, которые размещены на независимой системной плате. Эти GPU могут быть подключены либо через версию сокета SXM , либо через слот PCIe x16, что обеспечивает гибкую интеграцию в архитектуру системы. Для управления значительным тепловым выходом блоки DGX оснащены радиаторами и вентиляторами, предназначенными для поддержания оптимальных рабочих температур.

Эта структура делает блоки DGX подходящими для вычислительных задач, связанных с моделями искусственного интеллекта и машинного обучения. ^{[ по мнению кого? ]}

Серверы DGX-1 оснащены 8 графическими процессорами на базе дочерних карт Pascal или Volta ^[1] с общим объемом памяти HBM2 128 ГБ , соединенными с помощью ячеистой сети NVLink . ^[2] Сервер DGX-1 был анонсирован 6 апреля 2016 года. ^[3] Все модели основаны на конфигурации с двумя сокетами процессоров Intel Xeon E5 и оснащены следующими функциями.

• 512 ГБ DDR4-2133
• Двойная сеть 10 Гбит/с
• 4 x 1,92 ТБ SSD-накопителя
• 3200 Вт совокупной мощности электропитания
• Корпус для монтажа в стойку 3U

Линейка продуктов призвана сократить разрыв между графическими процессорами и ускорителями искусственного интеллекта , используя специальные функции для рабочих нагрузок глубокого обучения. ^[4] Первоначальный DGX-1 на базе Pascal обеспечивал 170 терафлопс обработки половинной точности , ^[5] в то время как обновление на базе Volta увеличило этот показатель до 960 терафлопс . ^[6]

DGX-1 был сначала доступен только в конфигурации на базе Pascal с сокетом SXM первого поколения. Более поздняя версия DGX-1 предлагала поддержку карт Volta первого поколения через сокет SXM-2. Nvidia предлагала комплекты обновления, которые позволяли пользователям с DGX-1 на базе Pascal обновиться до DGX-1 на базе Volta. ^{[7] [8]}

• DGX-1 на базе Pascal имеет два варианта: один с 16-ядерным Intel Xeon E5-2698 V3 и один с 20-ядерным E5-2698 V4. Цены на вариант с E5-2698 V4 недоступны, DGX-1 на базе Pascal с E5-2698 V3 стоил при запуске $129 000 ^[9]
• Модель DGX-1 на базе Volta оснащена двигателем E5-2698 V4 и на момент запуска стоила 149 000 долларов. ^[9]

Разработанная как готовый к использованию настольный суперкомпьютер с искусственным интеллектом, станция DGX представляет собой башенный компьютер, который может работать полностью автономно без типичной инфраструктуры центра обработки данных, такой как охлаждение, резервное питание или 19-дюймовые стойки .

Станция DGX была впервые доступна со следующими характеристиками. ^[10]

• Четыре ускорителя Tesla V100 на базе Volta, каждый с 16 ГБ памяти HBM2
• 480 терафлопс FP16
• Одиночный процессор Intel Xeon E5-2698 v4 ^[11]
• 256 ГБ DDR4
• 4x 1,92 ТБ SSD
• Двойной 10-гигабитный Ethernet

Станция DGX охлаждается водой , чтобы лучше управлять теплом почти 1500 Вт всех компонентов системы, что позволяет ей поддерживать уровень шума ниже 35 дБ под нагрузкой. ^[12] Это, среди прочих особенностей, сделало эту систему привлекательной покупкой для клиентов без инфраструктуры для работы стоечных систем DGX, которые могут быть громкими, выделять много тепла и занимать большую площадь. Это было первое начинание Nvidia по внедрению высокопроизводительных вычислений на рабочем столе, что с тех пор остается важной маркетинговой стратегией Nvidia. ^[13]

Nvidia DGX-2, преемник DGX-1, использует шестнадцать карт Volta V100 32 ГБ (второе поколение) в одном устройстве. Он был анонсирован 27 марта 2018 года. ^[14] DGX-2 обеспечивает 2 петафлопса с 512 ГБ общей памяти для обработки больших наборов данных и использует NVSwitch для высокоскоростной внутренней связи. DGX-2 имеет в общей сложности 512 ГБ памяти HBM2 , в общей сложности 1,5 ТБ DDR4 . Также присутствуют восемь карт InfiniBand 100 Гбит/с и 30,72 ТБ SSD-накопителя, ^[15] все заключено в массивное шасси для монтажа в стойку 10U и потребляет до 10 кВт при максимальной нагрузке. ^[16] Первоначальная цена DGX-2 составляла 399 000 долларов США. ^[17]

DGX-2 отличается от других моделей DGX тем, что содержит две отдельные дочерние платы GPU, каждая с восемью GPU. Эти платы соединены системой NVSwitch, которая обеспечивает полную пропускную способность связи между всеми GPU в системе, без дополнительных задержек между платами. ^[16]

Также предлагался вариант DGX-2 с более высокой производительностью — DGX-2H. DGX-2H заменил два Intel Xeon Platinum 8168 в DGX-2 на два модернизированных Intel Xeon Platinum 8174. Это обновление не увеличивает количество ядер в системе, поскольку оба ЦП имеют 24 ядра, и не добавляет никаких новых функций в систему, но увеличивает базовую частоту ЦП с 2,7 ГГц до 3,1 ГГц. ^{[18] [19] [20]}

Анонсирован и выпущен 14 мая 2020 года. DGX A100 был третьим поколением сервера DGX, включая 8 ускорителей A100 на базе Ampere . ^[21] Также включены 15 ТБ хранилища PCIe gen 4 NVMe , ^[22] 1 ТБ оперативной памяти и восемь сетевых карт Mellanox HDR InfiniBand ConnectX-6 200 ГБ/с . DGX A100 находится в гораздо меньшем корпусе, чем его предшественник DGX-2, занимая всего 6 стоечных единиц. ^[23]

DGX A100 также перешел на 64-ядерный процессор AMD EPYC 7742, первый сервер DGX, не построенный на процессоре Intel Xeon. Первоначальная цена сервера DGX A100 составляла 199 000 долларов. ^[21]

Как преемник оригинальной станции DGX, станция DGX A100 стремится занять ту же нишу, что и станция DGX, представляя собой тихое, эффективное решение «кластер-в-коробке» под ключ , которое могут приобрести, взять в аренду или арендовать небольшие компании или частные лица, желающие использовать машинное обучение. Она следует многим дизайнерским решениям оригинальной станции DGX, таким как ориентация башни, односокетная материнская плата ЦП , новая система охлаждения на основе хладагента и уменьшенное количество ускорителей по сравнению с соответствующим стоечным DGX A100 того же поколения. ^[13] Цена на DGX Station A100 320G составляет 149 000 долларов США, а на модель 160G — 99 000 долларов США. Nvidia также предлагает аренду Station за ~9000 долларов США в месяц через партнеров в США (rentacomputer.com) и Европе (iRent IT Systems), чтобы помочь сократить расходы на внедрение этих систем в небольших масштабах. ^{[24] [25]}

Станция DGX A100 поставляется с двумя различными конфигурациями встроенного A100.

• Четыре ускорителя A100 на базе Ampere, сконфигурированные с памятью объемом 40 ГБ (HBM) или 80 ГБ (HBM2e),
  что дает в общей сложности 160 ГБ или 320 ГБ, что приводит к вариантам DGX Station A100 160G или 320G.
• 2,5 ПФЛОПС FP16
• Один 64-ядерный AMD EPYC 7742
• 512 ГБ DDR4
• 1 x 1,92 ТБ NVMe- накопитель ОС
• 1 x 7,68 ТБ U.2 NVMe-накопитель
• Двойной порт 10 Гбит Ethernet
• Один порт 1 Гбит BMC порт

Анонсированный 22 марта 2022 г. ^[26] и запланированный к выпуску в третьем квартале 2022 г. ^[27], DGX H100 — это четвертое поколение серверов DGX, построенное на базе 8 ускорителей H100 на базе Hopper , с общей производительностью 32 ПФЛОПС вычислений FP8 AI и 640 ГБ памяти HBM3, что является обновлением по сравнению с 640 ГБ памяти HBM2 у DGX A100.

Это обновление также увеличивает пропускную способность VRAM до 3 ТБ/с. ^[28] DGX H100 увеличивает размер стойки до 8U для размещения 700 Вт TDP каждой карты H100 SXM. DGX H100 также имеет два 1,92 ТБ SSD для хранения операционной системы и 30,72 ТБ твердотельного хранилища для данных приложений.

Еще одним заметным дополнением является наличие двух DPU Nvidia Bluefield 3 , ^[29] и обновление до 400 Гбит/с InfiniBand через Mellanox ConnectX-7 NIC , удваивая пропускную способность DGX A100. DGX H100 использует новые карты «Cedar Fever», каждая с четырьмя контроллерами ConnectX-7 400 ГБ/с, и две карты на систему. Это дает DGX H100 3,2 Тбит/с пропускной способности структуры через Infiniband. ^[30]

DGX H100 имеет два масштабируемых процессора Xeon Platinum 8480C (кодовое название Sapphire Rapids ) ^[31] и 2 терабайта системной памяти . ^[32]

На момент выпуска стоимость DGX H100 составляла 379 000 фунтов стерлингов или ~482 000 долларов США. ^[33]

Анонсированный в мае 2023 года, DGX GH200 объединяет 32 суперчипа Nvidia Hopper в один суперчип, который состоит в общей сложности из 256 графических процессоров H100, 32 72-ядерных процессоров Grace Neoverse V2, 32 однопортовых OSFT ConnectX-7 VPI с 400 Гбит/с InfiniBand и 16 двухпортовых BlueField-3 VPI с 200 Гбит/с Mellanox [1] [2]. Nvidia DGX GH200 предназначен для обработки моделей терабайтного класса для массивных рекомендательных систем, генеративного ИИ и графической аналитики, предлагая 19,5 ТБ общей памяти с линейной масштабируемостью для гигантских моделей ИИ. ^[34]

Анонсированный в мае 2023 года суперкомпьютер DGX Helios оснащен 4 системами DGX GH200. Каждая из них соединена с сетью Nvidia Quantum-2 InfiniBand для повышения пропускной способности данных при обучении больших моделей ИИ. Helios включает 1024 графических процессора H100.

Анонсированный в марте 2024 года, GB200 NVL72 объединяет 36 72-ядерных ЦП Grace Neoverse V2 и 72 графических процессора B100 в стоечном исполнении. GB200 NVL72 — это жидкостноохлаждаемое стоечное решение, которое может похвастаться доменом NVLink из 72 ГП, который действует как один массивный ГП [3]. Nvidia DGX GB200 предлагает 13,5 ТБ HBM3e общей памяти с линейной масштабируемостью для гигантских моделей ИИ, что меньше, чем у его предшественника DGX GH200.

DGX Superpod — это высокопроизводительная готовая суперкомпьютерная система, предоставляемая Nvidia с использованием оборудования DGX. ^[35] Она объединяет вычислительные узлы DGX с быстрым хранилищем и высокоскоростной сетью для предоставления решения для высокозатратных рабочих нагрузок машинного обучения. Суперкомпьютер Selene в Аргоннской национальной лаборатории является одним из примеров системы на базе DGX SuperPod.

Selene, построенный из 280 узлов DGX A100, занял 5-е место в списке TOP500 самых мощных суперкомпьютеров на момент его завершения в июне 2020 года ^[36] и продолжает оставаться высокопроизводительным ^{[ требуется ссылка ]} . Эта же интеграция доступна любому клиенту с минимальными усилиями с его стороны, и новый SuperPod на базе Hopper может масштабироваться до 32 узлов DGX H100, что в общей сложности составляет 256 графических процессоров H100 и 64 процессора x86. Это дает всему SuperPod 20 ТБ памяти HBM3, 70,4 ТБ/с пропускной способности бисекций и до 1 ExaFLOP вычислений FP8 AI. ^[37] Затем эти SuperPods можно дополнительно объединить для создания более крупных суперкомпьютеров.

Суперкомпьютер Eos, спроектированный, построенный и эксплуатируемый компанией Nvidia, ^{[38] [39] [40]} был построен из 18 SuperPods на базе H100, в общей сложности 576 систем DGX H100, 500 коммутаторов Quantum-2 InfiniBand и 360 коммутаторов NVLink, которые позволяют Eos обеспечивать 18 EFLOP вычислений FP8 и 9 EFLOP вычислений FP16, что делает Eos 5-м по скорости суперкомпьютером ИИ в мире, согласно TOP500 (издание за ноябрь 2023 г.).

Поскольку Nvidia не производит никаких устройств или систем хранения данных, Nvidia SuperPods полагаются на партнеров для обеспечения высокопроизводительного хранения. Текущие партнеры по хранению для Nvidia Superpods: Dell EMC , DDN , HPE , IBM , NetApp , Pavilion Data и VAST Data . ^[41]

Сравнение ускорителей, используемых в DGX: ^{[42] [43] [44]}

• Глубокое обучение Супервыборка