Хоппер (микроархитектура)

Hopper — это микроархитектура графического процессора (GPU) , разработанная компанией Nvidia . Она предназначена для центров обработки данных и используется вместе с микроархитектурой Lovelace . Это последнее поколение линейки продуктов, ранее известных как Nvidia Tesla , а теперь — Nvidia Data Centre GPUs.

Названная в честь компьютерного ученого и контр-адмирала ВМС США Грейс Хоппер , архитектура Hopper была обнародована в ноябре 2019 года и официально представлена ​​в марте 2022 года. Она превосходит своих предшественников, микроархитектуры Turing и Ampere , и включает в себя новый потоковый мультипроцессор , более быструю подсистему памяти и трансформаторный ускоритель.

Графический процессор Nvidia Hopper H100 реализован с использованием процесса TSMC N4 с 80 миллиардами транзисторов. Он состоит из 144 потоковых мультипроцессоров . ^[1] Благодаря увеличенной пропускной способности памяти, обеспечиваемой сокетом SXM5, Nvidia Hopper H100 обеспечивает лучшую производительность при использовании в конфигурации SXM5, чем в типичном сокете PCIe. ^[2]

Потоковые мультипроцессоры для Hopper улучшают микроархитектуры Turing и Ampere , хотя максимальное количество одновременных варпов на потоковый мультипроцессор (SM) остается одинаковым для архитектур Ampere и Hopper, 64. ^[3] Архитектура Hopper предоставляет тензорный ускоритель памяти (TMA), который поддерживает двунаправленную асинхронную передачу памяти между общей памятью и глобальной памятью. ^[4] В TMA приложения могут передавать до 5D тензоров. При записи из общей памяти в глобальную память могут использоваться поэлементное сокращение и побитовые операторы, избегая регистров и инструкций SM, при этом позволяя пользователям писать специализированные коды варпов. TMA предоставляется через cuda::memcpy_async. ^[5]

При распараллеливании приложений разработчики могут использовать кластеры блоков потоков . Блоки потоков могут выполнять атомарные операции в общей памяти других блоков потоков в пределах своего кластера, иначе называемой распределенной общей памятью . Распределенная общая память может использоваться SM одновременно с кэшем L2 ; при использовании для передачи данных между SM это может использовать объединенную полосу пропускания распределенной общей памяти и L2. Максимальный размер переносимого кластера составляет 8, хотя Nvidia Hopper H100 может поддерживать размер кластера 16 с помощью этой cudaFuncAttributeNonPortableClusterSizeAllowedфункции, потенциально за счет уменьшения количества активных блоков. ^[6] С многоадресной рассылкой L2 и распределенной общей памятью требуемая полоса пропускания для чтения и записи динамической памяти с произвольным доступом уменьшается. ^[7]

Hopper отличается улучшенной пропускной способностью формата с плавающей точкой одинарной точности (FP32) с вдвое большим количеством операций FP32 за цикл на SM, чем у его предшественника. Кроме того, архитектура Hopper добавляет поддержку новых инструкций, включая алгоритм Смита-Уотермана . ^[6] Как и Ampere, поддерживается арифметика TensorFloat-32 (TF-32). Шаблон отображения для обеих архитектур идентичен. ^[8]

Nvidia Hopper H100 поддерживает память HBM3 и HBM2e до 80 ГБ; система памяти HBM3 поддерживает 3 ТБ/с, что на 50% больше, чем 2 ТБ/с у Nvidia Ampere A100. По всей архитектуре были увеличены емкость кэша L2 и пропускная способность. ^[9]

Hopper позволяет вычислительным ядрам CUDA использовать автоматическое встроенное сжатие, в том числе при индивидуальном выделении памяти, что позволяет получать доступ к памяти с более высокой пропускной способностью. Эта функция не увеличивает объем памяти, доступной приложению, поскольку данные (и, следовательно, их сжимаемость ) могут быть изменены в любое время. Компрессор автоматически выберет между несколькими алгоритмами сжатия. ^[9]

Nvidia Hopper H100 увеличивает емкость объединенного кэша L1, текстурного кэша и общей памяти до 256 КБ. Как и его предшественники, он объединяет кэши L1 и текстур в единый кэш, разработанный как объединяющий буфер. Атрибут cudaFuncAttributePreferredSharedMemoryCarveoutможет использоваться для определения вырезания кэша L1. Hopper представляет усовершенствования NVLink посредством нового поколения с более быстрой общей пропускной способностью связи. ^[10]

Некоторые приложения CUDA могут испытывать помехи при выполнении операций ограждения или сброса из-за упорядочивания памяти. Поскольку графический процессор не может знать, какие записи гарантированы, а какие видны по случайному времени, он может ожидать ненужных операций памяти, тем самым замедляя операции ограждения или сброса. Например, когда ядро ​​выполняет вычисления в памяти графического процессора, а параллельное ядро ​​выполняет связь с одноранговым узлом, локальное ядро ​​будет сбрасывать свои записи, что приведет к более медленной записи NVLink или PCIe . В архитектуре Hopper графический процессор может уменьшить net cast с помощью операции ограждения. ^[11]

Интерфейс прикладного программирования математики архитектуры Hopper (API) предоставляет функции в SM, такие как __viaddmin_s16x2_relu, который выполняет per- halfword . В алгоритме Смита-Уотермана может использоваться трехсторонний минимум или максимум с последующим ограничением до нуля. ^[12] Аналогично, Hopper ускоряет реализацию алгоритма Needleman-Wunsch . ^[13]${\displaystyle макс(мин(a+b,c),0)}$__vimax3_s16x2_relu

Архитектура Hopper была первой архитектурой Nvidia, в которой был реализован движок transformer. ^[14] Трансформаторный движок ускоряет вычисления, динамически уменьшая их с более высокой числовой точности (например, FP16) до более низкой точности, которая выполняется быстрее (например, FP8), когда потеря точности считается приемлемой. ^[14] Трансформаторный движок также способен динамически выделять биты в выбранной точности либо мантиссе, либо экспоненте во время выполнения, чтобы максимизировать точность. ^[5]

Форм-фактор SXM5 H100 имеет тепловую расчетную мощность (TDP) 700 Вт . Что касается асинхронности, архитектура Hopper может достигать высокой степени использования и, таким образом, иметь лучшую производительность на ватт. ^[15]

GH200 объединяет графический процессор H100 на базе Hopper с 72-ядерным центральным процессором на базе Grace в одном модуле. Общая потребляемая мощность модуля составляет до 1000 Вт. Центральный процессор и графический процессор соединены через NVLink, что обеспечивает согласованность памяти между центральным процессором и графическим процессором. ^[16]

В ноябре 2019 года известный аккаунт Twitter опубликовал твит, в котором говорилось, что следующая архитектура после Ampere будет называться Hopper, в честь компьютерного учёного и контр-адмирала ВМС США Грейс Хоппер , одного из первых программистов Harvard Mark I. В аккаунте говорилось, что Hopper будет основан на многочиповой модульной конструкции, что приведёт к повышению производительности при меньших потерях. ^[17]

Во время Nvidia GTC 2022 года Nvidia официально анонсировала Hopper. ^[18] К 2023 году, во время бума ИИ , H100 пользовались большим спросом. Ларри Эллисон из Oracle Corporation сказал в том году, что на ужине с генеральным директором Nvidia Дженсеном Хуангом он и Илон Маск из Tesla, Inc. и xAI «умоляли» о H100, «Я думаю, это лучший способ описать это. Час суши и умоляния». ^[19]

В январе 2024 года аналитики Raymond James Financial подсчитали, что Nvidia продавала графические процессоры H100 по цене от 25 000 до 30 000 долларов за штуку, в то время как на eBay отдельные H100 стоили более 40 000 долларов. ^[20] По сообщениям, по состоянию на февраль 2024 года Nvidia поставляла графические процессоры H100 в центры обработки данных в бронированных автомобилях. ^[21]

Сравнение ускорителей, используемых в DGX: ^{[22] [23] [24]}

• Elster, Anne; Haugdahl, Tor (март 2022 г.). «Nvidia Hopper GPU и Grace CPU Highlights». Computing in Science & Engineering . 24 (2): 95– 100. Bibcode : 2022CSE....24b..95E. doi : 10.1109/MCSE.2022.3163817. hdl : 11250/3051840 . S2CID  249474974. Получено 29 мая 2023 г.
• Фудзита, Кохей; Ямагучи, Такума; Кикучи, Юма; Ичимура, Цуёси; Хори, Мунео; Маддегедара, Лалит (апрель 2023 г.). «Расчет функции взаимной корреляции, ускоренный операциями TensorFloat-32 Tensor Core на графических процессорах NVIDIA Ampere и Hopper». Журнал вычислительной науки . 68 . дои : 10.1016/j.jocs.2023.101986 .
• Руководство по программированию CUDA C++ (PDF) . Nvidia . 17 апреля 2023 г.
• Руководство по настройке Hopper (PDF) . Nvidia . 13 апреля 2023 г.
• Архитектура графического процессора NVIDIA H100 Tensor Core (PDF) . Nvidia . 2022.^{[ постоянная мертвая ссылка ‍ ]}

• Choquette, Jack (май 2023 г.). «NVIDIA Hopper H100 GPU: масштабирование производительности». IEEE Micro . 43 (3): 9– 17. doi :10.1109/MM.2023.3256796. S2CID  257544490. Получено 29 мая 2023 г.
• Мур, Сэмюэл (8 апреля 2022 г.). «Nvidia's Next GPU Shows That Transformers Are Transforming AI» (Следующий графический процессор от Nvidia показывает, что трансформеры преобразуют искусственный интеллект). IEEE Spectrum . Получено 29 мая 2023 г.
• Морган, Тимоти (31 марта 2022 г.). «Глубокое погружение в архитектуру графического процессора «Hopper» от Nvidia». Следующая платформа . Получено 29 мая 2023 г.