Массивный параллельный процессорный массив

Массивный параллельный процессорный массив , также известный как многоцелевой процессорный массив ( MPPA ), представляет собой тип интегральной схемы , которая имеет массивный параллельный массив из сотен или тысяч ЦП и оперативной памяти. Эти процессоры передают работу друг другу через реконфигурируемое соединение каналов . Используя большое количество процессоров, работающих параллельно, чип MPPA может выполнять более сложные задачи, чем обычные чипы. MPPA основаны на модели параллельного программирования программного обеспечения для разработки высокопроизводительных встраиваемых системных приложений.

Архитектура

MPPA — это архитектура MIMD (Multiple Instruction streams, Multiple Data) с распределенной памятью , доступ к которой осуществляется локально, а не глобально. Каждый процессор строго инкапсулирован, обращаясь только к своему коду и памяти. Связь точка-точка между процессорами напрямую реализуется в настраиваемом соединении. ^[1]

Массовый параллелизм MPPA и его архитектура распределенной памяти MIMD отличают его от многоядерных и многоядерных архитектур, которые имеют меньше процессоров и SMP или другую архитектуру общей памяти , в основном предназначенную для вычислений общего назначения. Он также отличается от GPGPU с архитектурой SIMD , используемой для приложений HPC . ^[2]

Программирование

Приложение MPPA разрабатывается путем его выражения в виде иерархической блок-схемы или рабочего процесса , основные объекты которого работают параллельно, каждый на своем процессоре. Аналогично, большие объекты данных могут быть разбиты и распределены по локальным запоминающим устройствам с параллельным доступом. Объекты взаимодействуют через параллельную структуру выделенных каналов. Цель состоит в том, чтобы максимизировать совокупную пропускную способность при минимизации локальной задержки, оптимизируя производительность и эффективность. Модель вычислений MPPA похожа на сеть процессов Кана или взаимодействующие последовательные процессы (CSP). ^[3]

Приложения

MPPA используются в высокопроизводительных встраиваемых системах и аппаратном ускорении настольных компьютеров и серверных приложений, таких как сжатие видео , ^[4]^[5] обработка изображений , ^[6] медицинская визуализация , сетевая обработка , программно-определяемое радио и другие ресурсоемкие потоковые медиаприложения, которые в противном случае использовали бы микросхемы FPGA , DSP и/или ASIC .

Примеры

MPPA, разработанные в компаниях, включают те, что были разработаны в: Ambric , PicoChip , Intel , ^[7] IntellaSys, GreenArrays, ASOCS , Tilera , Kalray , Coherent Logix, Tabula и Adapteva . Aspex (Ericsson) Linedancer отличается тем, что это был массив SIMD Massive wide , а не MPPA. Строго говоря, он мог бы квалифицироваться как SIMT, поскольку все 4096 из 3000 ядер вентилей имели собственную ассоциативную память. ^[8]^[9]

Разработанные в университетах изготовленные MPPA включают: 36-ядерные ^[10] и 167-ядерные ^[11] массивы асинхронных простых процессоров (AsAP) из Калифорнийского университета в Дэвисе , 16-ядерный RAW ^[12] из Массачусетского технологического института и 16-ядерный ^[13] и 24-ядерный ^[14] массивы из Университета Фудань .

Китайский проект Sunway разработал собственный 260-ядерный многоядерный чип SW26010 для суперкомпьютера TaihuLight , который по состоянию на 2016 год является самым быстрым суперкомпьютером в мире. ^[15]^[16]

Процессоры Anton 3, разработанные DE Shaw Research для моделирования молекулярной динамики , содержат массивы из 576 процессоров, организованных в мозаичную сетку 12×24 пар ядер; маршрутизированная сеть связывает эти плитки вместе и простирается за пределы чипа к другим узлам в полной системе. ^[17]^[18]

Смотрите также

Ссылки

^ Майк Баттс, «Синхронизация через связь в массиве массива параллельных процессоров», IEEE Micro, т. 27, № 5, сентябрь/октябрь 2007 г., IEEE Computer Society
^ Майк Баттс, «Многоядерные и массивно-параллельные платформы и масштабируемость по закону Мура», Труды конференции по встраиваемым системам — Кремниевая долина, апрель 2008 г.
^ Майк Баттс, Брэд Бадлонг, Пол Уоссон, Эд Уайт, «Реконфигурируемые рабочие фермы на массиве массива параллельных процессоров», Труды FCCM, апрель 2008 г., IEEE Computer Society
^ Лоран Бонетто, «Масштабно-параллельные массивы обработки (MPPA) для встроенного HD-видео и обработки изображений (часть 1)», Video/Imaging DesignLine, 16 мая 2008 г. http://www.eetimes.com/document.asp?doc_id=1273823
^ Лоран Бонетто, «Масштабно-параллельные массивы обработки (MPPA) для встроенного HD-видео и обработки изображений (часть 2)», Video/Imaging DesignLine, 18 июля 2008 г. http://www.eetimes.com/document.asp?doc_id=1273830
^ Пол Чен, «Многорежимная обработка датчиков с использованием массивов массивов параллельных процессоров (MPPA)», Programmable Logic DesignLine, 18 марта 2008 г. http://www.pldesignline.com/howto/206904379
^ Вангал, Шрирам Р., Джейсон Ховард, Грегори Рул, Саурабх Диге, Ховард Уилсон, Джеймс Чанц, Дэвид Финан и др. «80-плиточный суб-100-ваттный терафлопсный процессор в 65-нм КМОП». Твердотельные схемы, IEEE Journal of 43, № 1 (2008): 29-41.
^ Крикелис, А. (1990). «Искусственная нейронная сеть на массивно-параллельной ассоциативной архитектуре». Международная конференция по нейронным сетям . стр. 673. doi :10.1007/978-94-009-0643-3_39. ISBN 978-0-7923-0831-7.
^ https://core.ac.uk/download/pdf/25268094.pdf ^{[ пустой URL-адрес PDF ]}
^ Ю, Чжии, Майкл Меувсен, Райан Апперсон, Омар Саттари, Майкл Лай, Джереми Уэбб, Эрик Уорк, Тинуш Мохсенин, Мандип Сингх и Беван Баас. «Асинхронный массив простых процессоров для приложений DSP». На Международной конференции по твердотельным схемам IEEE (ISSCC'06), вып. 49, стр. 428-429. 2006 г.
^ Truong, Dean, Wayne Cheng, Tinoosh Mohsenin, Zhiyi Yu, Toney Jacobson, Gouri Landge, Michael Meeuwsen и др. «Вычислительная платформа на 167 процессоров с динамическим напряжением питания и динамическим масштабированием тактовой частоты на каждом процессоре». В симпозиуме по схемам VLSI, стр. 22-23. 2008
^ Майкл Бедфорд Тейлор, Джейсон Ким, Джейсон Миллер, Дэвид Венцлафф, Фэй Годрат, Бен Гринвальд, Генри Хоффман, Пол Джонсон, Уолтер Ли, Арвинд Сараф, Натан Шнидман, Фолькер Штрумпен, Саман Амарасингхе и Анант Агарвал, «Микропроцессор с несколькими программными счетчиками на 16 выпусков и сетью скалярных операндов «точка-точка»», Труды Международной конференции IEEE по твердотельным схемам, февраль 2003 г.
^ Юй, Чжии, Кайди Ю, Жуйцзинь Сяо, Хэн Цюань, Пэн Оу, Янь Ин, Хаофань Ян и Сяоян Цзэн. «16-ядерный процессор с частотой 800 МГц и мощностью 320 мВт, механизмами передачи сообщений и межъядерной связи с общей памятью». В сборнике технических документов конференции по твердотельным схемам (ISSCC), 2012 IEEE International, стр. 64-66. IEEE, 2012.
^ Оу, Пэн, Цзяцзе Чжан, Хэн Цюань, И Ли, Маофэй Хэ, Чжэн Юй, Сюэцю Юй и др. «65 нм 39GOPS/W 24-ядерный процессор с 11 Тбит/с/Вт пакетно-управляемой двухслойной сетью на кристалле с коммутацией каналов и гетерогенным массивом исполнения». В сборнике технических документов конференции по твердотельным схемам (ISSCC), 2013 IEEE International, стр. 56-57. IEEE, 2013.
^ Донгарра, Джек (20 июня 2016 г.). «Отчет о системе Sunway TaihuLight» (PDF) . www.netlib.org . Получено 20 июня 2016 г. .
^ Фу, Хаохуань; Ляо, Цзюньфэн; Ян, Цзиньчжэ; и др. (2016). «Суперкомпьютер Sunway TaihuLight: система и приложения». наук. Китай Инф. Наука . 59 (7). дои : 10.1007/s11432-016-5588-7 .
^ Шоу, Дэвид Э.; Адамс, Питер Дж.; Азария, Асаф; Банк, Джозеф А.; Батсон, Брэннон; Белл, Алистер; Бергдорф, Майкл; Бхатт, Джанви; Баттс, Дж. Адам; Коррейя, Тимоти; Диркс, Роберт М.; Дрор, Рон О.; Иствуд, Майкл П.; Эдвардс, Брюс; Эвен, Амос (14.11.2021). "Антон 3". Труды Международной конференции по высокопроизводительным вычислениям, сетям, хранению и анализу . Сент-Луис, Миссури: ACM. стр. 1–11. doi : 10.1145/3458817.3487397 . ISBN 978-1-4503-8442-1. S2CID 239036976.
^ Адамс, Питер Дж.; Бэтсон, Брэннон; Белл, Алистер; Бхатт, Джанви; Баттс, Дж. Адам; Коррейя, Тимоти; Эдвардс, Брюс; Фельдманн, Питер; Фентон, Кристофер Х.; Форте, Энтони; Гальярдо, Джозеф; Гилл, Дженнетт; Горлатова, Мария; Грескамп, Брайан; Гроссман, Дж. П. (2021-08-22). "ΛNTON 3 ASIC: огнедышащий монстр для моделирования молекулярной динамики". Симпозиум IEEE Hot Chips 33 (HCS) 2021 года . Пало-Альто, Калифорния, США: IEEE. стр. 1–22. doi : 10.1109/HCS52781.2021.9567084. ISBN 978-1-6654-1397-8. S2CID 239039245.

[1] Майк Баттс, «Синхронизация через связь в массиве массива параллельных процессоров», IEEE Micro, т. 27, № 5, сентябрь/октябрь 2007 г., IEEE Computer Society

[2] Майк Баттс, «Многоядерные и массивно-параллельные платформы и масштабируемость по закону Мура», Труды конференции по встраиваемым системам — Кремниевая долина, апрель 2008 г.

[3] Майк Баттс, Брэд Бадлонг, Пол Уоссон, Эд Уайт, «Реконфигурируемые рабочие фермы на массиве массива параллельных процессоров», Труды FCCM, апрель 2008 г., IEEE Computer Society

[4] Лоран Бонетто, «Масштабно-параллельные массивы обработки (MPPA) для встроенного HD-видео и обработки изображений (часть 1)», Video/Imaging DesignLine, 16 мая 2008 г. http://www.eetimes.com/document.asp?doc_id=1273823

[5] Лоран Бонетто, «Масштабно-параллельные массивы обработки (MPPA) для встроенного HD-видео и обработки изображений (часть 2)», Video/Imaging DesignLine, 18 июля 2008 г. http://www.eetimes.com/document.asp?doc_id=1273830

[6] Пол Чен, «Многорежимная обработка датчиков с использованием массивов массивов параллельных процессоров (MPPA)», Programmable Logic DesignLine, 18 марта 2008 г. http://www.pldesignline.com/howto/206904379

[7] Вангал, Шрирам Р., Джейсон Ховард, Грегори Рул, Саурабх Диге, Ховард Уилсон, Джеймс Чанц, Дэвид Финан и др. «80-плиточный суб-100-ваттный терафлопсный процессор в 65-нм КМОП». Твердотельные схемы, IEEE Journal of 43, № 1 (2008): 29-41.

[8] Крикелис, А. (1990). «Искусственная нейронная сеть на массивно-параллельной ассоциативной архитектуре». Международная конференция по нейронным сетям . стр. 673. doi :10.1007/978-94-009-0643-3_39. ISBN 978-0-7923-0831-7.

[9] ttps://core.ac.uk/download/pdf/25268094.pdf ^{[ пустой URL-адрес PDF ]}

[10] Ю, Чжии, Майкл Меувсен, Райан Апперсон, Омар Саттари, Майкл Лай, Джереми Уэбб, Эрик Уорк, Тинуш Мохсенин, Мандип Сингх и Беван Баас. «Асинхронный массив простых процессоров для приложений DSP». На Международной конференции по твердотельным схемам IEEE (ISSCC'06), вып. 49, стр. 428-429. 2006 г.

[11] Truong, Dean, Wayne Cheng, Tinoosh Mohsenin, Zhiyi Yu, Toney Jacobson, Gouri Landge, Michael Meeuwsen и др. «Вычислительная платформа на 167 процессоров с динамическим напряжением питания и динамическим масштабированием тактовой частоты на каждом процессоре». В симпозиуме по схемам VLSI, стр. 22-23. 2008

[12] Майкл Бедфорд Тейлор, Джейсон Ким, Джейсон Миллер, Дэвид Венцлафф, Фэй Годрат, Бен Гринвальд, Генри Хоффман, Пол Джонсон, Уолтер Ли, Арвинд Сараф, Натан Шнидман, Фолькер Штрумпен, Саман Амарасингхе и Анант Агарвал, «Микропроцессор с несколькими программными счетчиками на 16 выпусков и сетью скалярных операндов «точка-точка»», Труды Международной конференции IEEE по твердотельным схемам, февраль 2003 г.

[13] Юй, Чжии, Кайди Ю, Жуйцзинь Сяо, Хэн Цюань, Пэн Оу, Янь Ин, Хаофань Ян и Сяоян Цзэн. «16-ядерный процессор с частотой 800 МГц и мощностью 320 мВт, механизмами передачи сообщений и межъядерной связи с общей памятью». В сборнике технических документов конференции по твердотельным схемам (ISSCC), 2012 IEEE International, стр. 64-66. IEEE, 2012.

[14] Оу, Пэн, Цзяцзе Чжан, Хэн Цюань, И Ли, Маофэй Хэ, Чжэн Юй, Сюэцю Юй и др. «65 нм 39GOPS/W 24-ядерный процессор с 11 Тбит/с/Вт пакетно-управляемой двухслойной сетью на кристалле с коммутацией каналов и гетерогенным массивом исполнения». В сборнике технических документов конференции по твердотельным схемам (ISSCC), 2013 IEEE International, стр. 56-57. IEEE, 2013.

[dongarra2016-15] Донгарра, Джек (20 июня 2016 г.). «Отчет о системе Sunway TaihuLight» (PDF) . www.netlib.org . Получено 20 июня 2016 г. .

[16] Фу, Хаохуань; Ляо, Цзюньфэн; Ян, Цзиньчжэ; и др. (2016). «Суперкомпьютер Sunway TaihuLight: система и приложения». наук. Китай Инф. Наука . 59 (7). дои : 10.1007/s11432-016-5588-7 .

[17] Шоу, Дэвид Э.; Адамс, Питер Дж.; Азария, Асаф; Банк, Джозеф А.; Батсон, Брэннон; Белл, Алистер; Бергдорф, Майкл; Бхатт, Джанви; Баттс, Дж. Адам; Коррейя, Тимоти; Диркс, Роберт М.; Дрор, Рон О.; Иствуд, Майкл П.; Эдвардс, Брюс; Эвен, Амос (14.11.2021). "Антон 3". Труды Международной конференции по высокопроизводительным вычислениям, сетям, хранению и анализу . Сент-Луис, Миссури: ACM. стр. 1–11. doi : 10.1145/3458817.3487397 . ISBN 978-1-4503-8442-1. S2CID 239036976.

[18] Адамс, Питер Дж.; Бэтсон, Брэннон; Белл, Алистер; Бхатт, Джанви; Баттс, Дж. Адам; Коррейя, Тимоти; Эдвардс, Брюс; Фельдманн, Питер; Фентон, Кристофер Х.; Форте, Энтони; Гальярдо, Джозеф; Гилл, Дженнетт; Горлатова, Мария; Грескамп, Брайан; Гроссман, Дж. П. (2021-08-22). "ΛNTON 3 ASIC: огнедышащий монстр для моделирования молекулярной динамики". Симпозиум IEEE Hot Chips 33 (HCS) 2021 года . Пало-Альто, Калифорния, США: IEEE. стр. 1–22. doi : 10.1109/HCS52781.2021.9567084. ISBN 978-1-6654-1397-8. S2CID 239039245.