Cerebras WSE-2: суперчип с 2.6 трлн транзисторов

Почти два года назад молодая американская компания Cerebras представила процессор WSE, который благодаря своим гигантским размерам и соответствующей производительности стал настоящей сенсацией полупроводниковой индустрии. В августе прошлого года компания объявила о разработке его преемника, а сегодня представила WSE-2 официально:

Cerebras WSE-2Cerebras WSE
Дата релиза3 кв 2021август 2019
Цена~ $2.5 млн + 20-25%~ $2.5 млн
Энергопотребление пиковое23 кВт23 кВт
ТехпроцессTSMC 7 нмTSMC 16 нм
Площадь кристалла462.25 см2462.25 см2
Кол-во транзисторов2.6 трлн1.2 трлн
Плотность транзисторов56.246 млн/мм225.96 млн/мм2
Кол-во ИИ-ядер850 тыс400 тыс
Объем и пропускная способнсть SRAM40 Гб, 20 Пб/с18 Гб, 9.6 Пб/с
Пропускная способность между процессорами220 Пб/с100 Пб/с

Как видим, с переходом на 7-нм тепроцесс более чем вдвое улучшились все характеристики суперпроцессора: количество транзисторов и ИИ-ядер, объем и пропускная способность SRAM, пропускная способность между 84 процессорами. При этом размер суперчипа остался прежним — 462.25 см2. Для сравнения, самый большой из традиционных чипов, GA100 от анонсированного года назад графического ускорителя Nvidia A100, имеет площадь 8.26 см2, на которых размещены «всего» 54 млрд транзисторов.

Как ни удивительно, но при таких огромных размерах выход годной продукции (напрямую влияющий на себестоимость производства) практически стопроцентный. Под дефекты отводятся 1.5% дополнительных ядер, но даже такой скромный резерв избыточен.

Процессором первого поколения укомплектована система под названием CS-1, которую уже приобрели несколько десятков организаций — исследовательские лаборатории, военные, биотехнологические и нефтегазовые компании. Среди них — одна из крупнейших в мире фармацевтических компаний GlaxoSmithKline, а также Аргоннская и Ливерморская национальные лаборатории Министерства энергетики США. Последняя объединила CS-1 с суперкомпьютером Lassen (как и Summit, он собран на базе процессоров IBM POWER9 и графических ускорителей Nvidia Tesla V100), чья производительность составляет 23 петафлопс.

Еще две системы CS-1 за $5 млн приобрел Питтсбургский суперкомпьютерный центр — он объединил их с сервером хранения данных HPE SuperDome Flex (32 процессора Xeon, 24 Тб ОЗУ и 205 Тб накопителей). Образованный таким образом суперкомпьютер с 2.4 трлн транзисторов получил название Neocortex. Для сравнения, число нейронов в человеческом неокортексе составляет порядка 20-30 млрд, т.е. в 100 раз меньше. Впрочем, по степени сложности нейроны уместнее сравнивать не с транзисторами, а с ИИ-ядрами — а их в Neocortex всего 800 тыс.

Высота корпуса CS-2 — 66 см, охлаждение системы жидкостное.

Программное обеспечение Cerebras CS-2 поддерживает библиотеки машинного обучения PyTorch и TensorFlow. Заказчикам предоставляется доступ на уровне инструкций — чего нельзя сказать о покупателях графических ускорителей.

К сожалению, оценочные значения производительности Cerebras CS-2 в каких-нибудь конкретных бенчмарках машинного обучения не приводятся. Зато есть положительные отзывы от пользователей его предшественника, CS-1. В GlaxoSmithKline заявляют, что благодаря CS-1 в прошлом году сгенерировали больше данных, чем за всю свою 300-летнюю историю (эта фармацевтическая компания ведет отсчет со времени основания лондонской аптеки Plough Court в 1715 году). А Аргоннская национальная лаборатория при Министерстве энергетики США сообщает, что по сравнению с первоначальными оценками эксперименты на моделях прогнозирования рака заняли в 300 раз меньше времени — что позволило за несколько месяцев провести исследования, на которые раньше уходили целые годы. «Нам не терпится увидеть на что способен Cerebras CS-2, чья производительность вдвое больше», сказал директор лаборатории.

Cerebras, AnandTech, Tom’s Hardware, The Next Platform