Cerebras WSE-2: суперчип с 2.6 трлн транзисторов
Почти два года назад молодая американская компания Cerebras представила процессор WSE, который благодаря своим гигантским размерам и соответствующей производительности стал настоящей сенсацией полупроводниковой индустрии. В августе прошлого года компания объявила о разработке его преемника, а сегодня представила WSE-2 официально:
Cerebras WSE-2 | Cerebras WSE | |
Дата релиза | 3 кв 2021 | август 2019 |
Цена | ~ $2.5 млн + 20-25% | ~ $2.5 млн |
Энергопотребление пиковое | 23 кВт | 23 кВт |
Техпроцесс | TSMC 7 нм | TSMC 16 нм |
Площадь кристалла | 462.25 см2 | 462.25 см2 |
Кол-во транзисторов | 2.6 трлн | 1.2 трлн |
Плотность транзисторов | 56.246 млн/мм2 | 25.96 млн/мм2 |
Кол-во ИИ-ядер | 850 тыс | 400 тыс |
Объем и пропускная способнсть SRAM | 40 Гб, 20 Пб/с | 18 Гб, 9.6 Пб/с |
Пропускная способность между процессорами | 220 Пб/с | 100 Пб/с |
Как видим, с переходом на 7-нм тепроцесс более чем вдвое улучшились все характеристики суперпроцессора: количество транзисторов и ИИ-ядер, объем и пропускная способность SRAM, пропускная способность между 84 процессорами. При этом размер суперчипа остался прежним — 462.25 см2. Для сравнения, самый большой из традиционных чипов, GA100 от анонсированного года назад графического ускорителя Nvidia A100, имеет площадь 8.26 см2, на которых размещены «всего» 54 млрд транзисторов.
Как ни удивительно, но при таких огромных размерах выход годной продукции (напрямую влияющий на себестоимость производства) практически стопроцентный. Под дефекты отводятся 1.5% дополнительных ядер, но даже такой скромный резерв избыточен.
Процессором первого поколения укомплектована система под названием CS-1, которую уже приобрели несколько десятков организаций — исследовательские лаборатории, военные, биотехнологические и нефтегазовые компании. Среди них — одна из крупнейших в мире фармацевтических компаний GlaxoSmithKline, а также Аргоннская и Ливерморская национальные лаборатории Министерства энергетики США. Последняя объединила CS-1 с суперкомпьютером Lassen (как и Summit, он собран на базе процессоров IBM POWER9 и графических ускорителей Nvidia Tesla V100), чья производительность составляет 23 петафлопс.
Еще две системы CS-1 за $5 млн приобрел Питтсбургский суперкомпьютерный центр — он объединил их с сервером хранения данных HPE SuperDome Flex (32 процессора Xeon, 24 Тб ОЗУ и 205 Тб накопителей). Образованный таким образом суперкомпьютер с 2.4 трлн транзисторов получил название Neocortex. Для сравнения, число нейронов в человеческом неокортексе составляет порядка 20-30 млрд, т.е. в 100 раз меньше. Впрочем, по степени сложности нейроны уместнее сравнивать не с транзисторами, а с ИИ-ядрами — а их в Neocortex всего 800 тыс.
Высота корпуса CS-2 — 66 см, охлаждение системы жидкостное.
Программное обеспечение Cerebras CS-2 поддерживает библиотеки машинного обучения PyTorch и TensorFlow. Заказчикам предоставляется доступ на уровне инструкций — чего нельзя сказать о покупателях графических ускорителей.
К сожалению, оценочные значения производительности Cerebras CS-2 в каких-нибудь конкретных бенчмарках машинного обучения не приводятся. Зато есть положительные отзывы от пользователей его предшественника, CS-1. В GlaxoSmithKline заявляют, что благодаря CS-1 в прошлом году сгенерировали больше данных, чем за всю свою 300-летнюю историю (эта фармацевтическая компания ведет отсчет со времени основания лондонской аптеки Plough Court в 1715 году). А Аргоннская национальная лаборатория при Министерстве энергетики США сообщает, что по сравнению с первоначальными оценками эксперименты на моделях прогнозирования рака заняли в 300 раз меньше времени — что позволило за несколько месяцев провести исследования, на которые раньше уходили целые годы. «Нам не терпится увидеть на что способен Cerebras CS-2, чья производительность вдвое больше», сказал директор лаборатории.