Cerebras объединила 16 суперчипов WSE-2 в экзафлопсный суперкомпьютер Andromeda

Компания Cerebras примечательна разработкой огромных суперчипов. В августе 2019 этот американский стартап представил процессор Wafer Scale Engine (WSE), который целиком вырезан из полупроводниковой пластины стандартного диаметра 30 см, образуя квадрат 22×22 см (462 см²). А в апреле 2021 Cerebras анонсировала 2-е поколение суперчипа, WSE-2. Он создан на базе 7-нм техпроцесса от TSMC и состоит из 2.6 трлн транзисторов, образующих 850 тыс ИИ-ядер. Очевидно, что такому монстру требуется соответствующий компьютер — им стал CS-2, имеющий жидкостную систему охлаждения и энергопотребление в 23 кВт (по данным Tom’s Hardware — 15 кВт).

И вот теперь Cerebras представляет кластер из 16 таких компьютеров, Andromeda. Его производительность в операциях с плавающей точкой достигает 120 петафлопс (FP64), а в операциях искусственного интеллекта — 1 экзафлопс. Пропускная способность между узлами (CS-2) — 96.8 Тбит/с. Встроенная в WSE-2 оперативная память — 40 Гб (пропускная способность — 20 петабайт). Помимо 16 суперчипов Cerebras, Andromeda также использует 64-ядерные процессоры AMD EPYC в количестве 284 шт.

Особым достоинством CS-2 производитель считает их хорошую масштабируемость (в отличие от кластеров из ГПУ) в больших языковых моделях: в GPT-3, GPT-J и GPT-NeoX по мере добавления в кластер очередного CS-2 производительность растет почти линейно, увеличившись с одного CS-2 до Andromeda (16x CS-2) в 14.52-15.87 раз.

Andromeda установлен в одном из калифорнийских дата-центров и уже вовсю эксплуатируется Аргоннской национальной лабораторией при Министерстве энергетики США.