Cerebras Systems, молодая компания, занимающаяся созданием Искусственного Интеллекта, готова предъявить миру Cerebras WSE (Cerebras Wafer Scale Engine) – самый большой, самый мощный в истории и самый умный полупроводниковый чип.
Cerebras WSE имеет 1,2 триллиона транзисторов, базовых электронных выключателей, которые являются строительными блоками кремниевых чипов. Для сравнения первый процессор Intel 4004, выпущенный в 1971 году имел 2300 транзисторов, а новейший процессор Advanced Micro Devices имеет 32 миллиарда транзисторов. Однако вопрос здесь вовсе не в количестве транзисторов.



Большинство существующих в мире чипов на самом деле представляют собой набор микросхем, созданных на основе 12-дюймовой кремниевой пластины – они производятся на специальныз заводах огромными партиями. Но чип Cerebras Systems – это 400 000 ядер, соединенных на одной пластине. Соединения спроектированы так, чтобы все это функционировало на высоких скоростях, поэтому триллион транзисторов работают вместе как одно целое. Но и это еще не всё.

На сегодняшний день самый большой в мире чип создан Samsung – его структура построена на 2 триллионах транзисторов. Однако чип Samsung – это просто огромная карта памяти, а чип Cerebras – это сложнейшая нейросеть, специально созданная для обучения искусственного Интеллекта. Чип Cerebras может похвастаться 400 000 ядер на 42 225 квадратных миллиметров. Это в 56,7 раза больше, чем самый большой графический процессор Nvidia, в котором всего 21,1 миллиарда транзисторов.

@media screen and (min-width: 1201px) {
.wtdrh5d5c38fd2d7fe {
display: block;
}
}
@media screen and (min-width: 993px) and (max-width: 1200px) {
.wtdrh5d5c38fd2d7fe {
display: block;
}
}
@media screen and (min-width: 769px) and (max-width: 992px) {
.wtdrh5d5c38fd2d7fe {
display: block;
}
}
@media screen and (min-width: 768px) and (max-width: 768px) {
.wtdrh5d5c38fd2d7fe {
display: block;
}
}
@media screen and (max-width: 767px) {
.wtdrh5d5c38fd2d7fe {
display: block;
}
}

Еще одна особенность Cerebras WSE – чип разработан с возможностью маршрутизации вокруг дефектных областей.

При производстве чипа невозможно сделать идеальной всю кремниевую пластину, поэтому в процессе изготовления микросхем получаются области, непригодные для использования. Nvidia, Intel и другие производители чипов обходят проблему просто: они вырезают “правильные” чипы в производственной пластине и выбрасывают все остальные. Но этого нельзя сделать, если каждый чип кремниевой пластины является частью общей цепи. Поэтому Cerebras пришлось встроить избыточные схемы, чтобы, в случае поломки или выгорания одной из них её функции взяли на себя остальные. То есть по сути чип Cerebras – это миниатюрный интернет со своими серверами и рабочими станциями. И все эти станции призваны обслуживать один Искусственный Интеллект.

Компании, занимающиеся разработкой собственного ИИ являются сегодня главными потребителями чиповых технологий, закупая детали в огромном количестве. И размеры используемых чипов критически важны в процессе обучения ИИ.

Google, Facebook, OpenAI, Tencent, Baidu и многие другие утверждают, что фундаментальное ограничение современного ИИ состоит в том, что обучение моделей занимает слишком много времени. Например суперкомпьютер Nvidia, состоящий из десятков самых современных графических процессоров, тратит несколько недель на настройку кода – то есть на процесс обучения нейтронной сети.

Решением проблемы стало бы увеличения количества чипов в компьютере, однако, когда чипов собирается более восьми – производительность компьютера уже не растет, а уменьшается, поскольку при обмене чипами информацией накапливаются ошибки.

Сами разработчики описывают свой проект следующим образом: «Самая сложная часть для ИИ – это перемещение данных. Обучение нейронной сети требует, чтобы тысячи операций выполнялись параллельно в каждый момент времени, и чипы должны постоянно обмениваться данными, поскольку они выполняют эти параллельные операции. Но компьютеры с несколькими микросхемами ломаются, пытаясь передавать данные между микросхемами по медленным проводам, которые связывают их на печатной плате. Нужно было что-то, что могло бы перемещать данные со скоростью самого чипа. Решение состояло в том, чтобы взять самую большую пластину, которую вы можете найти, и вырезать из нее самую большую микросхему».

Память является ключевым компонентом любой компьютерной архитектуры. Память, расположенная ближе к вычислительным блокам , обеспечивает более быстрые вычисления, меньшую задержку и лучшую энергоэффективность при перемещении данных. Однако размер кристалла ограничен и основной объем памяти в компьютере находится вне кристалла. Cerebras Systems обошли и эту проблему, наделив каждое ядро доступом к 18 гигабайтам встроенной памяти. В результате Cerebras Wafer Scale Engine имеет в 3000 раз больше встроенной памяти, чем самый передовой графический процессор, при этой её пропускная способность в 10 000 раз больше.

@media screen and (min-width: 1201px) {
.cxfko5d5c38fd2d867 {
display: block;
}
}
@media screen and (min-width: 993px) and (max-width: 1200px) {
.cxfko5d5c38fd2d867 {
display: block;
}
}
@media screen and (min-width: 769px) and (max-width: 992px) {
.cxfko5d5c38fd2d867 {
display: block;
}
}
@media screen and (min-width: 768px) and (max-width: 768px) {
.cxfko5d5c38fd2d867 {
display: block;
}
}
@media screen and (max-width: 767px) {
.cxfko5d5c38fd2d867 {
display: block;
}
}

Первые образцы нового чипа поступят в продажу уже в сентябре, при этом Cerebras Systems, нарушив уже все существующие правила компьютерной индустрии, нарушила и принцип разделения производства вычислительных блоков и чипов. Cerebras Wafer Scale Engine будет продаваться как единое, разработанное компанией устройство, интегрированное в сложную сеть водяного охлаждения, поскольку чип выделяет экстремальное тепло, потребляя при столь маленькой площади 15 киловатт.

Основатель Cerebras Systems и исполняющий обязанности генерального директора компании говорит следующее: «Разработанный с нуля для работы с ИИ, Cerebras WSE содержит фундаментальные инновации, которые, наконец, ломают многолетний застой современного состояния производства. В результате Cerebras WSE обеспечивает рост производительности в сотни или тысячи раз по сравнению с современными модульными решениями. И всё это при смешной потребляемой мощности и незначительном объеме пространства».

Комментарий Редакции The Big The One: Первые тесты ИИ на основе Cerebras WSE показывают, что задачи, который топовый ИИ от Nvidia решает недели и месяцы, Cerebras WSE решает в пределах минуты, что есть имеется как бы повод для радости. Однако у конспирологов радости по этому поводу мало.

Все мы помним (во сяком случае, старшее поколение наших читателей) компьютерный бум образца “лихих 90-х”, когда за пару лет мощность компьютеров прыгала на порядки. Не успевал человек, сияя от гордости, приобрести компьютер с 16 мегабайтами памяти, как спустя небольшое время эта память переезжала в L2 кэш.

Однако с начала 2000-х компьютерная индустрия как бы остановилась: если компьютеры образца 1990-го и 2000-го были не сопоставимы, то между компьютерами образца 2000 и 2010 уже не было особой разницы – мощность увеличилась в разы, но никак не на порядки. А сейчас мы являемся свидетелями рождения второго Intel 8086 и теперь возможности линейки Cerebras WSE будут скакать в том же темпе: все проблемы с примесями и соединениями между собой ядер теперь решены.

Всех возможностей современных ИИ от ведущих производителей мы не знаем, но, по общему мнению, ИИ эти продукты еще не являются и до полноценного мыслящего устройства им пока далековато. Тем не менее Cerebras WSE сделал не просто шаг в нужном направлении, а прыгнул лет на десять, если не больше вперед и теперь SkyNet – это уже вполне обозримая перспектива, которая может реализоваться году так в 2025-м.

Причем в SkyNet, в отличие от туповатых гомосапиенсов сильно много времени на дальнейшее развитие не требуется: нейросети достаточно начать хотя бы немного самостоятельно соображать – и она модифицирует себя в одно мгновение, после чего начнет ядерную войну или что-то типа того. И это будет еще очень неплохой вариант.

Когда флэшку с триллионом транзисторов делают Samsung или Nvidia – всё это можно еще как-то объяснить, поскольку логические схемы памяти относительно просты и однотипны почти на всей площади. Но разработка 400 000 ядер, которые пашут одновременно, причем там есть еще и какие-то дубли, и какие-то серверные станции и еще хрен знает что. И еще нужно для этого всего написать управляющие программы, которые пишутся годами. Потом программы нужно протестировать. Но на чем их тестировали, если устройство было изготовлено только сейчас?

Другими словами все похоже на то, что “марсиане” снова открыли для местных туземцев свои закрома. И есть большие сомнения, что это было сделано дабы порадовать геймеров – скорее всего тут какая-то другая задача. И нам она представляется следующей.

В последние десятилетия умные люди все чаще задаются вопросом происхождения электронных технологий, вопросом всеобщей чипизации, которая непонятно зачем нужна и так далее. Чтобы им как-то задурить мозги придумали сказочку про “квантовый компьютер”, принципы которого не понимают даже люди, которых назначили в официальные “разработчики”. А теперь представим ужас усредненной мексиканской домохозяйки, у которой новый мобильный телефон будет не только соображать лучше, чем она, но еще и нести на борту какой-то “квантовый компьютер”. То есть такая дурилка для местных туземцев неприемлема – они начнут сходить с ума в массовом порядке.

@media screen and (min-width: 1201px) {
.prcix5d5c38fd2d723 {
display: block;
}
}
@media screen and (min-width: 993px) and (max-width: 1200px) {
.prcix5d5c38fd2d723 {
display: block;
}
}
@media screen and (min-width: 769px) and (max-width: 992px) {
.prcix5d5c38fd2d723 {
display: block;
}
}
@media screen and (min-width: 768px) and (max-width: 768px) {
.prcix5d5c38fd2d723 {
display: block;
}
}
@media screen and (max-width: 767px) {
.prcix5d5c38fd2d723 {
display: block;
}
}

Поэтому какие-то умные “марсиане” решили явить двуногим аборигенам планеты Земля чудо попроще – принципы работы которого старейшины из NASA могут хотя бы как-то объяснить. И если туземцы сказочку примут – тогда “марсиане” явят народам и другие волшебные чудеса. Например – впихнут этот Cerebras WSE в мобильный телефон и будут продавать его по сто баксов. Для покупателей модных гаджетов это будет, конечно, очень круто и хорошо, но люди немножечко поумнее сразу подумают: а что тогда стоит в серверных разных серьезных организаций, например таких как АНБ, ФБР и ЦРУ? Какие там возможности контроля мыслей и поведения населения?

http://thebigtheone.com/?p=4011