Cerebras在构建第一万亿晶体管芯片方面克服了五项技术挑战

 
Cerebras是迄今为止隐形的下一代硅芯片公司，其产品的最高级版本比比皆是，它希望通过从亚马逊购买牙膏来快速培养深度学习模式。经过近三年的平静发展，Cerebras推出了今天的新芯片 – 这是一个很好的选择。 “晶圆级引擎”是1.2万亿个晶体管(有史以来最多)，46,225平方毫米(有史以来最大)，包括18千兆字节的片上存储器(当今市场上最多的芯片)和400,000个处理核心(猜猜看最高级)。
它在斯坦福大学举行的Hot Chips会议上大放异彩，这是硅产业对产品介绍和路线图的重大调整之一，在与会者中有各种级别的oohs和aahs。您可以从财富中的Tiernan Ray了解更多有关芯片的信息，并阅读Cerebras本身的白皮书。
除此之外，我认为Cerebras必须克服的技术挑战才能达到这个里程碑，这是一个更有趣的故事。今天下午，我与创始人兼首席执行官安德鲁费尔德曼坐下来讨论他的173名工程师在过去几年里在这里悄悄地建造了什么，他们从Benchmark和其他人那里获得了1.12亿美元的风险投资资金。
走向大意味着挑战
首先，快速了解如何为手机和电脑供电的芯片。像台积电这样的晶圆厂采用标准尺寸的硅晶圆，并通过使用光将晶体管蚀刻到芯片中将它们分成单独的芯片。晶圆是圆形，芯片是正方形，因此有一些基本的几何形状涉及将圆形细分为清晰的单个芯片阵列。
这种光刻工艺面临的一大挑战是，错误可能会蔓延到制造过程中，需要进行大量测试以验证质量并迫使晶圆厂抛弃性能不佳的芯片。芯片越小越紧凑，单个芯片不起作用的可能性就越小，工厂的产量就越高。更高的收益等于更高的利润。
Cerebras抛出了将一堆单个芯片蚀刻到单个晶圆上的想法，而不是仅将整个晶圆本身用作一个巨大的芯片。这允许所有这些单独的内核直接相互连接 – 大大加快了深度学习算法中使用的关键反馈回路 – 但却以创建和管理这些芯片的巨大制造和设计挑战为代价。
根据Feldman的说法，团队遇到的第一个挑战是处理“划线”的沟通。虽然Cerebras芯片包含完整的晶圆，但今天的光刻设备仍然必须像硅片一样刻蚀单个芯片。因此，该公司必须发明新技术，以允许每个芯片在整个晶圆上相互通信。与台积电合作，他们不仅发明了新的通信渠道，而且还不得不编写新的软件来处理具有兆亿加晶体管的芯片。
第二个挑战是收益率。使用覆盖整个硅晶片的芯片，蚀刻该晶片的单个缺陷可能使整个芯片不起作用。几十年来，这就是整个晶圆技术的阻碍：由于物理定律，基本上不可能反复蚀刻万亿晶体管，具有完美的精度。
Cerebras通过在整个芯片中添加额外的核心来解决这个问题，如果晶圆上核心区域出现错误，它将用作备份。 “你必须只持有1%，1.5%的这些家伙，”费尔德曼向我解释道。留下额外的磁芯允许芯片基本上自愈，绕光刻误差布线并使整个晶圆硅芯片可行。
在芯片设计中进入未知领域
前两个挑战 – 在芯片之间的划线和处理产量之间进行沟通 – 让芯片设计人员对整个晶圆芯片进行了数十年的研究。但他们是众所周知的问题，费尔德曼说，通过使用现代工具重新接近它们，它们实际上更容易解决。
他把挑战比作攀登珠穆朗玛峰。 “这就像第一批未能攀登珠穆朗玛峰的人一样，他们说，’哎呀，第一部分真的很难。’然后下一集出现并说’那个狗屎什么都没有。那最后一百码，这是一个问题。’“
事实上，根据费尔德曼对Cerebras的最严峻挑战是接下来的三个，因为没有其他芯片设计师能够超越抄写员的沟通并产生挑战，实际上找到接下来发生的事情。
Cerebras面临的第三个挑战是处理热膨胀。芯片在运行中变得非常热，但是不同的材料以不同的速率膨胀。这意味着将芯片束缚在其主板上的连接器也需要以相同的速率热膨胀，以免在两者之间产生裂缝。
费尔德曼说：“你如何得到一个能够承受这种连接器的连接器?之前没有人这样做过，[等等]我们不得不发明一种材料。因此，我们拥有材料科学博士学位，[并且]我们必须发明一种可以吸收其中一些差异的材料。“
制造芯片后，需要对其进行测试和包装，以便运送给原始设备制造商(OEM)，后者将芯片添加到最终客户(无论是数据中心还是消费类笔记本电脑)使用的产品中。但是存在一个挑战：市场上绝对没有任何设计用于处理整个晶圆芯片。
“你怎么打包呢?好吧，答案是你发明了很多东西。这是事实。没有人有这样大小的印刷电路板。没有人有连接器。没人冷盘。没人有工具。没有人有工具来调整它们。没有人有工具来处理它们。没有人有任何软件可以测试，“费尔德曼解释道。 “所以我们设计了这整个制造流程，因为没有人做过它。”Cerebras的技术不仅仅是它销售的芯片 – 它还包括实际制造和封装这些芯片所需的所有相关机器。
最后，一个芯片中的所有处理能力都需要巨大的功率和冷却​​。 Cerebras的芯片使用15千瓦的功率运行 – 为单个芯片提供了巨大的功率，尽管与现代大小的AI集群相当。所有这些功能也需要冷却，Cerebras必须设计一种新方法来为这么大的芯片提供这两种功能。
在Feldman称之为“使用Z维度”的情况下，它基本上是通过转动芯片来解决这个问题。我们的想法是，不是像传统的那样尝试在芯片上横向移动电源和冷却，而是提供电源和冷却垂直于芯片上的所有点，确保均匀和一致地访问两者。
因此，接下来的三个挑战 – 热膨胀，封装和电源/冷却 – 该公司过去几年全天候提供服务。
从理论到现实
Cerebras有一个演示芯片(我看到了一个，是的，它大致相当于我的头脑)，并且已经开始根据报告向客户提供原型。与所有新芯片一样，最大的挑战是扩大生产以满足客户需求。
对于Cerebras来说，情况有点不同寻常。由于它在一个晶圆上放置了如此多的计算能力，因此客户不一定需要购买数十或数百个芯片并将它们拼接在一起以创建计算集群。相反，他们可能只需要少量Cerebras芯片来满足他们的深度学习需求。该公司的下一个主要阶段是扩大规模并确保其芯片的稳定交付，并将其作为整个系统包装，其中还包括其专有的冷却技术。
预计未来几个月会听到更多关于Cerebras技术的细节，特别是随着对深度学习处理工作流程未来的争夺持续升温。