20/8/2019光纖在線訊：據(jù)多家外媒 8 月 19 日報道，美國 AI 芯片初創(chuàng)公司 Cerebras Systems 推出了有史以來最大的芯片，這款名為“The Cerebras Wafer Scale Engine”的芯片（下文稱 WSE）有 1.2 萬億個晶體管。



    在芯片歷史上，1971 年，英特爾的第一個 4004 處理器只有 2300 個晶體管，而最近的一個高級微設(shè)備處理器也只有 320 億個晶體管。三星也曾制造過一款擁有 2 萬億個晶體管的閃存芯片（ eUFS 芯片），但是不適用于 AI 計算。

WSE，這個創(chuàng)紀錄的最大芯片，它為 AI 計算而生。


來源：Cerebras Systems）

    數(shù)據(jù)顯示，這個 42,225 平方毫米的芯片，有著 400,000 個核，這些核心通過一個細粒度、全硬件的片內(nèi)網(wǎng)狀連接的通信網(wǎng)絡(luò)連接在一起，提供每秒 100 PB 的總帶寬。更多的核心、更多的本地內(nèi)存和低延遲的高帶寬結(jié)構(gòu)，創(chuàng)建了加速人工智能工作的最佳架構(gòu)。WSE 比最大的 GPU 還要大 56.7 倍，擁有 18 GB 的 on-chip sram。

   事實上，現(xiàn)在的大多數(shù)芯片是在 12 英寸硅片基礎(chǔ)上制作的多芯片集成。但 Cerebras Systems 公司的這款芯片是晶體管在單晶硅圓片上制作互相連接的獨立芯片。其互相連接的設(shè)計，可以讓所有的晶體管都能如一個整體一般高速運轉(zhuǎn)。


來源：Cerebras Systems）

    通俗地解釋，這款產(chǎn)品完全就是計算機中的學(xué)霸，比計算能力和存儲帶寬，不好意思，人家的級別還是新詞匯——拍字節(jié)（Petabytes，1PB=1024TB=10^6GB=2^50bit），速度大約是如今英偉達公司最大的圖形處理器（GPU，浮點運算能力很強，常用于 AI 相關(guān)研究）的 3000 倍，存儲帶寬則是 1000 倍。

    如此強大的能力來源于其片上的 1.2 萬億個晶體管，要知道 1971 年 Intel 的 4004 處理器才有 2300 個晶體管，按照摩爾定律來推算：“每 18 個月，芯片上晶體管數(shù)目翻倍”，到今年應(yīng)該剛好 1 萬億個晶體管，多一個晶體管，能實現(xiàn)的計算能力就增加一分。其次，其芯片架構(gòu)設(shè)計和芯片互聯(lián)及通信方案也是十分超前的，使得 1.2 萬億個晶體管之間的協(xié)同十分同步，延遲達納秒（nanosecond）級，運行時，這 1.2 萬億個晶體管就像一個晶體管一樣同步。


來源：推特）

    在人工智能領(lǐng)域，芯片的大小非常重要。因為大型芯片處理信息的速度更快，產(chǎn)生答案的時間更短。減少觀察的時間，或“訓(xùn)練時間”，可以讓研究人員測試更多的想法、使用更多的數(shù)據(jù)，并解決新的問題。谷歌、Facebook、OpenAI、騰訊、百度，以及其他許多公司都認為，如今人工智能發(fā)展的根本局限在于，訓(xùn)練模型的時間太長。因此，減少訓(xùn)練時間將消除整個行業(yè)進步的一個主要瓶頸。

    當然，芯片制造商通常不生產(chǎn)大型芯片也是有原因的。在單個晶圓片上，制造過程中通常會出現(xiàn)一些雜質(zhì)。一點雜質(zhì)就可以導(dǎo)致芯片故障，嚴重的甚至?xí)�擊穿幾個芯片。如果單個晶圓片上只制作一個芯片，那么它含有雜質(zhì)的可能性是 100%，雜質(zhì)肯定會使芯片失效。但是 Cerebras Systems 的芯片設(shè)計是留有裕量的，能夠保證一個或者少量雜質(zhì)不會使整個芯片失效。


圖| Andrew Feldman（來源：Dean Takahashi）

     Cerebras Systems 公司 CEO Feldman 在一份聲明中說，“公司的 WSE 芯片專為人工智能而設(shè)計，包含基本的創(chuàng)新，解決了限制芯片尺寸幾十年的技術(shù)挑戰(zhàn)，如 十字交叉連接、良率、功率輸出和封裝。每一個架構(gòu)決策都是為了優(yōu)化人工智能工作的性能。其結(jié)果是，WSE 芯片在功耗和空間很小的情況下，根據(jù)工作負載提供了現(xiàn)有解決方案數(shù)百或數(shù)千倍的性能。”

    這些性能的提高是通過加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的所有要素來實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是一個多級計算反饋回路。輸入通過循環(huán)回路的速度越快，回路學(xué)習(xí)或“訓(xùn)練”的速度就越快。讓輸入更快地通過循環(huán)的方法是加快循環(huán)內(nèi)的計算和通信的速度。

    在通信架構(gòu)上，由于在 WSE 上使用了中繼處理器，集群通信的架構(gòu)突破了傳統(tǒng)通信技術(shù)中部分功率消耗而導(dǎo)致的帶寬和延時的問題。通過使用二維陣列結(jié)構(gòu)將 400,000 個基于 WSE 的處理器連接在一起，集群架構(gòu)實現(xiàn)了低延時以及高帶寬的特性，其總體帶寬可以高達每秒 100 拍字節(jié)（1017 字節(jié)/每秒）。即使沒有安裝任何的額外軟件，這樣的集群結(jié)構(gòu)也可以支持全局信息處理，并由相應(yīng)的處理器對所接收到的信息進行處理。


（來源：Cerebras Systems）

    對于這款產(chǎn)品，量產(chǎn)和散熱可能會是其面臨的主要挑戰(zhàn)。但是，WSE 的問世，本身的亮點已經(jīng)足夠。

    Linley Group 首席分析師 Linley Gwennap 在一份聲明中表示：“Cerebras Systems 在晶圓級封裝( wafer-scale package)的技術(shù)上取得了巨大進步，在一塊硅片上實現(xiàn)的處理性能遠遠超出任何人的想象。為了實現(xiàn)這一壯舉，該公司已經(jīng)解決了困擾該行業(yè)數(shù)十年的一系列工程挑戰(zhàn)，包括實現(xiàn)高速模對模通信、解決制造缺陷、封裝如此大的芯片、提供高密度電源和冷卻系統(tǒng)。Cerebras Systems 通過將不同學(xué)科的頂尖工程師聚集在一起，創(chuàng)造了新技術(shù)，并在短短幾年內(nèi)交付了一個產(chǎn)品，這是一個令人印象深刻的成就。”

    Tirias Research 首席分析師兼創(chuàng)始人 Jim McGregor 在一份聲明中表示：“到目前為止，重新配置的圖形處理器滿足了人工智能對計算能力的巨大需求。如今的解決方案將數(shù)百個這些重新配置的圖形處理器連接在一起，還需要數(shù)月的時間安裝，使用數(shù)百千瓦的電力，并要對人工智能軟件進行廣泛修改，甚至還要數(shù)月的時間來實現(xiàn)功能。與之相比，單片 WSE 芯片的絕對大小能夠?qū)崿F(xiàn)更多的計算、更高性能的內(nèi)存和更大的帶寬。通過晶圓級 (wafer-scale) 封裝的集成技術(shù)，WSE 芯片避免了松散連接、慢內(nèi)存、基于緩存、以圖形為中心的處理器的芯片固有的傳統(tǒng)性能限制。


（來源：Cerebras Systems）

    Cerebras Systems 成立于 2016 年，自成立以來在業(yè)內(nèi)相當神秘低調(diào)，專注于為數(shù)據(jù)中心進行訓(xùn)練提供芯片產(chǎn)品，曾被 CB Insights 評為“全球最值得期待的 100 家芯片公司”。資料顯示，該公司曾于 2016 年完成 2500 萬美元 A 輪融資，投資方為知名風(fēng)投 Benchmark，后又獲得多輪融資，截止 2017 年 9 月共獲得 1.12 億美元融資，估值 8.6 億美元。

    公司的創(chuàng)始團隊背景實力也十分強勁。聯(lián)合創(chuàng)始人及 CEO Andrew Feldman，曾經(jīng)創(chuàng)立過芯片公司 SeaMicro，后被 AMD 在 2012 年以 3.34 億美元收購。SeaMicro 被 AMD 收購后，原班人馬大都進入 AMD 繼續(xù)工作，所以當 Andrew Feldman 大旗一揮要繼續(xù)創(chuàng)業(yè)時，很多老同事都選擇了跟隨，其他主要團隊成員大都與創(chuàng)始人 Andrew Feldman 師出同門。

    其中值得一提的人物是 Gary Lauterbach。在上世紀 90 年代 Sun 公司如日中天之時，Gary Lauterbach 就曾擔任公司的高級芯片設(shè)計師，加之后來在 SeaMicro 主要從事低功耗服務(wù)器設(shè)計，可以說公司在創(chuàng)世之初就累積了一大批低功耗芯片設(shè)計的元老級人物，這對普通創(chuàng)業(yè)公司來說無疑可以說是贏在了起跑線上。

    隨后，在 2018 年，又有一位重量級人物加盟 Cerebras Systems，前 Intel 公司架構(gòu)副總裁、數(shù)據(jù)中心首席技術(shù)官 Dhiraj Mallick 正式出任主管工程和商務(wù)的副總裁。此人在 Intel 任職期間，2018 年第二季度收入同比去年增長 10 億美元，僅 2018 年上半年就將公司數(shù)據(jù)中心的收入提高到了 100 億美元，是一位公認的技術(shù)與商業(yè)奇才。而他也正是 Andrew Feldman 在 SeaMicro 及 AMD 的老同事�，F(xiàn)在，這家公司已有 194 名員工。

    Cerebras Systems 未來要走的路還很長，但不難想象，AI 正帶來一股計算機體系結(jié)構(gòu)和芯片封裝技術(shù)創(chuàng)新潮，可以期待，我們將見證更多更有趣甚至意想不到的 AI 芯片誕生。