1/24/2024，光纖在線訊，

當(dāng)你想到人工智能時(shí)，腦中會(huì)浮現(xiàn)什么？

GENERATIVE AI

早在半年前，ChatGPT就能夠像人類一樣提供答案，這些答案既符合語(yǔ)境，又具有技術(shù)上的合理性。但人工智能局限性也很明顯，它會(huì)以要點(diǎn)形式給出回答，但實(shí)際上只是一個(gè)AI模型。

現(xiàn)在，當(dāng)在ChatGPT上輸入一個(gè)問(wèn)題時(shí)，它的反應(yīng)已經(jīng)十分迅速，對(duì)此，ChatGPT的創(chuàng)建者們實(shí)現(xiàn)了哪些改變？



最有可能的情況是，為滿足超過(guò)1億用戶的需求，OpenAI擴(kuò)展了其人工智能集群的推理能力。據(jù)報(bào)道，在人工智能芯片制造商中處于領(lǐng)先地位的英偉達(dá)（NVIDIA）已供應(yīng)大約20,000個(gè)圖形處理單元（GPU），用于支持ChatGPT的開(kāi)發(fā)，且有大幅增加圖形處理單元使用的計(jì)劃。有人推測(cè)，他們即將推出的人工智能模型可能需要多達(dá)1000萬(wàn)個(gè)圖形處理單元。

GPU集群架構(gòu)：
生成式人工智能的基礎(chǔ)
- GPU cluster architecture —
the foundation of generative AI -

理解20,000個(gè)GPU的概念是容易辦到的，但通過(guò)1000萬(wàn)個(gè)GPU的光連接來(lái)執(zhí)行智能任務(wù)很具有挑戰(zhàn)性。

如何先配置好較小的單元，逐漸將其擴(kuò)大至包含數(shù)千個(gè)GPU的集群？我們以基于傳統(tǒng)的超算（HPC）網(wǎng)絡(luò)而編寫的英偉達(dá)設(shè)計(jì)指南為例。



根據(jù)設(shè)計(jì)指南的建議，該過(guò)程使用多個(gè)具有256個(gè)GPU pod的較小單元（可擴(kuò)展單元）來(lái)構(gòu)建大量GPU集群。每個(gè)pod由8個(gè)服務(wù)器機(jī)架和2個(gè)網(wǎng)絡(luò)機(jī)架（位于一排機(jī)柜中間位置）組成。這些pod內(nèi)部以及相互之間的連接通過(guò)InfiniBand（部署在英偉達(dá)的Quantum-2交換機(jī)上的高速、低延遲交換協(xié)議）協(xié)議建立。

當(dāng)前的InfiniBand交換機(jī)使用32個(gè)800G OSFP收發(fā)器，采用400G（NDR）雙端口。每個(gè)端口使用8芯光纖，因此每臺(tái)交換機(jī)有64x400G端口。且即將到來(lái)的新一代交換機(jī)，很大可能將采用XDR端口。這意味著每臺(tái)交換機(jī)將有64x800G端口，每個(gè)端口也使用8芯光纖（主要是單模光纖）。

如表1所示，該4通道（8芯光纖）模式在InfiniBand路線圖中反復(fù)出現(xiàn)，且未來(lái)將使用更快的速度。



就布線而言，在超算（HPC）領(lǐng)域普遍采用的最佳做法是：采用點(diǎn)對(duì)點(diǎn)有源光纜（AOC）。然而，隨著（MPO）光纖連接器接口的最新NDR端口的推出，點(diǎn)對(duì)點(diǎn)連接的情形已從AOC光纜轉(zhuǎn)變?yōu)镸PO-MPO無(wú)源跳線。在考慮單個(gè)具有256個(gè)GPU的pod時(shí)，利用點(diǎn)對(duì)點(diǎn)連接沒(méi)有什么大問(wèn)題。但是在追求更大的規(guī)模時(shí)就遇到了問(wèn)題，例如16k GPU需要64個(gè)具有256個(gè)GPU的pod實(shí)現(xiàn)互連。這些高性能GPU集群使用的計(jì)算結(jié)構(gòu)對(duì)于線路路由優(yōu)化有極高的要求。在線路路由優(yōu)化設(shè)置中，來(lái)自每個(gè)計(jì)算系統(tǒng)的所有主機(jī)通道適配器（HCA）均連接至同一個(gè)葉交換機(jī)（leaf switch）。

據(jù)說(shuō)該設(shè)置對(duì)于最大限度提高深度學(xué)習(xí)（DL）訓(xùn)練性能至關(guān)重要。一個(gè)標(biāo)準(zhǔn)的H100計(jì)算節(jié)點(diǎn)配備4個(gè)雙端口OSFP，轉(zhuǎn)換為8個(gè)上行鏈路端口（每個(gè)GPU一個(gè)獨(dú)立上行鏈路）與八個(gè)不同的葉交換機(jī)連接，由此建立一個(gè)8條線路優(yōu)化結(jié)構(gòu)。

該設(shè)計(jì)在處理單個(gè)具有256個(gè)GPU的pod時(shí)可以無(wú)縫工作。但如果目標(biāo)是構(gòu)建一個(gè)包含16,384個(gè)GPU的集群時(shí)該怎么辦？在這種場(chǎng)景中，有必要增加兩個(gè)交換層：來(lái)自每個(gè)pod的第一個(gè)葉交換機(jī)與脊交換機(jī)組一（SG1）中的每個(gè)交換機(jī)連接，每個(gè)pod內(nèi)的第二個(gè)葉交換機(jī)與脊交換機(jī)組二（SG2）中的每個(gè)交換機(jī)連接，以此類推。為取得完全實(shí)現(xiàn)的胖樹(shù)（fat-tree）拓?fù)浣Y(jié)構(gòu)，必須加入第三層核心交換組（CG）。

讓我們回顧一下16,384個(gè)GPU集群的光纜連接數(shù)量。計(jì)算節(jié)點(diǎn)和葉交換機(jī)之間建立連接需要16,384根光纜，每個(gè)pod有256根MPO跳線。在開(kāi)始網(wǎng)絡(luò)拓展的過(guò)程時(shí)，建立葉-脊連接和脊-核心連接的任務(wù)變得更具有挑戰(zhàn)性。涉及到先捆扎多根MPO跳線，然后將其敷設(shè)50米至500米不等的距離。



有沒(méi)有更高效的運(yùn)營(yíng)方式？一個(gè)建議是采用結(jié)構(gòu)化布線系統(tǒng)，該系統(tǒng)采用兩個(gè)接線板設(shè)計(jì)，利用大芯數(shù)MPO干線，可能采用144根光纖。這樣就能把18根MPO跳線（18x8=144）合并成一根干線光纜，一次敷設(shè)完成。通過(guò)在端點(diǎn)使用合適的MPO適配器面板，可將它們拆開(kāi)為多根8芯光纜，并與恰當(dāng)?shù)木�路連接，避免捆綁多根MPO跳線帶來(lái)的復(fù)雜度。

對(duì)于一個(gè)非阻塞結(jié)構(gòu)，每個(gè)pod需要256條上行鏈路。我們可選擇從每個(gè)pod拉出15x144根光纖干線，產(chǎn)生270（15x18）上行鏈路（只需使用15個(gè)大芯數(shù)線纜）。另外，該設(shè)置提供14（270-256）個(gè)備用連接，可作備份或用于存儲(chǔ)或管理網(wǎng)絡(luò)連接。

人工智能在理解問(wèn)題方面取得了重大進(jìn)展。就實(shí)現(xiàn)這種轉(zhuǎn)變而言，尋求能夠支持廣泛GPU集群（包括16K GPU或24K GPU）的布線解決方案，是這一難題的重要組成部分，也是光連接行業(yè)面臨的挑戰(zhàn)。

來(lái)源：康寧光通信