DPU，以其專門針對數(shù)據(jù)流和網(wǎng)絡(luò)流量進行優(yōu)化的能力，在解決數(shù)據(jù)中心的效率和靈活性問題方面展現(xiàn)出巨大的潛力和價值。特別是在如今如日中天的AI大模型時代，DPU已成為算力集群中重要的參與者。
在萬億級的算力產(chǎn)業(yè)市場中，DPU雖然是后來者，但其增長速度迅猛。據(jù)中科馭數(shù)高級副總裁張宇介紹：“自2020年下半年起，DPU的發(fā)展勢頭逐漸加速，并在近幾年逐步進入了更為理性和穩(wěn)健的發(fā)展階段，成長步伐更加迅速而扎實?！?br>
大模型時代，DPU不可或缺
隨著信息技術(shù)的持續(xù)發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)帶寬從100G邁入400G，甚至將提升至800G或1.6T。受限于通用CPU的結(jié)構(gòu)的馮諾依曼瓶頸、摩爾定律逐漸失效等因素的影響，以CPU為網(wǎng)絡(luò)核心的數(shù)據(jù)處理能力難以支持大規(guī)模新型數(shù)據(jù)中心的網(wǎng)絡(luò)和數(shù)據(jù)的算力需求。
“AI的出現(xiàn)對于GPU或者DPU都是一個千載難逢的機會。”張宇指出，AI需要的不僅是GPU，大模型訓(xùn)練所需要算力的三大核心來源將是CPU+GPU+DPU“三U一體”的算力芯片組合。CPU提供通用算力，GPU提供智能算力，DPU負責(zé)基礎(chǔ)IO算力，三者各司其職。一個通用智算架構(gòu)需要擁有強大算力的基礎(chǔ)設(shè)施支撐，而通用智算中心解決方案則要依靠DPU來疏導(dǎo)海量數(shù)據(jù)交互。
張宇介紹到，以AIGC應(yīng)用來看，DPU在智算中心中的關(guān)鍵作用與價值主要有四大方面：1）AI 大模型/超大模型訓(xùn)練往往同時使用數(shù)千或數(shù)萬個 GPU 卡訓(xùn)練，整個服務(wù)器集群規(guī)模達到10萬+，DPU可以支持超大規(guī)模組網(wǎng)算力互連；2）機內(nèi) GPU 通信方面，千億參數(shù)規(guī)模的 AI 模型產(chǎn)生的 AllReduce通信數(shù)據(jù)量會達到100GB+，機間通信方面，流水線并行、數(shù)據(jù)并行及張量并行等網(wǎng)絡(luò)帶寬需求也會達到100GB +，而DPU能夠支持100G+超高帶寬；3）以1750 億參數(shù)規(guī)模的GPT- 3 模型訓(xùn)練為例，當動態(tài)時延從 10us 提升至1000us 時，GPU 有效計算時間占比將降低接近 10%，當網(wǎng)絡(luò)丟包率為千分之一時， GPU有效計算時間占比將下降 13%，在這個過程中，DPU能夠通過使用RDMA來降低網(wǎng)絡(luò)延遲和抖動，顯著提高GPU的有效計算時間，進而提升模型訓(xùn)練的效率；4）自然語言處理模型GPT-1到GPT-3，參數(shù)規(guī)模從1.17 億發(fā)展到1750 億個，需要的預(yù)訓(xùn)練數(shù)據(jù)量也從最初的5GB 發(fā)展到45TB，模型參數(shù)和訓(xùn)練數(shù)據(jù)規(guī)模越來越龐大，DPU的NVMe- oF技術(shù)可提供更高效的存儲讀取和處理能力。
如果將數(shù)據(jù)中心中的每一臺服務(wù)器比喻為一座“城市”，在每個城市人口不斷膨脹，城市間交互需求爆炸式增長的背景下，對比傳統(tǒng)網(wǎng)卡，DPU幫助數(shù)據(jù)中心完成了從“鄉(xiāng)間公路”到“高速鐵路”的轉(zhuǎn)變。DPU提供的高吞吐、低時延、基礎(chǔ)設(shè)施卸載能力，幫助數(shù)據(jù)中心完美的規(guī)避了“信息孤島”問題。DPU已被證明是支撐下一代數(shù)據(jù)中心IaaS及PaaS的重要基礎(chǔ)設(shè)施。
DPU在算力底座云平臺中的關(guān)鍵作用與價值（來源：中科馭數(shù)）
DPU的產(chǎn)業(yè)價值已成共識。2023年10月，工信部、中央網(wǎng)信辦、國務(wù)院國資委等六部門2023年10月聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》中指出，截至2023年6月底，我國算力總規(guī)模達到近200EFLOPS，智能算力規(guī)模占比達25.4%。預(yù)計2025年，我國算力總規(guī)模達到300EFLOPS，智能算力規(guī)模占比達35%。計劃還將數(shù)據(jù)處理器
(DPU) 設(shè)為重要任務(wù)之一。
因此，國內(nèi)市場DPU規(guī)模巨大，根據(jù)2023年《中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展白皮書》,預(yù)計至 2025 年“十四五”規(guī)劃期末，擬實現(xiàn)數(shù)據(jù)中心機架規(guī)模增長至 1400 萬架，規(guī)?？偭糠瓋杀?，總增量投資約 7000 億元。
如果按照服務(wù)器規(guī)模預(yù)計，未來幾年云與數(shù)據(jù)中心領(lǐng)域每年國內(nèi)服務(wù)器出貨量將維持在500萬臺左右，其中DPU滲透率在10%左右，單臺服務(wù)器可以配置一塊到多塊DPU板卡，預(yù)計每年DPU需求量將在100萬片左右。
DPU領(lǐng)域的佼佼者——中科馭數(shù)
乘著算力高漲和國內(nèi)市場的需求的東風(fēng)，以中科馭數(shù)為代表的國內(nèi)DPU芯片廠商逐漸成長壯大起來。
在DPU芯片領(lǐng)域，中科馭數(shù)基于自研KPU芯片架構(gòu)率先在國內(nèi)進行了三代DPU芯片研發(fā)。發(fā)展至今，中科馭數(shù)從芯片底層架構(gòu)，到網(wǎng)絡(luò)、存儲、計算等上層應(yīng)用系統(tǒng)，已形成深厚的核心技術(shù)積累。中科馭數(shù)牽頭并參與了30余項行業(yè)標準及團隊標準的制定，是DPU標準的重要推動者和參與者。
中科馭數(shù)之所以能在DPU領(lǐng)域嶄露頭角，關(guān)鍵在于其不斷的技術(shù)創(chuàng)新和深厚的研發(fā)實力。中科馭數(shù)的DPU的研發(fā)基于軟硬協(xié)同的自主研發(fā)技術(shù)。
芯片設(shè)計的核心技術(shù)方面，中科馭數(shù)創(chuàng)新性地提出了軟件定義加速器（Software Defined Accelerator）技術(shù)路線，自主開發(fā)敏捷異構(gòu)KPU創(chuàng)新架構(gòu)，解決DPU芯片設(shè)計碎片化的問題，具有軟件定義可配置、低設(shè)計成本、計算高效的優(yōu)勢。
在芯片軟件生態(tài)方面，中科馭數(shù)自研的DPU軟件開發(fā)平臺HADOS，可兼容多種操作系統(tǒng)，大幅降低應(yīng)用軟件開發(fā)難度。在技術(shù)快速發(fā)展的今天，沒有任何一家企業(yè)能獨自成長為行業(yè)巨頭。中科馭數(shù)深知這一點，因此，中科馭數(shù)全面擁抱國產(chǎn)化生態(tài)，已與國內(nèi)6大CPU芯片、12家主流操作系統(tǒng)、9家主流數(shù)據(jù)庫廠商、8家頭部云/云原生廠商、17家TOP級服務(wù)器廠商完成兼容性適配。參與10大開源社區(qū)平臺，共同推動技術(shù)發(fā)展。
中科馭數(shù)五大DPU方案構(gòu)筑國內(nèi)算力強基
2024年3月29日，中科馭數(shù)以“DPU構(gòu)建高性能云算力底座”為主題的線上技術(shù)開放日活動成功舉辦。在開放日上，中科馭數(shù)集中展現(xiàn)了其在低時延網(wǎng)絡(luò)、云原生網(wǎng)絡(luò)及智算中心網(wǎng)絡(luò)三大關(guān)鍵場景下的技術(shù)成果與五大核心DPU解決方案。
（一）、云計算方面，中科馭數(shù)高性能云原生底座方案為DPU在云計算中落地應(yīng)用夯實基礎(chǔ)，帶來物理隔離、業(yè)務(wù)卸載、硬件加速、業(yè)務(wù)快速迭代等諸多優(yōu)勢。通過將工作節(jié)點的存儲、網(wǎng)絡(luò)、管理等基礎(chǔ)設(shè)施組件完全卸載到DPU硬件，釋放Worker節(jié)點的CPU算力資源給到業(yè)務(wù)系統(tǒng)，幫助集群算效比大幅提升，極大提升了云基礎(chǔ)設(shè)施的服務(wù)效能與穩(wěn)定性。
（二）、針對云原生業(yè)務(wù)的復(fù)雜性和高時效性需求，中科馭數(shù)提出了基于DPU的極速服務(wù)網(wǎng)格方案，以服務(wù)網(wǎng)格化繁為簡，有效降低了系統(tǒng)時延，為用戶帶來了前所未有的極致云原生業(yè)務(wù)體驗。目前，基于DPU的服務(wù)網(wǎng)格方案已成功應(yīng)用于國內(nèi)某知名證券機構(gòu)。引入中科馭數(shù)方案后，在七層服務(wù)治理下，時延降至100-130微秒；在四層流量下僅需40微秒。
（三）、在數(shù)據(jù)安全領(lǐng)域，中科馭數(shù)展示了高性能國產(chǎn)密碼卸載方案，依托自主研發(fā)的加解密引擎，確保安全業(yè)務(wù)在保證極高效率的同時，實現(xiàn)了自主可控的安全保障。采用此方案，可降低主機CPU利用率至90%以上，確保業(yè)務(wù)零丟包，提高安全性能，減少客戶工作量。
（四）、在智算、超算領(lǐng)域，并行文件系統(tǒng)是一種常見且重要的分布式文件存儲系統(tǒng)。中科馭數(shù)推出的RDMA加速并行文件系統(tǒng)解決方案，采用RDMA網(wǎng)絡(luò)DPU卡代替?zhèn)鹘y(tǒng)網(wǎng)卡，將RDMA網(wǎng)絡(luò)應(yīng)用與并行文件系統(tǒng)，突破了傳統(tǒng)的存算速度瓶頸，解鎖了存算之間的高速通道，以更少的計算資源提供更強的網(wǎng)絡(luò)傳輸能力。
（五）、面對證券期貨交易領(lǐng)域?qū)?strong>低時延的嚴苛要求，中科馭數(shù)信創(chuàng)低時延網(wǎng)絡(luò)解決方案憑借異構(gòu)加速技術(shù)的創(chuàng)新應(yīng)用，實現(xiàn)了自主安全且時延領(lǐng)先的技術(shù)突破，在系統(tǒng)層兼容各類國產(chǎn)操作系統(tǒng)，在應(yīng)用層廣泛適配多家業(yè)內(nèi)金融軟件廠商的交易系統(tǒng)，從而支撐核心交易業(yè)務(wù)從底層硬件到上層軟件，向全信創(chuàng)平臺遷移，同時還能獲取媲美非信創(chuàng)的時延性能。
中科馭數(shù)的這五大解決方案，是DPU技術(shù)在重要細分場景走向成熟的標志。展望未來，DPU將作為新型算力基礎(chǔ)設(shè)施，在各行各業(yè)發(fā)揮越來越重要的作用，助力數(shù)字化轉(zhuǎn)型和智能化升級。
結(jié)語
盡管與CPU和GPU相比，DPU目前在市場上的份額較小，但考慮到其在特定領(lǐng)域的獨特優(yōu)勢，DPU有望在算力產(chǎn)業(yè)市場中占據(jù)一席之地。從云計算數(shù)據(jù)中心到企業(yè)級服務(wù)器，再到邊緣計算節(jié)點，DPU的高效、低延遲特性都能發(fā)揮顯著作用。隨著技術(shù)的不斷進步和市場的日益成熟，DPU將在智能計算時代扮演越來越重要的角色。
來源: 半導(dǎo)體行業(yè)觀察杜芹
