11月4日，第二屆開(kāi)放原子開(kāi)源基金會(huì)
OpenHarmony技術(shù)大會(huì)在京召開(kāi)。中國(guó)工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民在會(huì)上表示，要大力開(kāi)展基于國(guó)產(chǎn)AI芯片大模型基礎(chǔ)設(shè)施研究，完善國(guó)內(nèi)AI生態(tài)系統(tǒng)建設(shè)，做好整體系統(tǒng)工程化，關(guān)注軟硬件協(xié)同設(shè)計(jì)，解決大模型基礎(chǔ)設(shè)施建設(shè)的關(guān)鍵問(wèn)題。
鄭緯民坦言，國(guó)內(nèi)AI生態(tài)尚未建設(shè)完善，“國(guó)產(chǎn)AI芯片只要達(dá)到國(guó)外芯片60%的性能，如果生態(tài)做好了，客戶也會(huì)滿意。大多數(shù)任務(wù)不會(huì)因?yàn)閲?guó)產(chǎn)芯片性能只有（國(guó)外芯片性能的）60%而有明顯感知，大家感覺(jué)到的不好用還是生態(tài)不行。即使硬件做的很好，甚至比國(guó)外做的更好，但如果生態(tài)沒(méi)有做好，依然不被喜歡”。
軟件主要提供的是靈活性和效率提升，硬件算力提供了最基本的資源基礎(chǔ)。要建好生態(tài)，首先要做好整體系統(tǒng)工程化、軟硬件協(xié)同設(shè)計(jì)。當(dāng)前，新型硬件的使用對(duì)軟件系統(tǒng)設(shè)計(jì)提出了巨大挑戰(zhàn)。比如，隨著應(yīng)用程序?qū)λ懔π枨蟮娜找嫣嵘湍柖傻闹饾u放緩，新型計(jì)算硬件，特別是異構(gòu)加速處理器，成為了高性能計(jì)算發(fā)展的主流；為了打破存儲(chǔ)墻對(duì)應(yīng)用程序計(jì)算性能的桎梏，新型存儲(chǔ)器件，如固態(tài)存儲(chǔ)設(shè)備SSD等，也被廣泛應(yīng)用于高性能計(jì)算機(jī)。
與此同時(shí)，人工智能、圖計(jì)算、大數(shù)據(jù)等的廣泛應(yīng)用讓軟件也變得更為復(fù)雜。如何在新型硬件系統(tǒng)上設(shè)計(jì)與優(yōu)化新型應(yīng)用程序，新的硬件、新的軟件如何做優(yōu)化設(shè)計(jì)、做適配，成為一個(gè)亟待解決的關(guān)鍵問(wèn)題。
人工智能計(jì)算具有計(jì)算密度高、需要大量低精度計(jì)算的特點(diǎn)。鄭緯民指出，隨著Transformer、MOE架構(gòu)的提出，使得深度學(xué)習(xí)模型輕松突破上萬(wàn)億規(guī)模參數(shù)，傳統(tǒng)的單機(jī)單卡模式已經(jīng)無(wú)法滿足超大模型進(jìn)行訓(xùn)練的要求，包括數(shù)據(jù)并行、模型并行、專(zhuān)家并行在內(nèi)的并行訓(xùn)練已成為大模型訓(xùn)練的“標(biāo)配”。
比如在國(guó)產(chǎn)的新一代神威高性能計(jì)算機(jī)中，包含了96000個(gè)節(jié)點(diǎn)、37440000個(gè)核心以及互連網(wǎng)絡(luò)。神威采用的是新一代體系結(jié)構(gòu)芯片——神威26010pro，以及支持MPI通信的國(guó)產(chǎn)自主高速網(wǎng)絡(luò)。神威超級(jí)計(jì)算機(jī)契合了大規(guī)模預(yù)訓(xùn)練模型的需求。據(jù)悉，鄭緯民院士團(tuán)隊(duì)在國(guó)產(chǎn)E級(jí)高性能計(jì)算機(jī)上訓(xùn)練了一個(gè)170萬(wàn)億參數(shù)的超大規(guī)模預(yù)訓(xùn)練模型，模型參數(shù)可與人腦中的突觸數(shù)量相媲美。
“在訓(xùn)練這一超大規(guī)模預(yù)訓(xùn)練模型中，需要考慮四個(gè)問(wèn)題：一是半精度運(yùn)算性能與雙精度運(yùn)算性能的平衡；二是網(wǎng)絡(luò)平衡設(shè)計(jì)；三是內(nèi)存平衡設(shè)計(jì)；四是核心子系統(tǒng)平衡設(shè)計(jì)。這四點(diǎn)做好了，別人要用1萬(wàn)塊AI芯片訓(xùn)練大模型，我們只用9000塊就可以了?！编嵕暶窀袊@說(shuō)道。
生態(tài)是一切產(chǎn)業(yè)發(fā)展的基礎(chǔ)。完善的生態(tài)可以加速知識(shí)、技術(shù)、應(yīng)用場(chǎng)景的積累，使創(chuàng)新成果更快地轉(zhuǎn)化為產(chǎn)品，連接產(chǎn)業(yè)鏈上下游，也可以為人才的培養(yǎng)和流動(dòng)提供良好平臺(tái)。
鄭緯民表示，在數(shù)字經(jīng)濟(jì)時(shí)代，摩爾定律的持續(xù)實(shí)現(xiàn)，為人工智能的進(jìn)一步發(fā)展提供了關(guān)鍵的基礎(chǔ)，需要通過(guò)軟硬件密切協(xié)同，才能進(jìn)一步加速算力提升和使用效率。算力、網(wǎng)絡(luò)具備很強(qiáng)的公共基礎(chǔ)設(shè)施特性，只有加快建立一個(gè)開(kāi)放性的產(chǎn)業(yè)生態(tài)，把選擇權(quán)交給用戶，才能驅(qū)動(dòng)行業(yè)百花齊放，從而真正促進(jìn)大模型產(chǎn)業(yè)的健康發(fā)展。
