日前，在2023世界半導(dǎo)體大會(huì)暨南京國際半導(dǎo)體博覽會(huì)上，高通全球副總裁孫剛發(fā)表演講時(shí)談到，目前高通能夠支持參數(shù)超過10億的模型在終端上運(yùn)行，未來幾個(gè)月內(nèi)超過100億參數(shù)的模型將有望在終端側(cè)運(yùn)行。
大模型在終端側(cè)運(yùn)行的重要性
生成式AI正在快速發(fā)展，數(shù)據(jù)顯示，2020年至2022年，生成式AI相關(guān)的投資增長425%，初步預(yù)估生成式AI市場規(guī)模將達(dá)到1萬億美元。
然而孫剛指出，云經(jīng)濟(jì)難以支持生成式AI規(guī)?；卣?，為實(shí)現(xiàn)規(guī)?；卣?，AI處理的中心正在向邊緣轉(zhuǎn)移。比如XR、汽車、手機(jī)、PC、物聯(lián)網(wǎng)，生成式AI將影響各類終端上的應(yīng)用。
高通在這方面展示出了領(lǐng)先的優(yōu)勢，高通AI引擎由多個(gè)硬件和軟件組件組成，用于在驍龍移動(dòng)平臺(tái)上為終端側(cè)AI推理加速。它采用異構(gòu)計(jì)算架構(gòu)，包括高通Hexagon處理器、Adreno GPU、Kryo CPU和傳感器中樞，共同支持在終端上運(yùn)行AI應(yīng)用程序。
在7月初的2023年世界人工智能大會(huì)上，高通就已經(jīng)展示了全球首個(gè)在終端側(cè)運(yùn)行生成式AI（AIGC）模型Stable Diffusion的技術(shù)演示，和全球最快的終端側(cè)語言-視覺模型（LVM）ControlNet運(yùn)行演示。這兩款模型的參數(shù)量已經(jīng)達(dá)到10億-15億，僅在十幾秒內(nèi)就能夠完成一系列推理，根據(jù)輸入的文字或圖片生成全新的AI圖像。
今年7月18日，Meta官宣將發(fā)布其開源大模型LLaMA的商用版本，為初創(chuàng)企業(yè)和其他企業(yè)提供了一個(gè)強(qiáng)大的免費(fèi)選擇，以取代OpenAI和谷歌出售的昂貴的專有模型。隨后，高通發(fā)布公告稱，從2024年起，Llama 2將能在旗艦智能手機(jī)和PC上運(yùn)行。
高通技術(shù)公司高級(jí)副總裁兼邊緣云計(jì)算解決方案業(yè)務(wù)總經(jīng)理Durga Malladi表示，為了有效地將生成式人工智能推廣到主流市場，人工智能將需要同時(shí)在云端和邊緣終端（如智能手機(jī)、筆記本電腦、汽車和物聯(lián)網(wǎng)終端）上運(yùn)行。
在高通看來，和基于云端的大語言模型相比，在智能手機(jī)等設(shè)備上運(yùn)行Llama 2 等大型語言模型的邊緣云計(jì)算具有許多優(yōu)勢，不僅成本更低、性能更好，還可以在斷網(wǎng)的情況下工作，而且可以提供更個(gè)性化、更安全的AI服務(wù)。
如何讓大模型在終端規(guī)?；瘮U(kuò)展
生成式AI進(jìn)入未來生活的趨勢已經(jīng)不可阻擋，為了讓生成式AI規(guī)模化擴(kuò)展到更多終端設(shè)備中，高通提出了混合AI架構(gòu)的運(yùn)行方式，即在云端和設(shè)備終端的邊緣側(cè)之間分配算力，協(xié)同處理AI工作負(fù)載。
所謂混合AI，是指充分利用邊緣側(cè)終端算力支持生成式AI應(yīng)用的方式，相比僅在云端運(yùn)行的AI，前者能夠帶來高性能、個(gè)性化且更安全的體驗(yàn)。
比如，如果模型、提示或生成內(nèi)容的長度小于某個(gè)限定值，且精度足夠，推理就可以完全在終端側(cè)進(jìn)行；如果任務(wù)相對(duì)復(fù)雜，則可以部分依靠云端模型；如果需要更多實(shí)時(shí)內(nèi)容，模型也可以接入互聯(lián)網(wǎng)獲取信息。
在未來，不同的生成式AI用不同分流方式的混合AI架構(gòu)，AI也能在此基礎(chǔ)上持續(xù)演進(jìn)：
?大量生成式AI的應(yīng)用，比如圖像生成或文本創(chuàng)作，需求AI能夠進(jìn)行實(shí)時(shí)響應(yīng)。在這種任務(wù)上，終端可通過運(yùn)行不太復(fù)雜的推理完成大部分任務(wù)。
在AI計(jì)算的實(shí)現(xiàn)上，軟件和硬件同樣重要，因?yàn)楸仨氃诙藗?cè)做到運(yùn)算更快，效率更高，并推動(dòng)AI應(yīng)用在廣泛終端上的部署和普及。
高通在2022年6月推出AI軟件棧（Qualcomm AI Stack），其支持包括TensorFlow、Pytorch和ONNX在內(nèi)的所有主流開發(fā)框架，所有runtimes（運(yùn)行時(shí)，即某門編程語言的運(yùn)行環(huán)境）和操作系統(tǒng)。借助高通AI軟件棧，開發(fā)者在智能手機(jī)領(lǐng)域開發(fā)的軟件可以快速擴(kuò)展至汽車、XR、可穿戴設(shè)備等其他產(chǎn)品線進(jìn)行使用。
高通技術(shù)公司產(chǎn)品管理高級(jí)副總裁兼AI負(fù)責(zé)人Ziad Asghar表示，未來公司需要加大終端側(cè)技術(shù)上的研發(fā)，尤其是進(jìn)一步提升量化的算法。例如服務(wù)器上訓(xùn)練的模型一般采用32位浮點(diǎn)運(yùn)算（FP32），而我們?cè)谑謾C(jī)端現(xiàn)在能夠支持INT4計(jì)算，這能大大提高端側(cè)的處理能力。
