10月19日至20日，由工業(yè)和信息化部、江西省人民政府主辦的2023世界VR產(chǎn)業(yè)大會在江西南昌召開。中央廣播電視總臺編務(wù)會議成員、超高清視音頻制播呈現(xiàn)國家重點(diǎn)實(shí)驗(yàn)室主任姜文波出席本次大會，并在10月19日上午舉行的開幕演講中表示，將XR技術(shù)應(yīng)用于視聽文化節(jié)目創(chuàng)作，是“科技+藝術(shù)”的融合創(chuàng)新，為以VR虛擬顯示為基底的虛實(shí)融合視音頻技術(shù)應(yīng)用提供了新的應(yīng)用前景。
文化元宇宙采用視聽技術(shù)構(gòu)建歷史文化場景和歷史文化人物，同時(shí)讓當(dāng)代人走進(jìn)這個(gè)虛擬場景與虛擬人對話，通過XR虛實(shí)融合的方式講述歷史文化故事。
姜文波表示，隨著超高清視頻和音頻、互聯(lián)網(wǎng)、人工智能、5G、大數(shù)據(jù)等技術(shù)的快速發(fā)展，為視聽媒體虛擬制作提供強(qiáng)有力的支持，VR/AR/XR/VP等技術(shù)應(yīng)用越來越普遍，不僅提升了視聽媒體的視頻及音頻質(zhì)量，同時(shí)還增強(qiáng)了視聽媒體多維性、智能化和交互性，為視聽媒體打造沉浸式虛擬空間提供可能。
姜文波介紹，文化元宇宙共性技術(shù)主要涉及超寫實(shí)數(shù)字人制作技術(shù)、大場景三維掃描與重建技術(shù)、三維菁彩聲技術(shù)和XR虛實(shí)融合超高清制作技術(shù)。
“超寫實(shí)數(shù)字人制作技術(shù)是文化元宇宙涉及的一個(gè)重要技術(shù)?！苯牟◤?qiáng)調(diào)，根據(jù)人物形象特征，通過三維數(shù)字技術(shù)和自然語言大模型技術(shù)，創(chuàng)作出超寫實(shí)數(shù)字人，這個(gè)數(shù)字人不僅可以像真人一樣跑步、跳舞，還能說話、唱歌。他將數(shù)字人的發(fā)展歸納為三個(gè)演進(jìn)階段：1.0 階段提供2D動(dòng)畫生成數(shù)字人，2.0階段通過3D+真人動(dòng)捕驅(qū)動(dòng)建模生成，3.0 階段通過生成式人工智能（AIGC）建模生成。
具體而言，制作超寫實(shí)數(shù)字人，是基于3D+光場的超寫實(shí)數(shù)字人建模。就是研發(fā)集空間、角度、光譜、時(shí)間等多維度光場的數(shù)字人采集重建系統(tǒng)，開發(fā)基于多視點(diǎn)三維重建與光度立體材質(zhì)貼圖解算算法，建設(shè)超寫實(shí)數(shù)字人資產(chǎn)數(shù)據(jù)，以及數(shù)字人動(dòng)作表情數(shù)據(jù)，構(gòu)建多模態(tài)大模型學(xué)習(xí)的數(shù)據(jù)庫。此外，制作超寫實(shí)數(shù)字人還需要自然語言對話系統(tǒng)和多模態(tài)數(shù)字人實(shí)時(shí)驅(qū)動(dòng)與交互呈現(xiàn)系統(tǒng)。
在姜文波看來，大場景3D掃描與重建是構(gòu)建虛擬場景的關(guān)鍵技術(shù)，包括三個(gè)方面：
一是超大規(guī)模場景輕量化智能掃描，通過無人機(jī)快速地形勘測，采用VISlam、多源異構(gòu)、合成孔徑等技術(shù)，實(shí)現(xiàn)對超大范圍場景的高效智能采集，獲得自然景觀及文化建筑的三維超高清光場數(shù)據(jù)庫。
二是采用三維網(wǎng)格技術(shù)構(gòu)建百億像素級的精細(xì)三維場景模型，并利用AI神經(jīng)輻射場技術(shù)對場景內(nèi)容元素進(jìn)行渲染，建立大場景三維模型。
三是采用AI光影渲染技術(shù)對三維場景模型進(jìn)行渲染，實(shí)現(xiàn)不同光照下的三維或二維大場景的景象。
在談及三維菁彩聲技術(shù)時(shí)，姜文波指出，該技術(shù)通過聲床、對象和HOA高保真技術(shù)構(gòu)建三維聲場，運(yùn)用混合AI技術(shù)完成三維音頻的編解碼，通過5.1.4音箱或耳機(jī)渲染呈現(xiàn)，完美展現(xiàn)了真實(shí)場景的沉浸式炫酷的音效，是提升沉浸式體驗(yàn)的關(guān)鍵技術(shù)。
XR虛實(shí)融合超高清制作技術(shù)采用LED、投影、全息等方式構(gòu)建虛擬空間，通過三維渲染引擎在LED屏幕上實(shí)時(shí)呈現(xiàn)動(dòng)態(tài)虛擬場景，數(shù)字人和景在這虛擬空間生存，人們可以走進(jìn)這個(gè)虛擬空間，并與數(shù)字人互動(dòng)。
“XR虛實(shí)融合超高清制作技術(shù)為影視制作、短視頻生成、文旅演藝、直播電商和教育培訓(xùn)等視聽文化創(chuàng)新提供了新手段，給創(chuàng)作者和受眾帶來新體驗(yàn)?！苯牟ū硎?，“運(yùn)用XR虛實(shí)融合超高清制作技術(shù)，打造實(shí)時(shí)在線的虛擬場景和高仿真數(shù)字人，構(gòu)建現(xiàn)實(shí)世界和虛擬世界共存的沉浸式視聽體驗(yàn)空間，這是典型的文化元宇宙應(yīng)用場景?！?/p>
姜文波以央視春晚為例分享了“XR虛實(shí)融合+VR影像繪畫”超高清制作技術(shù)。他說，為提升2023年央視春晚節(jié)目表演效果，中央廣播電視總臺整合了XR虛實(shí)融合渲染系統(tǒng)和VR影像渲染系統(tǒng)，讓演員穿戴VR眼鏡在舞臺表演三維影像繪畫，并將演員繪制的影像在電視畫面呈現(xiàn)出來，在春晚舞臺再現(xiàn)了中國古代傳說中的“神筆馬良”。
姜文波表示，將XR技術(shù)應(yīng)用于視聽文化節(jié)目創(chuàng)作，是“科技+藝術(shù)”的融合創(chuàng)新，為以VR虛擬顯示為基底的虛實(shí)融合視音頻技術(shù)應(yīng)用提供了新的應(yīng)用前景，進(jìn)一步拓展了現(xiàn)實(shí)世界和虛擬世界的融合創(chuàng)新。
來源：中國電子報(bào)
