近一段時(shí)間，在各種人工智能相關(guān)的大會(huì)上，具身智能已經(jīng)成為共同的話題，并且有很多人將2024年定義為具身智能產(chǎn)業(yè)發(fā)展元年，因?yàn)榇饲岸际歉拍钚蕴剿?，今年則是開始切實(shí)地需求落地。
根據(jù)中國(guó)計(jì)算機(jī)學(xué)會(huì)的定義，具身智能橫跨人工智能、機(jī)器人學(xué)習(xí)、計(jì)算機(jī)視覺等學(xué)科，屬于有物理身體的智能體通過與物理環(huán)境進(jìn)行交互，從而獲得智能的人工智能研究范式。那么，如果工程師想要搭建自己的具身智能創(chuàng)新方案，該如何做呢？
那么，在這里我們向大家推薦英偉達(dá)的Jetson Thor芯片方案以及相關(guān)的配套資源。
專門為機(jī)器人應(yīng)用打造的Jetson Thor
1950年圖靈首次提出具身智能概念，但在那之后具身智能并沒有取得很大進(jìn)展，很重要的原因就是基于當(dāng)時(shí)的軟硬件資源，具身智能簡(jiǎn)直就是天方夜譚。在ITF World 2023半導(dǎo)體大會(huì)上，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛重提具身智能，他認(rèn)為人工智能下一個(gè)浪潮將是具身智能”。
在GTC 2024上，英偉達(dá)發(fā)布了專為人形機(jī)器人打造的Jetson Thor芯片平臺(tái)，這款芯片融入了非常多的英偉達(dá)關(guān)于具身智能發(fā)展的“know how”。在Jetson Thor發(fā)布之前，英偉達(dá)在機(jī)器人領(lǐng)域已經(jīng)發(fā)布了多款芯片方案，包括Jetson Orin、Jetson Orin Nano和Jetson AGX Xavier等。
并且，正如英偉達(dá)所言，每一款Jetson系列產(chǎn)品都是一個(gè)完整的系統(tǒng)模組 (SOM)，其中包括 GPU、CPU、內(nèi)存、電源管理和高速接口等。以Jetson Orin模組為例，最高可提供高達(dá)每秒 275萬(wàn)億次浮點(diǎn)運(yùn)算 (TOPS）的算力，擁有4GB到64GB內(nèi)存配置，模組功耗在7瓦到60瓦之間。
Jetson Thor延續(xù)了Jetson系列高性能的傳統(tǒng)，可提供每秒800萬(wàn)億次8位浮點(diǎn)運(yùn)算AI性能，并集成功能安全處理器、高性能CPU集群和100GB以太網(wǎng)帶寬。正如筆者此前文章提到的，Jetson Thor基于英偉達(dá)Blackwell架構(gòu)，保證了該芯片的高性能。和英偉達(dá)上一代Hopper架構(gòu)相比，Blackwell架構(gòu)在各項(xiàng)性能方面都帶來了數(shù)倍的提升。并且，Blackwell Tensor核心增加了新的精度，基于該架構(gòu)打造的第二代Transformer引擎支持4位浮點(diǎn)數(shù)AI推理，計(jì)算能力和模型規(guī)模提高一倍。
根據(jù)英偉達(dá)的介紹，Jetson Thor能夠執(zhí)行復(fù)雜的任務(wù)并安全、自然地與人和機(jī)器交互，具有針對(duì)性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。
圍繞Jetson系列豐富的開發(fā)資源
如上所述，英偉達(dá)Jetson系列是面向機(jī)器人開發(fā)的解決方案，滿足各種應(yīng)用的性能和預(yù)算需求。在這套方案中，除了高性能、高度集成的芯片平臺(tái)，還有豐富的配套資源。
比如，面向產(chǎn)品開發(fā)的開發(fā)者，Jetson系列整合JetPack SDK、Metropolis微服務(wù)、生產(chǎn)就緒的Isaac ROS軟件包和特定于應(yīng)用程序的參考AI工作流程。
JetPack SDK是Jetson軟件堆棧的源頭，提供Jetson Linux、開發(fā)人員工具、CUDA-X加速庫(kù)和其他NVIDIA技術(shù)。JetPack SDK構(gòu)建了用于各種機(jī)器人應(yīng)用的底層能力，借助JetPack SDK，開發(fā)者可以使用TensorRT和cuDNN用于加速AI推理，CUDA用于加速通用計(jì)算，VPI用于加速計(jì)算機(jī)視覺和圖像處理，Jetson Linux API用于加速多媒體，libArgus和V4l2用于加速相機(jī)處理。
同時(shí)，借助Jetson Linux，開發(fā)人員可以開發(fā)各種應(yīng)用程序，工具包中包含Linux內(nèi)核、引導(dǎo)加載器、NVIDIA驅(qū)動(dòng)程序、閃爍實(shí)用程序、示例文件系統(tǒng)和Jetson平臺(tái)的工具鏈，使得應(yīng)用程序開發(fā)非常迅捷?？偨Y(jié)來說，在JetPack SDK中，擁有非常豐富的細(xì)分功能的SDK，工程師朋友可以根據(jù)自己的需要去選擇。
我們?cè)倏匆幌翴saac ROS軟件包，它是一個(gè)用于機(jī)器人操作系統(tǒng)的軟硬件加速包，包括多個(gè)開源選項(xiàng)。Isaac ROS提供具有圖像處理和計(jì)算機(jī)視覺功能的單個(gè)軟件包（GEM）和完整管道（NITROS），幫助機(jī)器人應(yīng)用構(gòu)建高吞吐量的感知系統(tǒng)；模塊化軟件包的Isaac ROS讓開發(fā)人員可以根據(jù)自己的需要來替換部分算法；Isaac ROS擁有非常出色的兼容性，能夠大幅縮短機(jī)器人方案的開發(fā)周期?？傊琁saac ROS是一個(gè)功能豐富且模塊化的感知軟件包，為機(jī)器人應(yīng)用程序帶來高性能感知和硬件加速。
面向教育工作者、學(xué)生和發(fā)燒友，英偉達(dá)也提供Jetson Nano開發(fā)者套件，能夠幫助這類型的開發(fā)者進(jìn)行教授、學(xué)習(xí)和開發(fā)AI與機(jī)器人融合的方案。
除了豐富的配套開發(fā)資源，我們還要重提英偉達(dá)在具身智能大模型方面的先進(jìn)理念，英偉達(dá)Project GR00T人形機(jī)器人基礎(chǔ)模型是一個(gè)VLA類型的模型，具備語(yǔ)言、動(dòng)作和專業(yè)機(jī)器人知識(shí)模態(tài)，是未來具身智能開發(fā)的主流模型路線。這些知識(shí)和資源，開發(fā)者都可以從英偉達(dá)GR00T項(xiàng)目或者 Isaac工具組合中去獲取。
結(jié)語(yǔ)
英偉達(dá)Jetson Thor芯片是該公司專門為機(jī)器人應(yīng)用打造的高性能推理芯片，也是Jetson系列面向未來具身智能應(yīng)用給出的硬件解決方案，高算力、高度集成和一體化方案是該平臺(tái)的特點(diǎn)。
同時(shí)，英偉達(dá)還提供了豐富的軟件資源，從最底層的SDK到操作系統(tǒng)層面都可以找到相關(guān)的資源，實(shí)現(xiàn)具身智能等機(jī)器人應(yīng)用的快速開發(fā)
