首先我們來(lái)說(shuō)說(shuō)，目前市場(chǎng)上主要有哪些AI芯片？根據(jù)應(yīng)用范圍，可以分為終端AI芯片、云端AI芯片及當(dāng)下熱潮的邊緣AI芯片。

?

終端AI芯片

?

終端類的AI芯片，其功能要求功耗低、算力低，主要應(yīng)用于AI的推理，往往以各種帶AI模塊的MCU來(lái)呈現(xiàn)，專注于某一類應(yīng)用，例如，智能音箱里面的AI芯片，可以用于語(yǔ)音識(shí)別。智能門鎖的AI芯片，可以人臉識(shí)別等。

?

云端AI芯片

?

云端AI芯片則是數(shù)據(jù)中心， 用于云端AI加速，不但可以推理也可以做訓(xùn)練。例如NVIDA的GPU卡、谷歌的TPU等等。云端AI芯片性能比較強(qiáng)，面積也非常大，例如A100據(jù)說(shuō)在7nm下有826mm2，性能也比較強(qiáng)悍！

?

那么，邊緣AI芯片又是做什么的？

?

相對(duì)于終端AI芯片很多消費(fèi)級(jí)的場(chǎng)景，邊緣AI芯片更多的是工業(yè)領(lǐng)域的應(yīng)用。邊緣AI基本上將應(yīng)用局限在某個(gè)范圍內(nèi)，可以是一輛汽車、一列火車、一個(gè)工廠、一個(gè)商店。在這個(gè)范圍內(nèi)，有一些實(shí)時(shí)的AI決策及處理需求需要被滿足。相應(yīng)的我們會(huì)把AI賦能稱之為，自動(dòng)駕駛、智能制造、智慧零售等。

?

其核心目的主要強(qiáng)調(diào)數(shù)據(jù)來(lái)源側(cè)來(lái)解決問(wèn)題，這就是邊緣AI芯片存在的需求。

?

邊緣AI芯片特征

?

1、算力強(qiáng)

?

邊緣AI的算力要比終端要算力更強(qiáng)，通常都是獨(dú)立解決問(wèn)題。但是性能要比小區(qū)的人臉識(shí)別或者智能音箱這種語(yǔ)音識(shí)別的基于某種應(yīng)用的端側(cè)AI芯片的處理能力要強(qiáng)1-2個(gè)數(shù)量級(jí)。

?

2、外設(shè)豐富

?

邊緣AI基本上強(qiáng)調(diào)信息的可獲得性，例如多路攝像頭的輸入的需求，對(duì)于類似MIPI的接口的數(shù)量會(huì)有很大的需求，例如可以同時(shí)支持多路攝像頭等視頻音頻的輸入。

?

3、可編程性

?

邊緣AI芯片通常用面向工業(yè)用戶，需要AI賦能用戶，換言之：AI要和用戶應(yīng)用場(chǎng)景相結(jié)合，通常根據(jù)不同工業(yè)用戶不同的場(chǎng)景需要進(jìn)行編程，用于適配不同的模型和場(chǎng)景。也不局限于某種應(yīng)用。一個(gè)良好的可編程的架構(gòu)是解決問(wèn)題的關(guān)鍵。邊緣AI芯片不是直接給工業(yè)客戶用，而是要根據(jù)工業(yè)客戶的需求進(jìn)行客戶需求AI賦能，這個(gè)是邊緣AI芯片核心特征。

?

邊緣AI芯片架構(gòu)

?

那么邊緣AI芯片的架構(gòu)是什么樣子的？舉個(gè)例子，邊緣AI計(jì)算平臺(tái)，JESTON 應(yīng)該算是一個(gè)。其最新一代發(fā)布的是JESTON ?AGX Orin 。JETSON作為英偉達(dá)邊緣的AI計(jì)算平臺(tái)，其名氣沒(méi)有英偉達(dá)的GPU大。但是，JESTON同時(shí)繼承了Ampere的架構(gòu)的GPU和 ARM Cortex-A78，在邊緣側(cè)AI芯片中，既可以做推理也可以做訓(xùn)練。作為一個(gè)邊緣AI產(chǎn)品，其有200Tops的處理性能（INT8）。我們以JESTON ?AGX Orin為例，探索下其芯片內(nèi)部架構(gòu)是怎樣的。

?

這個(gè)芯片的計(jì)算部分主要是三大件：CPU、GPU、DSA（NVDLA+PVA）

?

CPU：

JESTON其內(nèi)部有3組4核的A78，頻率可以到2GHz。也就是說(shuō)，這個(gè)芯片內(nèi)部有12核的A78的處理器，不同于手機(jī)的處理器，3個(gè)cluster的A78是對(duì)稱的，不是手機(jī)處理器的大小核設(shè)計(jì)，其主要是面向計(jì)算服務(wù)，而不是手機(jī)應(yīng)用中不同負(fù)載的低功耗。在一些標(biāo)量的運(yùn)算中，多核A78的計(jì)算能力也是非常強(qiáng)悍。

?

GPU：

?

GPU是英偉達(dá)最新的安培架構(gòu)，擁有2048個(gè)CUDA核，以及64個(gè)Tensor內(nèi)核。這些都是可編程的。安培架構(gòu)是最新一代的GPU架構(gòu)，前面幾代分別是：Kepler，Maxwell，Pascal， Volta等。最新一代的安培架構(gòu)升級(jí)了tensor core。用了安培GPU以后，與其他邊緣AI芯片不同的是，可以支持推理和訓(xùn)練。最重要的是，這個(gè)AI芯片可以用cuda來(lái)編程了，而可編程性則是邊緣AI芯片的核心需求了。

?

DSA：

?

作為AI加速單元，JESTON本身也有另外2個(gè)NVDLA 的硬核，以及VISION加速器 PVA；NVDLA主要用于推理。內(nèi)核核心還是一個(gè)大的矩陣卷積運(yùn)算。

?

PVA用了VPU的架構(gòu)，使用VLIW的架構(gòu)，VLIW是超長(zhǎng)指令字結(jié)構(gòu)，其并行度比較好，VIEW架構(gòu)設(shè)計(jì)簡(jiǎn)化了硬件結(jié)構(gòu)，其二，VLIW的大位寬執(zhí)行并不會(huì)以犧牲性能和頻率為代價(jià)。但是同時(shí)將問(wèn)題交給了軟件來(lái)運(yùn)行。

?

IO資源：

?

除了計(jì)算資源，IO資源也比較豐富，畢竟邊緣AI側(cè)，就需要豐富的輸入，支持6個(gè)攝像頭以及16組通道的MIPI接口。 如果邊緣AI芯片選一個(gè)重要的接口，那肯定是MIPI了。畢竟邊緣AI芯片，除了算力之外，還缺少不了的就是MIPI接口。MIPI就是邊緣AI芯片的眼睛，（用于連接攝像頭）。畢竟和人不同，需要很多雙眼睛，畢竟邊緣AI芯片需要“眼觀六路，耳聽(tīng)八方”。只有大腦，沒(méi)有耳朵和眼睛，邊緣AI芯片是不能工作的。同樣還有USB接口，也可以支持一些USB攝像頭。同樣可以支持PCIe。RC和EP都支持，也就是說(shuō)，可以同時(shí)作為加速卡插在別的主機(jī)上，也可以作為主設(shè)備插別的加速卡。同時(shí)在網(wǎng)絡(luò)方面，支持4路10G口，可以實(shí)現(xiàn)高速互聯(lián)，如果有需要可以實(shí)現(xiàn)高速網(wǎng)絡(luò)傳輸，或者幾個(gè)JESTON AGX的互聯(lián)。

?

根據(jù)這些參數(shù)，芯片面積小不了，我覺(jué)得這顆芯片可能是7nm的制程。才能在面積和功耗上比較平衡一下。其典型功耗大約在15W，30W，45W幾個(gè)不同的量級(jí)上。

?

邊緣AI芯片作用

?

作為一個(gè)方案商，不但要有一個(gè)非常強(qiáng)勁的AI引擎，其次要有很多的視頻輸入源。最后要通過(guò)一個(gè)非常強(qiáng)悍的AI框架（SDK）將這些硬件運(yùn)行起來(lái)。也就是說(shuō)邊緣AI需要根據(jù)用戶對(duì)于AI的需求二次開(kāi)發(fā)。剛才提到，邊緣AI其中一個(gè)重要的特征就是，根據(jù)工業(yè)場(chǎng)景進(jìn)行AI+場(chǎng)景的再開(kāi)發(fā)。很多AI芯片紙面性能很強(qiáng)，但是如何將這些算力轉(zhuǎn)換成用戶感知的提升，這個(gè)里面就有很多內(nèi)功可做。因此工業(yè)用戶需要的是一個(gè)開(kāi)放AI平臺(tái)，而不是一個(gè)只有算力的芯片，更重要的是，要根據(jù)用戶需求進(jìn)行AI業(yè)務(wù)開(kāi)發(fā)。

?

邊緣AI適用于哪些應(yīng)該場(chǎng)景？

?

邊緣AI的應(yīng)用領(lǐng)域非常廣泛，包括智能家居、智慧交通、餐廳送餐機(jī)器人、新零售應(yīng)用、AR/VR/元宇宙、機(jī)器人編程、智慧工業(yè)/物流/金融等。

?

尤其是邊緣AI視覺(jué)，具體來(lái)看，常用的技術(shù)包括圖像分類、目標(biāo)檢測(cè)、語(yǔ)音分割等。圖像分類，將圖像送入網(wǎng)絡(luò)，然后網(wǎng)絡(luò)對(duì)圖像數(shù)據(jù)分類，在安防、互聯(lián)網(wǎng)、消費(fèi)電子、汽車、醫(yī)療領(lǐng)域都有應(yīng)用，比如用于進(jìn)行人體車輛屬性分類、人車分類、紅綠燈、病灶標(biāo)注等，用到的典型模型包括AlexNet、GoogLeNet、VGGNet、RESNET、DenseNet、mobilenet等。

?

目標(biāo)檢測(cè)，即識(shí)別圖像中的很多對(duì)象，并為各個(gè)對(duì)象輸出邊界框和分類標(biāo)簽，典型模型包括YOLO、SSD、Fast R-CNN。用于安防領(lǐng)域的人臉檢測(cè)、目標(biāo)檢測(cè)，互聯(lián)網(wǎng)領(lǐng)域的內(nèi)容審查，消費(fèi)電子領(lǐng)域的手機(jī)相冊(cè)分類，汽車領(lǐng)域的人車檢測(cè)，醫(yī)療領(lǐng)域的病灶識(shí)別與標(biāo)注等。

?

語(yǔ)音分割，將整個(gè)圖像分成一個(gè)個(gè)像素組，然后對(duì)其進(jìn)行標(biāo)記和分類，語(yǔ)音分割試圖在語(yǔ)音上理解圖像中每個(gè)像素的角，典型模型包括FCN、SegNet。用于在安防領(lǐng)域的行為姿態(tài)檢測(cè)，互聯(lián)網(wǎng)領(lǐng)域的廣告，汽車領(lǐng)域的可行駛區(qū)域感知，醫(yī)療領(lǐng)域的CT、X光輔助診斷。

?

經(jīng)過(guò)過(guò)去這些年的發(fā)展，邊緣AI的應(yīng)用場(chǎng)景越來(lái)越豐富，視覺(jué)感知的需求在提升，算法也越來(lái)越復(fù)雜，對(duì)算力的需求也越來(lái)越多。

（注：文章內(nèi)容摘自于網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系刪除）