h1_key

  NPU芯片有什么用，算力是怎么評(píng)估的?

  算力簡(jiǎn)單說就是計(jì)算能力，按《中國(guó)算力發(fā)展指數(shù)白皮書》中的定義算力是設(shè)備通過處理數(shù)據(jù)，實(shí)現(xiàn)特定結(jié)果輸出的計(jì)算能力。2018年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者William D. Nordhau濾《計(jì)算過程》一文中提出：“算力是設(shè)備根據(jù)內(nèi)部每秒可處理的信息數(shù)據(jù)量"。算力實(shí)現(xiàn)的核心是CPU、GPU等各類計(jì)算芯片，并由計(jì)算機(jī)、服務(wù)器、高性能計(jì)多集群和各類智能終端等承載，海量數(shù)據(jù)處理和各種數(shù)字化應(yīng)用都離不開算力的加工和計(jì)算。

  以AI為例，CPU、GPU、DSP等都可以運(yùn)行，但是還是有專用的AI芯片，為什么呢?也跟算力有關(guān)。

  CPU(central processing unit)是通用處理器，可以處理一切事物，就像一把瑞士軍刀，哪方面都能做但都不是專業(yè)高效的。

  GPU(Graphics Processing Unit)是專門用來處理圖形圖像相關(guān)的處理器，與CPU相比GPU處理的數(shù)據(jù)類型單一，因?yàn)檫\(yùn)算與AI相似以及容易組成大的集群，所以進(jìn)行AI運(yùn)算時(shí)在性能、功耗等很多方面遠(yuǎn)遠(yuǎn)優(yōu)于CPU，經(jīng)常被拿來處理AI運(yùn)算。

  DSP(digital signal processor)，是專門用來處理數(shù)字信號(hào)的，DSP與GPU情況相似，也會(huì)被拿來做AI運(yùn)算，比如高通的手機(jī)SoC。

  AI芯片是專門用來處理AI相關(guān)運(yùn)算的芯片，這與CPU、GPU、DSP的“兼職”做AI運(yùn)算不同，即便是最高效的GPU與AI芯片相比也是有差距的，AI芯片在時(shí)延、性能、功耗、能效比等方面全面的超過上面提到的各種處理器。以知名的谷歌的TPU為例，如下圖所示，TPU的主要計(jì)算資源為：

  Matrix Multiply Unit：矩陣乘單元

  Accumulators：存儲(chǔ)矩陣乘加輸出的中間結(jié)果

  Activation：激活單元

  Unified Buffer：統(tǒng)一緩存

  當(dāng)時(shí)谷歌資深硬件工程師Norman Jouppi表示，谷歌的專用機(jī)器學(xué)習(xí)芯片TPU處理速度要比GPU和CPU快15-30倍(和TPU對(duì)比的是英特爾Haswell CPU以及Nvidia Tesla K80 GPU)，而在能效上，TPU更是提升了30到80倍，這并不意外，因?yàn)門PU運(yùn)行的CNN運(yùn)算主要就是矩陣乘，專用芯片好處就是這樣。其實(shí)對(duì)于對(duì)于AI來說，又分為訓(xùn)練和推理，訓(xùn)練就像AlphaGo一樣需要學(xué)很多的棋譜(數(shù)據(jù))，通常采用數(shù)據(jù)精度為FP32。

  FP32(Full Precise Float 32，單精度)占用4個(gè)字節(jié)，共32bit，

  FP16(float，半精度)占用2個(gè)字節(jié)，共16bit，

  INT8，占用1個(gè)字節(jié)，也就是8bit，精度更低，因此數(shù)據(jù)量小、能耗低，計(jì)算速度相對(duì)更快，更符合端側(cè)運(yùn)算的特點(diǎn)。

  不同精度計(jì)算消耗的Bill Dally 在ACMMM 2017 上的《Efficient Methods and Hardware for Deep Learning》演講中曾經(jīng)列過一個(gè)不同精度計(jì)算的消耗能量和硅片面積對(duì)比，可以看出一個(gè)FP32精度的乘法運(yùn)算消耗是INT8精度的18.5倍。因此同樣一塊芯片運(yùn)算INT8的數(shù)據(jù)與運(yùn)算FP32的數(shù)據(jù)在同一時(shí)間內(nèi)運(yùn)算次數(shù)相差很多，也就是說不同精度OPS不同，算力不同。

  這樣的精度如果運(yùn)行在手機(jī)等終端上是不行的，所以在在手機(jī)、汽車、安防等終端領(lǐng)域，都是執(zhí)行模型的推理，現(xiàn)有的推理芯片有很多，比如特斯拉FSD、寒武紀(jì)NPU、地平線BPU、OPPO的馬里亞納、榮耀使用的AI-ISP等。與訓(xùn)練階段不同，在推理的時(shí)候，精度要求并不高，以知名的對(duì)象監(jiān)測(cè)算法YOLO(You Only Look Once)為例，F(xiàn)P32的精度與INT8的精度相差甚小，但是因?yàn)槟Ｐ透?，神?jīng)網(wǎng)絡(luò)模型的推理速度卻大幅加快。這在終端上很重要，比如在汽車的自動(dòng)駕駛上，如果推理計(jì)算的數(shù)據(jù)慢了會(huì)造成巨大的影響。

  當(dāng)然在安防等對(duì)精度要求更低的地方，還有很多采用的是INT4精度的，比如愛芯科技的AX630A在INT4精度下的算力達(dá)到了28.8TOPS，可應(yīng)用于智能盒子，運(yùn)動(dòng)相機(jī)，智能加速卡，工業(yè)攝像頭等領(lǐng)域，如果是INT8精度就是7.2TOPS(這里要注意的是并不是所有的AI芯片支持不同精度下的算力轉(zhuǎn)換，這需要硬件實(shí)現(xiàn)上的支持)

  在終端芯片上，廠商宣稱的算力有時(shí)候甚至不是AI芯片的算力，因?yàn)镃PU、GPU、DSP都可以進(jìn)行AI的運(yùn)算，所以在宣傳算力的時(shí)候采用的是CPU算力 + GPU算力 + DSP算力的算法，雖然這些處理單元都在一顆芯片上但是在實(shí)際使用上不可能同時(shí)進(jìn)行AI運(yùn)算。

  因?yàn)橐恍┦謾C(jī)芯片的AI處理能力不足，以及處理流程在YUV域較為靠后，所以像OPPO等廠商開始推出馬里亞納這樣的AI芯片，18TOPS并前置在手機(jī)SOC之前在RAW域進(jìn)行 AI降噪的處理，可以大幅的提升夜景拍攝能力，保留更多細(xì)節(jié)。

  榮耀采用的AI-ISP也是一樣的道理，其實(shí)這類芯片本質(zhì)上是一個(gè)處理AI運(yùn)算的NPU，從業(yè)務(wù)上來說更好的叫法是Pre-ISP，并不是真正的ISP芯片。