【導讀】移動(dòng)設備上的人工智能已經(jīng)不再依賴(lài)于云端連接，今年 CES 最熱門(mén)的產(chǎn)品演示和最近宣布的旗艦智能手機都論證了這一觀(guān)點(diǎn)。人工智能已經(jīng)進(jìn)入終端設備，并且迅速成為一個(gè)市場(chǎng)賣(mài)點(diǎn)。
移動(dòng)設備上的人工智能已經(jīng)不再依賴(lài)于云端連接，今年 CES 最熱門(mén)的產(chǎn)品演示和最近宣布的旗艦智能手機都論證了這一觀(guān)點(diǎn)。人工智能已經(jīng)進(jìn)入終端設備，并且迅速成為一個(gè)市場(chǎng)賣(mài)點(diǎn)。包括安全、隱私和響應時(shí)間在內的這些因素，使得該趨勢必將繼續擴大到更多的終端設備上。為了滿(mǎn)足需求，幾乎每個(gè)芯片行業(yè)的玩家都推出了不同版本、不同命名的人工智能處理器，像“深度學(xué)習引擎”、“神經(jīng)處理器”、“人工智能引擎”等等。
說(shuō)起人工智能好像我們想到的是機器視覺(jué)，指紋識別，人臉識別，視網(wǎng)膜識別，虹膜識別，掌紋識別，自動(dòng)規劃，智能搜索，博弈，自動(dòng)程序設計，智能控制等；然而其核心內容是離不開(kāi)嵌入式的。
然而，并非所有的人工智能處理器都是一樣的?，F實(shí)是，許多所謂的人工智能引擎就是傳統的嵌入式處理器加上一個(gè)矢量向量處理單元。這里還有一些其它功能對于人工智能處理前端化至關(guān)重要。
優(yōu)化嵌入式系統的工作負載
在云計算處理過(guò)程中，采用浮點(diǎn)計算進(jìn)行訓練，定點(diǎn)計算進(jìn)行推理，從而實(shí)現最大的準確性。用大型服務(wù)器群組進(jìn)行數據處理，能耗和大小必須考慮，但他們相較于有邊緣約束的處理幾乎是無(wú)限的。
在移動(dòng)設備上，功耗、性能和面積（PPA）的可行性設計至關(guān)重要。因此在嵌入式 SoC 芯片上，優(yōu)先采用更有效的定點(diǎn)計算。
當將網(wǎng)絡(luò )從浮點(diǎn)轉換為定點(diǎn)時(shí)，會(huì )不可避免地損失掉一些精度。然而正確的設計可以?xún)?yōu)化精度損失，從而達到與原始訓練網(wǎng)絡(luò )幾乎相同的結果。
控制精度的方法之一是在 8 位和 16 位整數精度之間做出選擇。雖然 8 位精度可以節省帶寬和計算資源，但是許多商用的神經(jīng)網(wǎng)絡(luò )仍然需要采用 16 位精度以保證準確性。
神經(jīng)網(wǎng)絡(luò )的每一層都有不同的約束和冗余，因此為每一層選擇更高的精度是至關(guān)重要的。
針對開(kāi)發(fā)人員和 SoC 設計者，一個(gè)工具可以自動(dòng)輸出優(yōu)化的圖形編譯器和可執行文件，例如 CEVA 網(wǎng)絡(luò )生成器，從上市時(shí)間的角度來(lái)看是一個(gè)巨大的優(yōu)勢。
此外，保持為每一層選擇更高精度（8 位或 16 位）的靈活性也是很重要的。這使每一層都可以在優(yōu)化精度和性能之間進(jìn)行權衡，然后一鍵生成高效和精確的嵌入式網(wǎng)絡(luò )推理。
專(zhuān)用硬件來(lái)處理真正的人工智能算法
VPU 使用靈活，但許多常見(jiàn)的神經(jīng)網(wǎng)絡(luò )需要的大量帶寬通道對標準處理器指令集提出了挑戰。因此，必須有專(zhuān)門(mén)的硬件來(lái)處理這些復雜的計算。
例如 NeuPro AI 處理器包括專(zhuān)用的引擎處理矩陣乘法、完全連接層、激活層和匯聚層。這種先進(jìn)的專(zhuān)用 AI 引擎結合完全可編程工作的 NeuPro VPU，可以支持所有其它層類(lèi)型和神經(jīng)網(wǎng)絡(luò )拓撲。
這些模塊之間的直接連接允許數據無(wú)縫交換，不再需要寫(xiě)入內存。此外，優(yōu)化的 DDR 帶寬和先進(jìn)的 DMA 控制器采用動(dòng)態(tài)流水線(xiàn)處理，可以進(jìn)一步提高速度，同時(shí)降低功耗。
明天未知的人工智能算法
人工智能仍然是一個(gè)新興且快速發(fā)展的領(lǐng)域。神經(jīng)網(wǎng)絡(luò )的應用場(chǎng)景快速增加，例如目標識別、語(yǔ)音和聲音分析、5G 通信等。保持一種適應性的解決方案，滿(mǎn)足未來(lái)趨勢是確保芯片設計成功唯一途徑。
因此，滿(mǎn)足現有算法的專(zhuān)用硬件肯定是不夠的，還必須搭配一個(gè)完全可編程的平臺。在算法一直不斷改進(jìn)的情況下，計算機模擬仿真是基于實(shí)際結果進(jìn)行決策的關(guān)鍵工具，并且減少了上市時(shí)間。
CDNN PC 仿真包允許 SoC 設計人員在開(kāi)發(fā)真實(shí)硬件之前，就可以使用 PC 環(huán)境權衡自己的設計。
另一個(gè)滿(mǎn)足未來(lái)需求的寶貴特征是可擴展性。NeuPro AI 產(chǎn)品家族可以應用于廣泛的目標市場(chǎng)，從輕量型的物聯(lián)網(wǎng)和可穿戴設備（2 TOPs）到高性能的行業(yè)監控和自動(dòng)駕駛應用（12.5 TOPs）。
在移動(dòng)端實(shí)現旗艦 AI 處理器的競賽已經(jīng)開(kāi)始。 許多人快速趕上了這一趨勢，使用人工智能作為自己產(chǎn)品的賣(mài)點(diǎn)，但并不是所有產(chǎn)品里都具備相同的智能水平。
如果想要創(chuàng )建一個(gè)在不斷發(fā)展的人工智能領(lǐng)域保持“聰明”的智能設備，應該確保在選擇 AI 處理器時(shí)，檢查上述提到的所有特性。
