【導讀】作為國內領(lǐng)先的高端PCIe SSD主控芯片和方案提供商，憶芯科技一直走在技術(shù)創(chuàng )新的前沿，為了滿(mǎn)足各行業(yè)對于數【導讀】在科技之光的照耀下，大模型從云端的殿堂飄然而至終端的舞臺。這一歷史性的跨越，不僅賦予了數據處理以迅捷之翼，更將智能體驗推向了前所未有的高度。終端上的大模型以靈動(dòng)的姿態(tài)，即時(shí)捕捉并回應著(zhù)每一個(gè)細微的需求，將AI的觸角延伸至世界的每一個(gè)角落。
在科技之光的照耀下，大模型從云端的殿堂飄然而至終端的舞臺。這一歷史性的跨越，不僅賦予了數據處理以迅捷之翼，更將智能體驗推向了前所未有的高度。終端上的大模型以靈動(dòng)的姿態(tài)，即時(shí)捕捉并回應著(zhù)每一個(gè)細微的需求，將AI的觸角延伸至世界的每一個(gè)角落。
近日，在EEVIA主辦的第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng )新趨勢峰會(huì )暨百家媒體論壇上，安謀科技產(chǎn)品總監鮑敏祺發(fā)表了精彩的主題演講《端側AI應用芯機遇，NPU加速終端算力升級》。他深入剖析了端側AI發(fā)展的廣闊前景，并詳細介紹了安謀科技自研NPU的最新進(jìn)展。
端側AI正在崛起
AIGC大模型帶來(lái)的算力提升是端側AI迎來(lái)的最大機遇。鮑敏祺表示，從近期頭部大廠(chǎng)的發(fā)布中都可以看出，端側AI的應用已經(jīng)得到了業(yè)界的一致認可。
當前，國際和國內實(shí)際部署的主流端側大模型體量主要集中在100億參數以下。這一限制主要是由于端側設備的內存帶寬范圍通常在50-100GB/s之間。為了滿(mǎn)足用戶(hù)對應用實(shí)時(shí)性的需求，10-30億參數的大模型最適合部署在現有的帶寬條件下。這些模型能夠在保持高效性能的同時(shí)，提供快速響應和高質(zhì)量的服務(wù)。
頭部終端廠(chǎng)商如OPPO、vivo、小米、榮耀和華為等，都在積極推動(dòng)端側AI的發(fā)展。他們不僅自研了適合端側部署的大模型，還將其與具體業(yè)務(wù)場(chǎng)景緊密結合。芯片廠(chǎng)商也達成了共識，認為AI NPU（神經(jīng)網(wǎng)絡(luò )處理單元）將是未來(lái)消費類(lèi)電子產(chǎn)品發(fā)展的重點(diǎn)。NPU通過(guò)專(zhuān)門(mén)優(yōu)化的硬件架構，能夠大幅提升端側設備的AI計算能力，同時(shí)降低功耗。
盡管端側AI的發(fā)展勢頭強勁，但鮑敏祺強調，這并不意味著(zhù)要徹底放棄云端AI。相反，他認為兩者應該實(shí)現互補，才能產(chǎn)生最大的收益。端側AI的優(yōu)勢在于其時(shí)效性和數據本地化帶來(lái)的安全性。由于數據處理發(fā)生在設備本地，用戶(hù)的隱私得到更好的保護，同時(shí)也能實(shí)現實(shí)時(shí)響應。而云端AI則具備更強的推理能力和大規模數據處理能力，可以進(jìn)行更復雜的任務(wù)。因此，結合端側和云端的優(yōu)勢，將為用戶(hù)提供更加全面和高效的AI體驗。
從人機交互界面的發(fā)展歷史來(lái)看，從最初的物理按鍵到觸摸屏和語(yǔ)音交互，再到當前的Agent智能體，每一次變革都極大地提升了用戶(hù)體驗。未來(lái)的趨勢將是多模態(tài)場(chǎng)景，即結合圖像、音頻、視頻等多種輸入方式，使設備能夠更全面地理解用戶(hù)的需求。通過(guò)觀(guān)察和學(xué)習，未來(lái)的AI系統將能夠更好地預測和滿(mǎn)足用戶(hù)的期望，從而實(shí)現真正的智能化。
以三重升級應對三重挑戰
端側AI的快速發(fā)展給硬件設備帶來(lái)了三重挑戰：成本、功耗和生態(tài)系統。
成本的挑戰主要來(lái)自于設備的存儲容量、帶寬和芯片計算資源。功耗則源自對數據的大量搬運，而且大模型無(wú)法像CNN一樣實(shí)現高度復用，也會(huì )大幅提升功耗。最后，開(kāi)發(fā)工具的不斷優(yōu)化和支持也是挑戰所在。
針對這些挑戰，安謀科技自研的“周易”NPU圍繞微架構、能效和并行處理等方面進(jìn)行了升級。
l 微架構：鑒于CNN與Transformer的差異性，“周易”NPU在保留CNN能力的基礎上，又針對Transformer進(jìn)行了優(yōu)化，克服了實(shí)際計算中的瓶頸。
l 效率：進(jìn)行混合精度的量化，比如int4和fp16，在算法和工具鏈層面上實(shí)現低精度量化。同時(shí)，對數據進(jìn)行無(wú)損壓縮和改變稀疏度，從而增加有效帶寬。另外，采用In-NPU interconnection技術(shù)，實(shí)現了對總線(xiàn)帶寬的擴展。
l 并行處理：采用數據并行或模型并行，使用負載均衡和Tiling，減少了數據的搬運。
鮑敏祺還詳細介紹了下一代的周易“NPU”架構，不僅包含了能夠適應多任務(wù)場(chǎng)景的Task Schedule Manager，而且整個(gè)架構具備可擴展能力，并增加DRAM以實(shí)現高帶寬的匹配，還增加了OCM（Optional on Chip SRAM），以支持有特殊要求的算法。
鮑敏祺在演講中特別強調了“周易”NPU對異構計算的支持，并指出無(wú)論是從能效還是整個(gè)SoC（系統級芯片）的面積角度來(lái)看，異構計算都是端側AI芯片的最佳選擇。他解釋道，面對不同的應用場(chǎng)景，異構計算能夠實(shí)現算力的靈活裁剪，并將不必要的功耗降到最低。
跨領(lǐng)域的應用專(zhuān)家
周易“NPU”已經(jīng)在多個(gè)關(guān)鍵領(lǐng)域展示了其強大的性能和靈活性，特別是在汽車(chē)應用、AI加速卡以及AIoT場(chǎng)景中。
在汽車(chē)應用中，不同的場(chǎng)景會(huì )對應不同的算力需求。如果是車(chē)載信息娛樂(lè )系統，對算力的要求不會(huì )太高，但是在A(yíng)DAS應用中，很多情況下要執行多任務(wù)，對算力的要求就會(huì )大幅提升。而“周易”NPU的算力范圍是20~320TOPS，可以根據需求裁剪出所需的算力。鮑敏祺表示，搭載了“周易”NPU的芯擎科技“龍鷹一號”已累計出貨超過(guò)40萬(wàn)片，并成功定點(diǎn)應用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車(chē)型中。
在A(yíng)I加速卡的應用中，周易“NPU”能夠與智能汽車(chē)、PC、機器人等不同類(lèi)型的主機處理器（Host AP）進(jìn)行高效交互，處理音頻、圖像、視頻等多種數據形式。這種多模態(tài)模型的支持能力使得周易“NPU”能夠在復雜的數據環(huán)境中保持高性能和靈活性。在A(yíng)IoT場(chǎng)景中，設備通常受到面積和功耗的嚴格限制。盡管如此，周易“NPU”仍能提供高效的算力支持，同時(shí)保證高度的安全性。這使得它成為多個(gè)應用場(chǎng)景的理想選擇。
鮑敏祺最后表示，下一代周易“NPU”將會(huì )繼承并顯著(zhù)增強前代產(chǎn)品的強算力、易部署以及可編程等特點(diǎn)和優(yōu)勢，并圍繞精度、帶寬、調度管理、算子支持等多個(gè)方面進(jìn)行持續優(yōu)化。同時(shí)，NPU不僅要考慮適配現在的存儲介質(zhì)，還要考慮到對未來(lái)各種存儲介質(zhì)的適配，使得NPU能夠更好地滿(mǎn)足當前及未來(lái)市場(chǎng)需求。
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
從富士通到RAMXEED，以全新一代FeRAM迎接邊緣智能高可靠性無(wú)延遲數據存儲需求
