ARM中國：周易NPU加速算力升級 推動端側AI應用發(fā)展

  ICC訊 近日，在第12屆中國硬科技產業(yè)鏈創(chuàng)新趨勢峰會上，ARM CHINA產品總監(jiān)鮑敏祺發(fā)表《端側AI應用芯片機遇，NPU加速終端算力升級》主題報告，AI端則的生態(tài)發(fā)展并介紹“周易”NPU IP產品，對接并滿足多樣化端側硬件設備的不同AI計算需求。

  端側AI新機遇指的是最新AIGC大模型帶來算力的提升，端側AI應用也在算力加持下不斷發(fā)展壯大。在AI經典應用中，已經可以通過手機拍攝可以識別物體類型，在短信提取關鍵信息和總結給用戶，又例如在圖片庫搜索中，通過AI大模型快速理解，迅速識別所需要的圖片?？傮w而言就是利用AI加速人們的辦事效率，并且AI獲得了公眾號的認可。這一切依賴于AI硬件側的性能支撐。

  過去，云計算應用成為數據中心增長的主要驅動力，而現在AI大模型訓練和推理正在驅動智算中心規(guī)模的發(fā)展。AI端側的算力是否會像云端一樣不停地膨脹？鮑敏祺認為低于100億參數的大預言模型將會成為主流模型，事實上因為帶寬制約，10億至30億參數是普遍在端側和現有帶寬下能夠部署出來的大模型，并且容量優(yōu)化有很大的增強空間。當然，70億參數模型會面臨顯著的帶寬壓力，但在高帶寬場景下也能夠成功部署。

  站在應用端客戶來看，頭部終端廠商如谷歌、微軟、蘋果等引領了推動端側AI的發(fā)展，中國廠商如華為、OPPO、小米等也在其消費電子產品和具體業(yè)務場景上部署AI應用。芯片廠商一致認為AI NPU（神經網絡處理單元）將是未來消費類電子產品發(fā)展的重點。NPU通過專門優(yōu)化的硬件架構，能夠大幅提升端側設備的AI計算能力，同時降低功耗。

  30-700億并行參數大模型如何接入硬件設備，AI硬件側面臨的挑戰(zhàn)主要時哪些？鮑敏祺總結為成本、功耗和生態(tài)，其中成本主要來自于存儲、帶寬限制和算力，尤其是一個SOC的整體面效，因為很多端側設備對芯片面積的預算會高度吃緊，包括算力資源。功耗需要考慮功耗預算的設置， AI很多程度上是來源于數據的搬運，特別用于外層的搬運，因此功耗cost會越來越高，而生態(tài)包括了軟件成熟度，因為語言模型需要不斷迭代優(yōu)化才能抓住最重要的目標客戶，這又帶來另一個挑戰(zhàn)，就是軟件和工具需要更多優(yōu)化和支持。

  NPU就是端則AI不斷迭代優(yōu)化的關鍵硬件，ARM自研的“周易”NPU針對于AI硬件側挑戰(zhàn)做了哪些事情？一是微架構的升級，從計算能力上對它進行優(yōu)化。當前階段它保留了一部分CNN的能力，同時對Transformer進行升級，而Transformer的engine需要更強的softmax算力。二是Efficiency數據本地化，非本地化會帶來額外的能耗。周易NPU從算法上、從工具鏈上能夠實現低精度量化，同時從硬件上對于低精度計算做更多的硬件加速。其次是compression無損壓縮以增加有效的帶寬。

  因為周易NPU針對于大模型做一些總線帶寬的擴展。特別是解碼架構場景的算力要求并不高，但是對于帶寬要求卻很高。出于這種考量，In-NPU interconnection對于整個interconnect單核往外的帶寬能力有很大的提升。三是并行處理，包括數據并行和模型并行，在并行運作時貢獻weight參數和減少我的數據搬運，實現負載均衡。

  鮑敏祺介紹了周易NPU架構，包含task schedule manager（任務日程管理器）、Optional on Chip SRAM、DRAM和CPU，未來的端側AI是一種多任務場景，需要一個高效的scheduler并行股那里和具有可擴展能力的核心。針對算法的特殊需求，可以在整個外部SOC上增加SRAM。更重要的是NPU異構策略，即獨立端到端地去執(zhí)行AI任務，并且自由裁減8T或10T的場景，與同構策略形成鮮明的不同。NPU異構在端側場景上還可以實現power gating或低功耗，即專注于某一種計算時，將其他不必要的功耗降至最低，若是所有應用采用這種處理方式，就可以將端側功耗降下來。ARM NPU已經針對汽車、AI加速器、AIoT等場景進行了相應的實踐，實現了顯著的算力提升和功耗降低。

  下一代周易NPU將面向AI生態(tài)進行優(yōu)化升級，目前已經針對Wenxin、Llama、GPT等模型做了相關部署。在邊緣計算上，面向PAD、PC、Mobile等各類場景推出相應產品或適配。在汽車應用上，無論是IVI或是ADAS都可以根據實際場景算力需求和模型需求，提供最高至320tops的算力能力。