安謀科技近日宣布，其新一代“周易”NPU處理器已成功在端側部署并運行DeepSeek-R1系列模型，不僅性能表現出色，而且成本效益顯著。
這款“周易”NPU專為AI大模型設計，架構上進行了深度優化。據悉，其Beta測試版本已在2024年末向部分早期用戶開放，預計今年上半年將正式面世。
DeepSeek-R1系列中的1.5B和7B蒸餾版本推出后，“周易”NPU迅速在Emulation平臺上完成了部署與優化，并在FPGA平臺上成功演示了端到端應用。測試結果顯示，在標準測試環境下，“周易”NPU在首字計算階段的算力利用率超過40%，解碼階段的有效帶寬利用率更是高達80%以上。
該NPU的帶寬利用率展現出高線性特性，能夠靈活適應從16GB/s到256GB/s的系統帶寬需求。在7B版本、上下文長度為1024的場景下，“周易”NPU的最高處理速度可達每秒40 tokens，并支持動態長度的模型推理輸入。
安謀科技的軟件棧對大模型的支持和優化也達到了成熟水平，通過動態推理優化和硬件算力潛力的挖掘，顯著提升了推理速度和吞吐量。目前，該軟件棧已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多種主流大模型，并提供了與Hugging Face模型庫的對接工具鏈，方便用戶直接部署主流模型。
在硬件層面，“周易”NPU采用先進的7nm工藝制造，單Cluster算力最高可達80 TOPS，能夠輕松應對超過16K上下文長度的大模型部署需求。同時，其對外帶寬提升至256GB/s，有效解決了大模型計算的帶寬瓶頸問題。
“周易”NPU還支持FP16數據精度計算，完整支持INT4軟硬量化加速，并具備多核算力擴展能力，滿足端側模型的低首字延遲需求。它還擁有強大的多任務并行處理能力，通過細粒度的任務調度和優先級資源分配，實現了多任務靈活切換，確保了傳統語音、視覺業務與大模型應用的高效協同。
