浪潮信息近日震撼發(fā)布元腦R1推理服務器，該服務器憑借系統(tǒng)級創(chuàng)新與軟硬件深度協(xié)同，成功實現(xiàn)了對DeepSeek R1 671B全參數(shù)基礎大模型的單機部署與運行。這一突破，標志著AI推理能力邁上了新的臺階。
DeepSeek開源的多版本模型中，R1 671B以其強大的泛化能力、高精度及卓越的上下文理解能力脫穎而出，但同時也對計算資源提出了前所未有的挑戰(zhàn)。特別是在FP8精度下，該模型需要至少800GB的顯存容量，而在FP16/BF16精度下，則需超過1.4TB的顯存空間。DeepSeek R1作為長思維鏈模型的代表，其推理解碼階段對顯存帶寬和低通信延遲有著極高的要求。
針對這些挑戰(zhàn)，元腦R1推理服務器NF5688G7應運而生。該服務器原生配備了FP8計算引擎，并搭載了1128GB的HBM3e顯存，完美滿足了DeepSeek R1 671B模型在FP8精度下的顯存需求。即使在全量模型推理的情況下，NF5688G7仍能保留足夠的KV緩存空間，其顯存帶寬更是高達4.8TB/s。在通信方面，GPU間的P2P帶寬達到了900GB/s，基于最新的推理框架，單機即可支持20-30用戶的并發(fā)需求。NF5688G7還配備了3200Gbps的無損擴展網(wǎng)絡，可根據(jù)業(yè)務需求靈活擴展，為用戶提供R1服務器集群的即插即用解決方案。
而另一款專為大型推理模型設計的元腦R1推理服務器NF5868G8，則以其高吞吐性能驚艷亮相。該服務器首次實現(xiàn)了單機支持16張標準PCIe雙寬卡，提供了最高1536GB的顯存容量，能夠在FP16/BF16精度下單機部署DeepSeek 671B模型。NF5868G8采用了基于PCIe Fabric的16卡全互連拓撲結構，任意兩張卡之間的P2P通信帶寬均可達到128GB/s，通信延遲降低了超過60%。通過軟硬件的深度協(xié)同優(yōu)化，相比傳統(tǒng)的2機8卡PCIe機型，NF5868G8在DeepSeek 671B模型的推理性能上提升了近40%，并已支持多種AI加速卡的選配。
浪潮信息的這一系列創(chuàng)新，不僅展現(xiàn)了其在AI推理領域的深厚實力，更為AI大模型的應用落地提供了強有力的支撐。未來，隨著AI技術的不斷發(fā)展，元腦R1推理服務器有望成為推動AI行業(yè)進步的重要力量。
