浪潮元腦R1推理服務(wù)器NF5688G8支持FP8原生精度下單機(jī)部署DeepSeek 671B大模型
浪潮NF5688 G8服務(wù)器搭載2顆AMD第五代EPYC處理器(Max cTDP 500W),支持FP8原生精度下單機(jī)部署DeepSeek 671B大模型。構(gòu)建面向超大模型訓(xùn)練、元宇宙、自然語言理解、推薦、AIGC等場景的強(qiáng)AI算力平臺(tái)。
浪潮NF5688 G8服務(wù)器搭載2顆AMD第五代EPYC處理器(Max cTDP 500W),支持FP8原生精度下單機(jī)部署DeepSeek 671B大模型。構(gòu)建面向超大模型訓(xùn)練、元宇宙、自然語言理解、推薦、AIGC等場景的強(qiáng)AI算力平臺(tái)。
節(jié)點(diǎn)內(nèi)全PCle 5.0高速鏈路,CPU至GPU帶寬提升4倍
節(jié)點(diǎn)間高速互聯(lián)擴(kuò)展,4.0Tbps無阻塞帶寬IB/ROCE組網(wǎng)
集群級優(yōu)化架構(gòu)設(shè)計(jì),GPU: 計(jì)算IB:存儲(chǔ)IB=8:8:2