3月21日,中国本土AI创新企业寒武纪正式发布了新款训练加速卡“MLU370-X8”,搭载双芯片四芯粒封装的思元370,集成寒武纪MLU-Link多芯互联技术,主要面向AI训练任务。
寒武纪MLU370-X8智能加速卡首次整合了双芯片四芯粒的思元370,也就是每张卡两颗芯片,每颗芯片内封装两个Die,因此可提供两倍于思元370加速卡的内存、编解码资源。
架构基于Cambricon MLUarch03,支持AI训练加速中常见的FP32、FP16、BF16、INT16、INT8、INT4数据格式计算,峰值性能分别为32TFlops、96TFlops、96TFlops、128Tops、256Tops、512Tops。
该卡采用7nm制造工艺,集成48GB LPDDR5内存,内存带宽614.4GB/s,PCIe 4.0 x16系统接口,整卡最大训练功耗250W,全高全长双插槽设计,系统被动散热。
通过MLU-Link多芯互联技术,提供卡内、卡间互联功能,并专门设计了MLU-Link桥接卡,可实现4张加速卡为一组、8颗思元370芯片全互联。
每张加速卡通讯吞吐性能200GB/s,带宽为PCIe 4.0的大约3.1倍,可高效执行多芯多卡训练、分布式推理任务。(作者:上方文Q)