3月24日消息，近日寒武紀正式發布新款訓練加速卡MLU370-X8。MLU370-X8搭載雙芯片四芯粒思元370，集成寒武紀MLU-Link™多芯互聯技術，主要面向訓練任務，在業界應用廣泛的YOLOv3、Transformer等訓練任務中， 8卡計算系統的并行性能平均達到350W RTX GPU的155%。

雙芯思元370架構

MLU370-X8智能加速卡提供250W最大訓練功耗，可充分發揮AI訓練加速中常見的FP32、FP16或BF16計算性能。寒武紀首次將雙芯片四芯粒思元370整合在MLU370-X8智能加速卡中，提供了兩倍于標準思元370加速卡的內存、編解碼資源，同時搭載MLU-Link™多芯互聯技術。在YOLOv3、Transformer、BERT和ResNet101訓練任務中， 8卡并行平均性能達350W RTX GPU的155%。

MLU-Link™多芯互聯技術

MLU370-X8智能加速卡支持MLU-Link™多芯互聯技術，提供卡內及卡間互聯功能。寒武紀為多卡系統專門設計了MLU-Link橋接卡，可實現4張加速卡為一組的8顆思元370芯片全互聯，每張加速卡可獲得200GB/s的通訊吞吐性能，帶寬為PCIe 4.0 的3.1倍，可高效執行多芯多卡訓練和分布式推理任務。

訓推一體的Cambricon NeuWare交付優秀訓練性能

Cambricon NeuWare支持FP32、FP16混合精度、BF16混合精度和自適應精度訓練等多種訓練方式并提供靈活高效的訓練工具，高性能算子庫已完整覆蓋視覺、語音、自然語言處理、搜索推薦和自動駕駛等典型深度學習應用，可滿足用戶對于算子覆蓋率以及模型精度的需求。

在Cambricon NeuWare SDK上實測，在常見的4個深度學習網絡模型上，MLU370-X8單卡性能與主流350W RTX GPU相當;而在多卡加速方面，MLU370-X8借助MLU-Link多芯互聯技術和Cambricon NeuWare CNCL通訊庫的優化，在8卡環境下達到更優的并行加速比。

MLU370-X8補全思元370系列產品線

寒武紀長期秉承“云邊端一體、訓推一體、軟硬件協同”的技術理念。MLU370-X8提供兩倍思元370的內存帶寬，結合MLUarch03架構和MLU-Link多芯互聯技術，將思元370芯片在訓練任務的優勢充分發揮。MLU370-X8定位中高端，與高端訓練產品思元290、玄思1000相互結合，進一步豐富了寒武紀的訓練算力交付方式;并與基于思元370芯粒(chiplet)技術構建的MLU370-X4、MLU370-S4智能加速卡協同，形成完整的云端訓練、推理產品組合。

MLU370-X8加速卡與國內主流服務器合作伙伴的適配工作已經完成，并已對客戶實現小規模出貨。

關鍵詞：