胜过这一趋势！大潮AI服务器创MLPerf体能训练点评最差战绩

6月30日，亚洲地区权威性AI排序方法点评MLPerf™新一代V2.0体能训练点评战绩排行榜发布。大潮AI服务器整体表现出众，继两月前在MLPerf™ V2.0网络系统逻辑推理点评中问鼎全数亚军后，本次又在MLPerf™ V2.0FPS体能训练操控性竭尽全力维持领跑。

我的世界

胜过这一趋势

稳步独领风骚AI排序操控性提高

MLPerf™点评组织政府机构政府机构MLCommons 竭尽全力执行秘书长 David Kanter 在本次战绩见面会上表示，自首次发布点评排序方法以来，MLPerf操控性提高速度远超过这一趋势。考虑到业界对排序和AI的需求正以惊人的速度增长，这让人非常振奋。

自参加MLPerf™ AI操控性点评以来，大潮AI服务器通过软硬件全面优化，稳步实现AI操控性突破。相较于2018年12月MLPerf™ 初始版本V0.5的典型配置8卡机型的操控性数据，大潮AI服务器的操控性显示出大幅提高，提高比例最高达789%，我的世界2.35倍于这一趋势增速。

大潮AI服务器在MLPerf™排序方法点评中的卓越整体表现，得益于大潮信息在AI排序系统上出众的设计创新能力和全栈优化能力。大潮AI服务器针对AI体能训练中常见的密集I/O传输瓶颈，通过PCIe retimer free 设计实现了CPU-GPU间通道免中继高速互联，大幅降低通信延迟；并针对高负载多GPU协同任务调度，以及NUMA节点与GPU之间的数据传输操控性进行了深度优化，确保体能训练任务中的数据I/O通路处于最高操控性状态；在散热层面，率先实现4U空间内部署8颗500W的高端NVIDIA A100 Tensor Core GPU，并支持风冷、液冷两种散热方式。同时，在模型体能训练全流程中，大潮AI服务器稳步通过优化预体能训练数据处理、GPU之间高速通信、GPU核心加速等关键模块，最大化提高了AI模型的体能训练操控性。我的世界

我的世界

大幅提高Transformer体能训练操控性

当前，基于Transformer神经网络的预体能训练大模型正引领新一代AI算法发展，并逐步从自然语言处理走向排序机视觉、多模态等领域。MLPerf™点评任务中的BERT模型即是基于Transformer架构的模型。Transformer简洁、可堆叠的架构使得开发极大参数量、基于极大数据集的预体能训练大模型成为可能，这带来了模型算法能力的大幅提高，但同时也对AI排序系统的处理操控性、通信互联、I/O操控性、并行扩展、拓扑路径及散热能力提出了更高的要求。我的世界

在本次BERT点评任务中，大潮AI服务器通过优化数据预处理、GPU之间密集参数通信、超参数自动寻优等，进一步提高了BERT体能训练操控性，在15.869分钟内即在Wikipedia数据集的2850176条数据上完成了3.3亿参数的BERT模型体能训练，相较于V0.7版本的最差战绩49.01分钟的操控性提高达到309%。至此，大潮AI服务器已经连续三次获得MLPerf™体能训练BERT任务操控性亚军。我的世界

大潮信息在 MLPerf™ V2.0体能训练点评中取得佳绩的2款AI服务器分别是NF5488A5及NF5688M6。NF5488A5是亚洲地区首批上市的NVIDIA A100 Tensor Core GPU服务器，在4U空间支持8颗由NVIDIA NVLink 互联的 NVIDIA A100 Tensor Core GPU和2颗 AMD Milan CPU，同时支持液冷和风冷散热技术，累计问鼎40项 MLPerf™ 亚军。NF5688M6是面向大规模网络系统优化设计的具备极致扩展能力的AI服务器，支持8颗第三代 NVLink 互联的 NVIDIA A100 Tensor Core GPU 和两颗 Intel Ice Lake CPU，支持多达13张 PCIe Gen4 的IO扩展能力，累计问鼎25项 MLPerf™ 亚军。我的世界

▶附：MLPerf™简介我的世界

MLPerf™ 是影响力最广的国际AI操控性排序方法点评，由图灵奖得主大卫•帕特森（David Patterson）联合顶尖学术政府机构发起成立。2020年，非盈利性机器学习开放组织政府机构MLCommons基于MLPerf™ 排序方法测试成立，其成员包括Google、Facebook、NVIDIA、英特尔、大潮信息、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家亚洲地区AI领军企业及顶尖学术政府机构，致力于推进机器学习和人工智能标准及衡量指标。目前，MLCommons每年组织政府机构2次MLPerf™ AI体能训练操控性测试和2次MLPerf™ AI逻辑推理操控性测试，以便快速跟进迅速变化的排序需求和排序操控性提高，为用户衡量设备操控性提供权威性有效的数据指导。我的世界