ICS 35.240 CCS L70 团体标准 智算中心算力性能评估测试方法 Computing Power Performance Evaluation and T est Method of Intelligent Computing Center 2023-06-14 发布 2023-06-30 实施 上海市通信学会 发布T/SHSIC 0101—202 3 全国团体标准信息平台 全国团体标准信息平台 T/SHSIC 0101—2023 I 版权保护文件 版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其 他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用 许可可于发布机构获取。 全国团体标准信息平台 T/SHSIC 0101—2023 II 目 次 前 言 .............................................................................. III 1 范围 ................................................................................ 1 2 规范性引用文件 ...................................................................... 1 3 术语和定义 .......................................................................... 1 4 测试规则 ............................................................................ 2 4.1 测试环境要求 .................................................................... 2 4.2 训练测试规则 .................................................................... 2 4.3 推理测试规则 .................................................................... 4 4.4 评估测试规则 .................................................................... 7 4.5 测试报告要求 .................................................................... 7 5 基本性能指标测量 .................................................................... 7 5.1 峰值算力 ........................................................................ 7 5.2 功耗 ............................................................................ 8 5.3 加速比 .......................................................................... 9 6 应用性能指标测量 ................................................................... 10 6.1 训练场景 ....................................................................... 10 6.2 推理场景 ....................................................................... 11 7 有效性指标评估 ..................................................................... 13 7.1 算力功耗比 ..................................................................... 13 7.2 电能使用效率 ................................................................... 13 7.3 有效计算能力 ................................................................... 14 8 资源管理能力评估 ................................................................... 15 8.1 虚拟化能力 ..................................................................... 15 8.2 资源聚合能力 ................................................................... 16 8.3 资源管理能力 ................................................................... 17 9 生态支持评估 ....................................................................... 18 9.1 软件配套支持能力 ............................................................... 18 9.2 开放性支持能力 ................................................................. 20 9.3 产业生态支持 ................................................................... 21 附 录 A （资料性） 不同场景下可选测试模型和数据集 .................................. 23 参考文献 ............................................................................. 24 全国团体标准信息平台 T/SHSIC 0101—2023 III 前 言 本文件按照GB/T 1.1 —2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由上海市通信学会提出。 本文件由上海市通信学会归口。 本文件起草单位：中国电信股份有限公司上海分公司、上海超级计算中心、上海华东电信研究院、 上海邮电设计咨询研究院有限公司、华为技术有限公司、上海大学、 中国移动通信集团上海有限公司、 中国联合网络通信有限公司上海市分公司、 北京邮电大学、 上海燧原科技有限公司、 昆仑芯（北京）科 技有限公司、上海天数智芯半导体有限公司。 本文件主要起草人： 董斌、张丹丹、 张馨、张驰、支小莉、黄瑾、徐玉清、双锴、刘凯、彭莉、孙 继、沈阳、 曹晓琦、童维勤、李康童、肖晴、姜恺、王思善、朱方、郑荣、代小菊、徐钰峰 、朱云峰、 夏钊、马名旭、余雪松、胡铭珊等。 首期承诺执行单位： 中国电信股份有限公司上海分公司、 上海超级计算中心、 上海华东电信研究院、 上海邮电设计咨询研究院有限公司、华为技术有限公司、上海大学、中国移动通信集团上海有限公司、中国联合网络通信有限公司上海市分公司、北京邮电大学、上海燧原科技有限公司、 昆仑芯（北京）科 技有限公司、上海天数智芯半导体有限公司。 全国团体标准信息平台 全国团体标准信息平台 T/SHSIC 0101—2023 1 智算中心算力 性能评估测试方法 1 范围 本文件规定了智算中心在算力方面的基本性能指标测量、 应用性能指标测量、有效性指标测量、资 源管理能力评估、生态支持评估等多维度性能指标及测试、评估方法。 本文件适用于智算中心的智能算力， 包括人工智能加速卡、 服务器到集群系统的测试、 评估、 选型、 部署和运营。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 3 术语和定义 下列术语和定义适用于本文件。 3.1 智算中心 intelligent computing center 智能算