人工智能云侧推断芯片benchmark V0.5第一轮评估(试评估)

发布时间:2020-09-15

作者:admin


1602569759521911.jpg

在芯片发展过程中,基于清晰指标的技术竞争可以帮助企业快速进步。针对中国人工智能产业发展联盟在5月底发布的AIIA DNN BenchmarkV0.5版本云侧推断任务基准测试评估评测方法,现拟开展第一轮评测。

基准测试将依据中国人工智能产业发展联盟评估规范《人工智能芯片基准测试评估规范:第2部分:基于云侧推断的深度神经网络处理器基准测试指标及评估方法》,提供「封闭机制」和「开放机制」2 种评测机制。覆盖了性能、功能和功耗3类测评指标。

欢迎各会员单位积极报名参与!

一、评估项目

人工智能云侧推断芯片Benchmark V0.5版评估(试评估)首轮

二、参考规范

《人工智能云侧芯片基准测试评估方案 测试方案Version 0.5》

三、评估步骤

1、商务确认:请有意参评的企业于8月10日前

确认商务内容,商务确认后,即可参与测试工作。

联系人:

张蔚敏 13552276063  Zhangweimin@Caict.Ac.Cn

刘   硕  13426019405  Aiiabenchmark@163.Com

2、材料审查和技术测试:7月10日至9月1日

3、测试评审:拟将邀请科研机构及AI芯片领域相关单位的专家,对此次评估测试进行评审,评审预计将于9月5日至15日期间进行。

4、结果公布:2019年10月底,人工智能开发者峰会进行发布和结果解读。

 

附V0.5「封闭机制」简介

一、评估对象

在V0.5版本中,主要针对具有PCIe接口的单个加速卡进行测试。

二、系统软、硬件结构

Linux系统服务器,CPU为Xeon 5120,内存为32G*12,硬盘为1T SSD。

三、支持模型格式:

TensorFlow/Pytorch/Caffe/ONNX 

四、其他说明:

评测提供Fp32已训练好模型权重,由参评厂商提供的量化工具进行量化,要求量化后的模型推断准确度大于一定阈值(如,全精度模型推断准确度-1%)。

「开放评测机制」具体由商务沟通确定。

AIIA DNN Benchmark将以「版本迭代、不断丰富、不断完善」开展,期待你的加入。