人工智能端侧芯片benchmark V0.5版本第二轮评估

发布时间:2020-09-15

作者:admin

在芯片发展过程中,基于清晰指标的技术竞争可以帮助企业快速进步。中国人工智能产业发展联盟在3月已完成AIIA DNN Benchmark V0.5首轮评估并发布了评测结果。以「版本迭代、不断丰富、不断完善」的方式,现拟开展第二轮人工智能端侧芯片基准测试V0.5版本评估。

Benchmark 测试将依据中国人工智能产业发展联盟评估规范《人工智能端侧芯片基准测试评估方案 测试方案Version 0.5,提供「通用芯片 AI 能力评估」和「定制化芯片的 AI 能力评估」2 种方案评测方案, 覆盖了时间、性能评价指标以及功耗 3 类测评指标和多个应用场景。

欢迎各会员单位积极报名参与!

一、评估项目

人工智能端侧芯片Benchmark V0.5版评估(试评估)第二轮

二、参考规范

《人工智能端侧芯片基准测试评估方案 测试方案Version 0.5

三、评估步骤

1、商务确认:请有意参评的企业于430日前

确认商务内容,商务确认后,即可参与测试工作。

联系人:张蔚敏 13552276063  Zhangweimin@Caict.Ac.Cn

2、材料审查和技术测试:420日至520

3、测试评审:拟将邀请科研机构及AI芯片领域相关单位的专家,对此次评估测试进行评审,评审预计将于520日至24期间进行。

4、结果公布:20195月底或6

 

V0.5「通用芯片 AI 能力评估」简介

一、评估对象

具有机器学习处理能力的处理器或加速器,呈现形态包含但不局限于开发板,手机,以及适用于特定领域的如安防、自动驾驶、智能音箱等的专用芯片。

二、系统软件平台

AndroidLinux

三、支持模型格式:

基于TensorFlow/Pytorch(Caffe2)训练的模型

四、支持移动端框架:

HiAI / SNPE/TensorFlow Lite/Tengine /MACE

五、评测场景、数据集及网络框架:

根据具体的被测对象,在指定精度(如Int8/Fp16/Fp32)及Batch Size下的产品测试项目如表1所示。

1评测场景列表

编号

应用场景

测试数据集

测试模型

1

图像分类

ImageNet

ResNet-101

Inception-V3

MobileNet-V2

2

目标检测

VOC2012

SSD,  YOLOv3

3

语义分割

VOC2012

Deeplabv3+

FCN

4

超分辨率

VOC2012

Vdsr

5

人脸识别

LFW

VGG-16-Face CNN

六、其他说明:

评测提供F32已训练好模型,模型转换与更多框架集成工作由参与单位提供相关开发与技术支持

「定制化芯片的 AI 能力评估」具体由商务沟通确定

 

AIIA DNN Benchmark将以「版本迭代、不断丰富、不断完善」开展,期待你的加入。