新闻资讯

AI模型是人工智能应用中最核心的资产，具有高价值、高成本、高风险特征，是需要重点保护的对象。AI模型训练、部署、推理等全生命周期流程都依赖AI计算平台提供资源支撑，因此由AI计算平台提供安全措施，应对由AI计算平台暴露面引入的安全威胁，并支撑应对AI模型面临的新型安全威胁至关重要。目前产业界已有不少AI计算平台保护AI模型的相关实践，而既有的标准更侧重于AI可信治理及AI模型本身的安全性增强，缺乏针对AI计算平台如何保护AI模型的研究。

在此背景下，中国信通院联合企业开展《基于人工智能计算平台的模型保护安全框架》标准的编制工作。标准围绕模型保护相关安全功能模块和安全机制，构建了人工智能计算平台保护人工智能模型的安全框架，致力于解决人工智能计算任务执行过程中AI计算平台如何保障AI模型传输、存储、训练、推理全流程安全性等问题，为边缘计算、数据中心场景下AI计算平台提供方与使用方保护AI模型提供参考。

模型保护安全框架包含安全功能、安全模块、安全机制、服务接口等关键要素。具体涉及通用安全、传输与存储安全、训练与推理安全三大安全功能，每个安全功能由1个或多个安全机制实现，每个安全机制是由多个安全模块交互形成，安全模块为逻辑化的功能单元，服务接口用于支撑安全模块之间的交互。

通用安全功能由运行环境隔离安全机制与安全审计机制实现。其中，运行环境隔离安全机制由运行环境隔离模块和AI资源安全隔离模块组成，为用户训练及推理脚本运行提供安全隔离的CPU、AI加速运算单元、内存等资源。安全审计机制由日志安全管理模块组成，为平台使用方提供日志收集与安全审计服务，帮助其了解AI应用全生命周期过程并留存安全审计记录，便于识别安全问题及追溯。

传输及存储安全功能由端到端加密机制实现。端到端加密机制由加解密模块和密钥管理模块组成，用于在AI模型从训练到推理环境之间流转过程中，传输、存储全流程加密保护，保障其机密性、完整性。

训练及推理安全功能由训练任务中断恢复机制和AI推理攻击检测机制实现。其中，训练任务中断恢复机制由故障监测模块、故障处理模块和训练任务中断处理模块组成，用于监测并识别用户训练资源故障，及时保存训练任务状态及参数等信息，在训练资源恢复后快速恢复训练任务，防范模型参数等丢失，尤其适用大模型训练场景。AI推理攻击检测机制由AI推理攻击检测模块模块组成，用于推断推理请求是否为对抗样本、模型萃取、模型后门触发等攻击行为，并为AI应用提供响应策略。

同时，该标准已经在招商银行异常行为检测场景下开展了试点，验证了该标准提出的框架能实现对AI模型传输存储全流程的加密保护功能。

本次标准的起草离不开诸多优秀企业的大力支持与贡献。包括：华为技术有限公司、中国信息通信研究院、中国工商银行股份有限公司、招商银行股份有限公司、郑州信大捷安信息技术股份有限公司、蚂蚁科技集团股份有限公司、安谋科技（中国）有限公司、上海依图网络科技有限公司、上海商汤智能科技有限公司、云从科技集团股份有限公司、北京百度网讯科技有限公司、英特尔（中国）有限公司、北京眼神科技有限公司、北京旷视科技有限公司、北京云天励飞科技有限公司、科大讯飞股份有限公司等。在此向以上企业表示诚挚的感谢。