2019年12月,按照《工业和信息化部办公厅关于开展2019年百项团体标准应用示范项目申报工作的通知》(工信厅科函〔2019〕152号)的程序和要求,经申请、初审、专家评审等环节,基于中国人工智能开源软件发展联盟(简称AIOSS联盟)的团体标准T/CESA 1026-2018《人工智能 深度学习算法评估规范》(简称“算法规范”)顺利入选“百项团体标准应用示范项目”。
该项标准提出了人工智能深度学习算法的评估指标体系、评估流程,以及需求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容。主要适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法的可靠性开展评估工作。
2018年9月,中国电子技术标准化研究院(以下称:电子标准院)所属的中国赛西实验室通过中国合格评定国家认可委员会(CNAS)基于算法规范的“人工智能产品检测能力”的扩项评审,依托软件工程实验室研制出一整套针对人工智能产品的测试方案,测试对象是基于深度学习算法开发的人工智能产品。测试指标包括算法功能实现的正确性、代码实现的正确性、目标函数的影响、训练数据集的影响、对抗性样本的影响、环境数据的影响等。通过优化提升深度学习算法的可靠性,给出提高人工智能产品质量的建议。
下一步,电子标准院将继续面向全国开展“人工智能产品检测能力”的测试工作,树立全国人工智能应用试点示范项目和典型案例,进一步促进人工智能产业健康有序规范发展。