全站检索
 

《通用大模型评测标准》正式发布

时间:2024-10-16
来源:信息技术研究中心

10月12日,2024中国移动全球合作伙伴大会在广州举行,中国移动联合中国电子技术标准化研究院、中国电信、国家电网、中国石油等产业各方共同发布《通用大模型评测标准》,中国电子技术标准化研究院刘贤刚副院长出席大会并参加发布仪式。

一、标准研制背景

大模型评测是助力人工智能赋能行业应用的重要一环,当前众多企业已启动大模型建设,亟需建立配套的通用大模型和行业大模型评测体系。电子标准院联合中国移动及中国电信、国家电网、中国石油等16家重点央企共同开展大模型评测体系建设工作,第一阶段将围绕通用大模型领域和石油、电力、交通和物流等4个重点行业应用领域,从评测标准的精心制定、评测基地的科学建设,到评测试点的应用实践等多个层面全方位展开。

此次重磅发布的《通用大模型评测标准》,以国家标准《人工智能 大模型 第2部分:评测指标与方法》(计划号20231746-T-469)为重要参考。该标准内容基于“2-4-6”框架,其中,“2”代表两类评测视角,以重点行业实际使用需求为导向,评测任务划分为理解和生成两类视角;“4”代表四类评测要素,从评测全生命周期中提取出评测工具、评测数据、评测方式和评测指标四类关键要素,确保评测工作可实施性;“6”代表六大评测维度,综合考虑大模型应用过程中的核心能力,设定功能性、准确性、可靠性、安全性、交互性和应用性六大维度。该标准广泛汇聚产学研用各方意见,紧密结合央企行业特色场景的实际需求,将为通用大模型全面评估提供客观依据,为人工智能赋能千行百业提供保障。

二、下一步工作

电子标准院将加速推进人工智能国家标准和行业标准的研制步伐,以全国信标委人工智能分委会电力应用工作组、石油石化应用工作组、交通应用工作组、物流应用工作组、钢铁应用工作组等为依托,联合有关行业主管部门,大力推动电力、能源、交通、物流、钢铁等行业大模型标准的研制工作,加快人工智能产业创新标准的引领进程。在重点领域标准研制过程中,秉持公开、公正、开放、透明的原则,广泛组织国内技术领先的产学研用单位,积极参与标准制定和实验验证,确保行业领域大模型标准的科学性、先进性和适用性。

同时,电子标准院将紧密围绕大模型评测前沿领域,进一步推动国家标准《人工智能 大模型 第2部分:评测指标与方法》(计划号20231746-T-469)和《通用大模型评测标准》等大模型标准的应用实施,同步建成标准配套检验检测服务能力,有力支撑标准的实施与监督,助力人工智能深度赋能工业、农业、政务、医疗、交通、金融、教育等领域。

三、联系方式

宋文林 13601099746、songwl@cesi.cn

沈芷月 13716162354、shenzy@cesi.cn

 

中国电子技术标准化研究院 版权所有 ©2009-2023 京ICP备05013730号-1 北京市东城区安定门东大街1号 京公网安备11010102004561号