GB/T 8567-1988
被代替
T/SAITA 001-2023
现行
团体标准
T/SAITA 001-2023 自然语言处理系统测评规范
T/SAITA 001-2023 Natural language processing system evaluation specification
价格:
$ 20.00
基本信息
标准编号:
T/SAITA 001-2023
标准类型:
团体标准
标准状态:
现行
is_force_gb:
no
中国标准分类名称:
软件工程
国际标准分类名称:
软件开发和系统文件
发布日期:
2023-12-18
实施日期:
2023-12-20
归口单位:
上海市人工智能技术协会
适用范围
范围:规定了自然语言处理系统的基本框架、测评指标体系、测评流程、测评方法，并提供了自然语言处理系统的评价指南; 主要技术内容:规定了自然语言处理系统的基本框架；提出了包含10个一级指标和36个二级指标的自然语言处理系统测评指标体系，涵盖功能有效性、性能、兼容性、可维护性、可解释性、安全性等指标；规定了自然语言处理系统测评流程和测试方法。附录部分规定了自然语言理解与自然语言生成功能有效性的计算方法，并提供了自然语言处理系统相关参考数据集和评价指南
研制信息
起草单位:
上海市人工智能技术协会、上海计算机软件技术开发中心、上海依图网络科技有 限公司、达观数据有限公司、公安部第三研究所、科大讯飞股份有限公司、复旦大学、上海交通大学、 上海人工智能实验室、华东师范大学、上海人工智能研究院有限公司、竹间智能科技（上海）有限公司、 上海乐言科技股份有限公司、澳鹏数据科技（上海）有限公司、上海依图智安人工智能科技有限公司、 虎博网络技术（上海）有限公司、上海工程技术大学、木心智能科技集团有限公司
起草人:
朱伟民、陈敏刚、赵春昊、丁敏捷、汪未雅、王文广、刘彩霞、谢芳艺、王士 进、邱锡鹏、瞿晶晶、贺樑、张志忠、陈玉珑、宋海涛、王资凯、刘权、贺梦洁、马永宁、赵迎功、吴 蕾、钱程、曹嘉彦、杨长林、朱俊杰、吴良敏、李媛媛、穆泽林、隋言东